[第1発明]
<第1実施形態>
(1-1-1)操作システム1001の構成
図1は第1発明の第1実施形態に係る操作システム1001の概念を示す模式図である。図2は同実施形態に係る操作システム1001の構成を示す模式図である。
操作システム1001は、入力受付装置1060及び赤外線出力装置1070を含む操作装置1050と、第1情報処理装置1100と、第2情報処理装置1200とを有する。操作システム1001では、ユーザ1005が操作装置1050に操作入力を実行することで、操作装置1050の周辺に存在する機器を操作することができる。ここでは、機器の種類として、「第1タイプの機器1010」と「第2タイプの機器1020」とが存在する。また、これらの機器は、建物1002の中に配置されている。
なお、図1では、操作装置1050、第1情報処理装置1100及び第2情報処理装置1200は一台ずつ示されているが、各装置の個数はこれに限定されるものではない。第1情報処理装置1100及び第2情報処理装置は任意の個数の操作装置1050と接続し、これらの操作装置1050を管理できるものである。
第1タイプの機器1010は、少なくとも赤外線パターンの通信により操作可能なものである。例えば、第1タイプの機器1010としては、扇風機1010a、照明機器1010b、テレビ1010c、エアコン1010dなどが挙げられる。なお、以下の説明では、任意の第1タイプの機器を示す場合に符号1010を用い、個別の第1タイプの機器を示す場合には英小文字の添え字を付す。
第2タイプの機器1020は、少なくともネットワークNW経由で操作可能なものである。ここでは、第2タイプの機器1020は第2情報処理装置1200により管理されるものである。第2タイプの機器1020も、第1タイプの機器1010と同様に、扇風機1020a、照明機器1020b、テレビ1020c、エアコン1020dなどが挙げられる。なお、以下の説明では、任意の第2タイプの機器を示す場合に符号1020を用い、個別の第2タイプの機器を示す場合には英小文字の添え字を付す。
操作装置1050は、図3に示すように、入力部1051、出力部1052、通信部1053、記憶部1054、処理部1055を有しており、入力受付装置1060及び赤外線出力装置1070として機能する。
入力部1051は、操作装置1050に情報を入力するものである。例えば入力部1051はマイクにより構成され、ユーザ1005は音声による情報の入力(音声入力)が可能である。この入力部1021を介して、操作装置1050に各種命令が入力され、処理部1055において命令に応じた処理が実行される。なお、入力部1051は、キーボード、マウス、及び/又はタッチスクリーン等を有していてもよい。
出力部1052は、操作装置1050からの各種情報を出力するものである。例えば出力部1022は、スピーカー等により構成される。また、出力部1052は、赤外線の出力が可能であり、これにより周辺機器を制御することができる。また、出力部1052は、スピーカーのみならず、ディスプレイを備えていてもよい。
通信部1053は、外部のネットワークNWとの接続を可能にするものである。これにより、操作装置1050は、インターネット等を介して、第1情報処理装置1100及び第2情報処理装置1200等と情報の送受信が可能となる。
記憶部1054は、操作装置1050に入力される情報、及び、操作装置1050で計算される情報等を記憶するものである。例えば記憶部1054は、ROM及びRAM等により構成される。ここでは、記憶部1054は、「赤外線パターン記憶データベース(DB)1054a」を記憶している。赤外線パターン記憶DBには、操作装置1050の周辺に存在する第1タイプの機器1010の機種毎に設定されている赤外線パターンの情報が記憶されている。なお、第1タイプの機器1010は複数の機種を含むものであり、制御命令に対応する赤外線パターンは機種毎に異なるものである。また記憶部1054は処理部1055の各機能を実現するための各種プログラムを記憶する。
処理部1055は、操作装置1050における情報処理を実行するものである。具体的には、処理部1055は、CPU及びキャッシュメモリ等により構成される。処理部1055が、記憶部1054に組み込まれたプログラムが実行されることで、操作装置1050が「入力受付装置1060」及び「赤外線出力装置1070」として機能する。
入力受付装置1060は、入力部1051から操作入力が受け付けられると、その操作入力に対応する操作情報を通信部1053を介して第1情報処理装置1100に送信する。入力受付装置1060に対しては、操作入力を音声により入力することが可能である。また、入力受付装置1060は、操作入力してから所定時間経過後に、第2情報処理装置1200により第2タイプの機器1020が制御されたか否かを判定し、判定結果を第1情報処理装置1100に送信する。また。入力受付装置1060は、赤外線出力装置1070による赤外線パターンの送信により第1タイプの機器1010が制御されたか否かを判定し、判定結果を第1情報処理装置1100又は第2情報処理装置1200に送信する。
赤外線出力装置1070は、後述する第2情報処理装置1200から出力命令を受信した場合、その出力命令に対応する赤外線パターンを記憶部1054から読み出して、操作装置1050の周辺に存在する第1タイプの機器1010に出力する。これにより、第1タイプの機器1010が制御される。
第1情報処理装置1100は、図4に示すように、入力部1101、出力部1102、通信部1103、記憶部1104、処理部1105を有しており、ネットワークNWを介して、操作装置1050及び第2情報処理装置1200と接続している。ここで、入力部1101は、第1情報処理装置1100に各種情報を入力するものである。出力部1102は、第1情報処理装置1100からの各種情報を出力するものである。通信部1103は、外部のネットワークNWとの接続を可能にするものである。記憶部1104は、第1情報処理装置1100に入力される情報、及び、第1情報処理装置1100で計算される情報等を記憶するものである。処理部1105は、第1情報処理装置1100における情報処理を実行するものである。ここでは、処理部1105が、記憶部1104に組み込まれたプログラムを実行することで、「操作情報解析部1110」及び「制御命令判定部1120」「制御確認部1130」として機能する。
操作情報解析部1110は、操作装置1050から受信した操作入力に対応する操作情報を解析する。ここでは、操作装置1050から音声入力を受信した場合、音声入力に対応する音声情報を解析する。具体的には、ニューラルネットワーク等を用いて、音声情報から、その音声に対応する意味を分析しテキスト情報に変換する。この変換されたテキスト情報は制御命令判定部1120に送出される。
制御命令判定部1120は、操作情報解析部1110による解析結果に、第1タイプの機器1010に対する制御命令又は第2タイプの機器1020に対する制御命令が含まれているか否かを判定する。この解析結果は、第2情報処理装置1200に送出される。
制御確認部1130は、入力受付装置1060から、第2情報処理装置1200により第2タイプの機器1020が制御されたか否かの判定結果を受信する。そして、制御確認部1130は、第2タイプの機器1020が制御されていない旨の判定結果を受信した場合、再度、第2情報処理装置1200に、操作情報解析部1110による解析結果を送出する。
第2情報処理装置1200は、図5に示すように、入力部1201、出力部1202、通信部1203、記憶部1204、処理部1205を有しており、ネットワークNWを介して、操作装置1050及び第1情報処理装置1100と接続している。ここで、入力部1201は、第2情報処理装置1200に各種情報を入力するものである。出力部1202は、第2情報処理装置1200からの各種情報を出力するものである。通信部1203は、外部のネットワークNWとの接続を可能にするものである。記憶部1204は、第2情報処理装置1200に入力される情報、及び、第2情報処理装置1200で計算される情報等を記憶するものである。処理部1205は、第2情報処理装置1200における情報処理を実行するものである。ここでは、処理部1205が、記憶部1204に組み込まれたプログラムを実行することで、「第1制御部1210」及び「第2制御部1220」「制御確認部1230」として機能する。
第1制御部1210は、第1情報処理装置1100から制御命令判定部1120による判定結果を受け取ったときに、判定結果に第1タイプの機器1010に対する制御命令が含まれている場合、この制御命令に対応する赤外線パターンを第1タイプの機器1010に出力させるための出力命令を、通信部1203を介して操作装置1050(赤外線出力装置1070)に送信する。
第2制御部1220は、第1情報処理装置1100から制御命令判定部1120による判定結果を受け取ったときに、判定結果に第2タイプの機器1020に対する制御命令が含まれている場合、この制御命令に基づいて第2タイプの機器1020をネットワークNW経由で制御する。
制御確認部1230は、入力受付装置1060から、第1情報処理装置1100により第1タイプの機器1010が制御されたか否かの判定結果を受信する。そして、制御確認部1230は、第1タイプの機器1010が制御されていない旨の判定結果を受信した場合、再度、赤外線出力装置1070に、操作情報解析部1110による解析結果を送出する。
(1-1-2)操作システム1001の動作
図6は本実施形態に係る操作システム1001の動作を説明するためのシーケンス図である。なお、以下の説明において、便宜上、ユーザ1005の周辺には第1タイプの機器1010として制御機器Aが存在し、第2タイプの機器1020として制御機器Bが存在するものとする。
まず、ユーザ1005により、周囲に存在する機器への操作入力が行われる。ここでは、ユーザ1005により制御機器A又は制御機器Bに対する操作指示が音声で入力される(S1)。例えば、ユーザ1005により、「制御機器Aの電源をオン」「制御機器Bをオフ」等の命令が音声入力される。
次に、入力受付装置1060が、ユーザ1005による音声入力を受け付け、その音声入力を音声情報に変換して、第1情報処理装置1100及び第2情報処理装置1200に送信する(S2)。
第2情報処理装置1200では、受信した音声情報を随時蓄積する(S3)。
第1情報処理装置1100では、操作情報解析部1110が、操作装置1050から受信した音声情報を解析する(S4)。例えば、第1情報処理装置1100の操作情報解析部1110は、ニューラルネットワーク等を用いて音声情報を解析する。ここでは、第1情報処理装置1100の操作情報解析部1110は、音声情報から、その音声情報に対応する意味を分析しテキスト情報に変換する。
続いて、第1情報処理装置1100の制御命令判定部1120が、操作情報解析部1110による解析結果に、第1タイプの機器1010に対する制御命令又は第2タイプの機器1020に対する制御命令が含まれているか否かを判定する(S5)。第1情報処理装置1100は、第1タイプの機器1010に対する制御命令が含まれていると判定した場合(S5-Yes)、その判定結果を第2情報処理装置1200に送信する。ここでは、解析結果に、第1タイプの機器である制御機器Aに対する制御命令が含まれているとする。
次に、第2情報処理装置1200が、第1情報処理装置1100から判定結果を受信し(S6)、第1タイプの機器1010(制御機器A)に対する制御内容を決定する(S7)。そして、第2情報処理装置1200の第1制御部1210が、制御命令に対応する赤外線パターンの出力命令を、通信部1203を介して操作装置1050(赤外線出力装置1070)に送信する。
続いて、赤外線出力装置1070が第2情報処理装置1200から出力命令を受信し、これに基づいて赤外線パターンを出力して(S8)、第1タイプの機器1010である制御機器Aを制御する(S9)。
一方、上記ステップS5において、第1情報処理装置1100が、第1タイプの機器1010に対する制御命令が含まれていないと判定した場合(S5-No)、第1情報処理装置1100が、第2タイプの機器1020に対する制御命令が含まれているか否かを判定する(S10)。第1情報処理装置1100は、第2タイプの機器1020に対する制御命令が含まれていると判定した場合(S10-Yes)、その判定結果を第2情報処理装置1200に送信する。ここでは、解析結果に、第2タイプの機器1020である制御機器Bに対する制御命令が含まれているとする。
次に、第2情報処理装置1200が、第1情報処理装置1100から判定結果を受信し(S11)、第2タイプの機器1020(制御機器B)に対する制御内容を決定する(S12)。そして、第2情報処理装置1200の第2制御部1220が、制御命令に基づいて第2タイプの機器1020である制御機器BをネットワークNW経由で制御する(S13)。
上記ステップS10において、第1情報処理装置1100が、第2タイプの機器1020(制御機器B)に対する制御命令が含まれていないと判定した場合(S10-No)、操作システム1001は処理を終了する。
なお、上記ステップS5~9と、ステップS10~S13との処理は順不同であり、いずれを先に処理してもよいものである。
(1-1-3)特徴
(1-1-3-1)
以上説明したように、本実施形態に係る操作システム1001は、入力受付装置1060と、第1情報処理装置1100と、第2情報処理装置1200と、赤外線出力装置1070とを備え、少なくとも赤外線パターンの通信により操作可能な第1タイプの機器1010、及び、少なくともネットワークNW経由で操作可能な第2タイプの機器1020を操作する。入力受付装置1060は、操作入力を受け付ける。第1情報処理装置1100は、入力受付装置1060と接続しており、操作入力に対応する操作情報を解析する操作情報解析部1110を有する。また、第1情報処理装置1100は、操作情報解析部1110による解析結果に、第1タイプの機器1010(制御機器A)に対する制御命令又は前記第2タイプの機器1020(制御機器B)に対する制御命令が含まれているか否かを判定する制御命令判定部1120を有する。第2情報処理装置1200は、第1情報処理装置1100に接続しており、制御命令判定部1120により第2タイプの機器1020(制御機器B)に対する制御命令が含まれていると判定された場合、制御命令に基づいて第2タイプの機器1020(制御機器B)をネットワークNW経由で制御する。赤外線出力装置1070は、第1情報処理装置1100又は第2情報処理装置1200に接続しており、制御命令判定部1120により第1タイプの機器1010(制御機器A)に対する制御命令が含まれていると判定された場合、制御命令に対応する赤外線パターンを第1タイプの機器1010(制御機器A)に出力する。
したがって、本実施形態に係る操作システム1001では、操作情報の解析の結果、操作情報に第1タイプの機器に対する制御命令が含まれていると判定した場合、赤外線パターンを第1タイプの機器1010(制御機器A)に送信して制御する。一方、操作システム1001は、操作情報の解析の結果、操作情報に第2タイプの機器1020(制御機器B)に対する制御命令が含まれていると判定した場合、ネットワークNW経由で第2タイプの機器1020(制御機器B)を制御する。換言すると、ネットワークNW経由で操作できない機器(第1タイプの機器1010)は赤外線出力装置1070により操作し、ネットワークNW経由で操作可能な機器(第2タイプの機器1020)は第2情報処理装置1200で操作するので、操作装置1050(入力受付装置1060)の周辺の任意の機器を制御できる。
特に、本実施形態に係る操作システム1001では、第1情報処理装置1100の操作情報解析部1110が、音声により入力された操作情報を解析する。したがって、操作システム1001は、音声入力により、第1タイプの機器1010及び第2タイプの機器1020を制御できる。
なお、本実施形態に係る操作システム1001では、第2情報処理装置1200が、第1情報処理装置1100から制御命令判定部1120による判定結果を受け取る。そして、第2情報処理装置1200が、判定結果に第1タイプの機器1010(制御機器A)に対する制御命令が含まれている場合、制御命令に対応する赤外線パターンを第1タイプの機器1010(制御機器A)に出力させるための出力命令を赤外線出力装置1070に送信する。
このように、第2情報処理装置1200が赤外線出力装置1070に出力命令を送信するので、第2情報処理装置1200において、第1タイプの機器1010(制御機器A)の制御が実行されたか否かを判断できる。結果として、操作システム1001の信頼性を高めることができる。
(1-1-3-2)
また、本実施形態に係る操作システム1001は、入力受付装置1060及び赤外線出力装置1070を同一の筐体に格納する操作装置1050を備える。このように、入力受付装置1060及び赤外線出力装置1070が操作装置1050として同一の筐体に格納されるので、ネットワークNW経由で操作可能な機器(第2タイプの機器1020)であるか否かによらずに、操作装置1050の周辺の任意の機器を制御できる。
(1-1-3-3)
また、本実施形態に係る操作システム1001は、図7のシーケンスに示すように、入力受付装置1060は、第2情報処理装置1200により第2タイプの機器1020が制御されたか否かを判定し、判定結果を前記第1情報処理装置1100に送信するものでもよい(ステップS14、S15)。例えば、入力受付装置1060は、音声情報の送信から所定時間以内に周辺機器が操作されたか否か等により、第2タイプの機器1020が制御されたか否かを判断する。
これにより、第1情報処理装置1100の管理者と第2情報処理装置1200の管理者とが異なる場合等であっても、第1情報処理装置1100の管理者は、第2情報処理装置1200により第2タイプの機器1020(制御機器B)の制御が実行されたか否かを判断できる。結果として、適切に操作システム1001を管理することができる。
(1-1-3-4)
また、本実施形態に係る操作システム1001は、図8のシーケンスに示すように、ステップS9の後で、入力受付装置1060が、赤外線パターンの送信により第1タイプの機器1010が制御されたか否かを判定し、判定結果を第2情報処理装置1200に送信するものでもよい(ステップS16,17)。
これにより、第2情報処理装置1200の管理者が第1タイプの機器1010(制御機器A)の制御が実行されたか否かを判断できる。そして、第1タイプの機器1010が制御されていない旨の判定結果を受信した場合は、第2情報処理装置1200が赤外線出力装置1070に改めて赤外線パターンの送信命令等を行うことができる。結果として、操作システム1001の信頼性を高めることができる。
(1-1-3-5)
また、本実施形態に係る操作システム1001は、第1タイプの機器1010には複数の機種が含まれており、制御命令に対応する赤外線パターンは、機種毎に異なるものである。このような構成により、機種毎に異なる赤外線パターン(専用コマンド)を用いて、第1タイプの機器1010の複数の機種を制御できる。
なお、このような赤外線パターンは、操作装置1050の記憶部1054に記憶されている。また、これらの赤外線パターンの情報は、第2情報処理装置1200を介して適宜更新可能である。
(1-1-4)変形例
(1-1-4-1)変形例1A
上記説明において、入力受付装置1060及び赤外線出力装置1070が同一の筐体に格納されるとしたが、これらの装置は個別の筐体に格納されるものでもよい。これにより、システム構成の自由度を高めることができる。
(1-1-4-2)変形例1B
上記説明において、本実施形態に係る操作システム1001は、入力受付装置1060が、赤外線パターンの送信により第1タイプの機器1010が制御されたか否かを判定し、判定結果を第2情報処理装置1200に送信するものとしたが、本実施形態に係る操作システム1001はこれに限定されるものではない。例えば、入力受付装置1060が、赤外線パターンの送信により第1タイプの機器1010が制御されたか否かを判定し、判定結果を第1情報処理装置1100だけに送信する構成でもよいし、判定結果を第1情報処理装置1100及び第2情報処理装置1200の両方に送信する構成でもよい。いずれの構成でも、操作システム1001の信頼性を高めることができる。
(1-1-4-3)変形例1C
本実施形態に係る操作システム1001は、第2情報処理装置1200又は赤外線出力装置1070が、第1タイプの機器1010への制御内容に対応する赤外線パターンを生成する赤外線パターン生成部をさらに備える構成でもよい。このような構成により、所望の第1タイプの機器1010を制御することができる。結果として、第1タイプの機器1010への拡張性を高めることができる。
(1-1-4-4)変形例1D
本実施形態に係る操作システム1001は、第2タイプの機器1020が、入力受付装置1060及び/又は赤外線出力装置1070を備える構成でもよい。具体的には、建物1002内に存在する第2タイプの機器1020の一つが操作装置1050を組み込む構成でもよい。これにより、システム構成を簡易にすることができる。
(1-1-4-5)変形例1E
なお、上記説明において、操作入力は音声入力としたが、本実施形態に係る操作システム1001はこれに限定されるものではない。操作入力は、音声入力以外にも、任意の入力手段により入力されるものを採用できる。
(1-1-4-6)変形例1F
図9は変形例1Fに係る操作システムの構成を示す模式図である。図10は変形例に係る操作装置1050の構成を示す模式図である。
変形例1Fでは、操作装置1050の記憶部1054が特定操作記憶部1061として機能し、操作装置1050の処理部1055が特定操作情報識別部1062及び特定操作実行部1063として機能する。
特定操作記憶部1061は、特定操作情報を特定操作に関連付けて記憶するものである。特定操作記憶部1061は、例えば、「D機種の扇風機1020aの電源オン」などに対応する音声情報と、D機種の扇風機1020aの電源をオンにする特定操作とを関連付けて予め記憶する。
特定操作情報識別部1062は、操作入力に対応する操作情報のうち、第2タイプの機器1020に対する特定操作情報を識別するものである。
特定操作実行部1063は、特定操作情報識別部1072により特定操作情報が識別された場合、第2タイプの機器1020に対して特定操作を実行するものである。
図11,12は変形例1Fの動作を示すシーケンス図である。
変形例1Fでは、上述したステップS1~S13の動作を行う。ここでは、ステップS2の後に、次のステップV1~V3の動作が追加される。すなわち、入力受付装置1060が、ユーザ1005による音声入力を音声情報に変換した後に『特定操作』の処理を行なう。
『特定操作』の処理では、特定操作情報識別部1062が、操作入力に対応する操作情報のうち、第2タイプの機器1020に対する特定操作情報を識別する(V1)。ここでは、特定操作情報識別部1062は、特定操作記憶部1061に記憶された情報と照合することで特定操作情報であるか否かを識別する。続いて、特定操作情報識別部1062により特定操作情報が識別された場合(V1-Yes)、特定操作実行部1063が第2タイプの機器1020(制御機器B)に対して特定操作を実行する(V2,V3)。一方、特定操作情報識別部1062により特定操作情報を識別しなかった場合(V1-No)、特定操作実行部1063は処理を終了して、ステップS4の処理に戻る。
上述したように、変形例1Fに係る操作システム1001では、入力受付装置1060が、第2タイプの機器1020(制御機器B)に対する特定操作情報を識別した場合、第2タイプの機器1020(制御機器B)に対して特定操作を実行するので、ネットワークNW上の第1情報処理装置1100又は第2情報処理装置1200にアクセスせずに第2タイプの機器1020(制御機器B)を制御できる。
補足すると、音声入力により機器を制御しようとする場合、情報処理量が膨大となるため、ネットワークNW上の音声解析装置を用いることがある。これに対し、本変形例1Fであれば例えば情報処理量の負荷が低い音声解析に対しては端末側(入力受付装置1060)で解析処理を実行する。これにより、ネットワークNWへのアクセスを回避して、迅速な機器の操作が実現される。
(1-1-4-7)変形例1G
図13は変形例1Gに係る操作システムの構成を示す模式図である。図14は変形例1Gの動作を示すシーケンス図である。変形例1Gでは、既述のステップS1~S13の動作に対し、ステップU1,U2の動作が追加され、ステップS7,S12がU3,U4に置き換えられる。
変形例1Gでは、制御機器A,Bの周辺に、環境情報検知機器Kが存在する。環境情報検知機器Kは第2タイプの機器1020kであり、周辺環境の状態を示す「環境情報」を検知する(U1)。環境情報は、例えば、温度、湿度、照度等の情報を含むものである。
また、変形例1Gでは、第2情報処理装置1200の処理部1205が、さらに環境情報取得部1241として機能する。環境情報取得部1241は、環境情報検知機器Kから、環境情報を所定のタイミングで取得する(U2)。
そして、変形例1Gに係る第2情報処理装置1200は、第1情報処理装置1100から制御命令判定部1120による判定結果を受け取り、判定結果に第1タイプの機器1010(制御機器A)に対する制御命令が含まれている場合、制御命令と環境情報とに基づく赤外線パターンの出力命令を赤外線出力装置1070に送信する(U3)。これを受けて赤外線出力装置1070が第1タイプの機器1010(制御機器A)を制御する。また、第2情報処理装置1200は、判定結果に第2タイプの機器1020(制御機器B)に対する制御命令が含まれていると判定された場合、制御命令と環境情報とに基づいて、第2タイプの機器1020(制御機器B)をネットワーク経由で制御する(U4)。
上述した変形例1Gに係る操作システム1001では、制御命令と環境情報とに基づいて機器を制御するので、ユーザ1005の環境に応じて適切に機器を制御できる。
(1-1-4-8)変形例1H
図15は変形例1Hに係る操作システムの構成を示す模式図である。図16は変形例1Hに係る第2情報処理装置1200の構成を示す模式図である。
変形例1Hでは、制御機器A,Bの周辺に、環境情報検知機器Kが存在する。環境情報検知機器Kは第2タイプの機器1020kであり、周辺環境の状態を示す環境情報を検知する。
また、本変形例1Hでは、第2情報処理装置1200の記憶部1204が、関連機器記憶部1240として機能し、第2情報処理装置1200の処理部1205が、環境情報取得部1241と、関連機器抽出部1242と、関連機器制御部1243としてさらに機能する。
関連機器記憶部1240は、第1タイプの機器1010(制御機器A)又は第2タイプの機器1020(制御機器B)のいずれかと環境情報とに関連付けて、他の第1タイプの機器1010r(関連機器D)又は他の第2タイプの機器1020r(関連機器E)のいずれか一つ又は任意の組み合わせを関連機器として記憶する。例えば、関連機器記憶部1240は、図17に示すように、環境情報である「照度情報」と、第1タイプの機器1010(制御機器A)である「S機種のテレビ」とに対し、第1タイプの機器1010rの「S機種の照明機器」を関連機器(関連機器D)として記憶する。また、例えば、関連機器記憶部1240は、環境情報である「温度情報」と、第2タイプの機器1020(制御機器B)である「H機種のエアコン」とに対し、第1タイプの機器1010rの「D機種の扇風機」を関連機器として記憶する。また、例えば、関連機器記憶部1240は、環境情報である「温度情報」と、第2タイプの機器1020(制御機器B)である「D機種のエアコン」とに対し、第1タイプの機器1010rの「C機種の遠赤外線ヒータ」及び第2タイプの機器1020rの「D機種の遠赤外線ヒータ」を関連機器として記憶する。
環境情報取得部1241は、環境情報検知機器Kから、「環境情報」を所定のタイミングで取得する。環境情報は、例えば、温度、湿度、照度等の情報を含むものである。
関連機器抽出部1242は、第1情報処理装置1100の制御命令判定部1120により第1タイプの機器1010に対する制御命令又は第2タイプの機器1020に対する制御命令が含まれていると判定された場合、関連機器記憶部1240から関連機器を抽出する。
関連機器制御部1243は、関連機器抽出部1242により他の第1タイプの機器1010rが関連機器(関連機器D)として抽出された場合、抽出された関連機器(関連機器D)への出力命令を赤外線出力装置1070に送信する。また、関連機器制御部1243は、関連機器抽出部1242により他の第2タイプの機器1020rが関連機器(関連機器E)として抽出された場合、抽出された関連機器(関連機器E)をネットワークNW経由で制御する、
図18,19は変形例1Hの動作を示すシーケンス図である。変形例1Hでは、既述のステップS1~S6,S8~S11,S13,U1~U4の動作を行う。ここでは、ステップS6とU3との間、S11とU4との間に、次のステップR1~R8の『関連機器の制御』の処理が追加される。
『関連機器の制御』の処理では、第1情報処理装置1100の制御命令判定部1120により第1タイプの機器1010(制御機器A)に対する制御命令又は第2タイプの機器1020(制御機器B)に対する制御命令が含まれていると判定された場合、第2情報処理装置1200の関連機器抽出部1242が関連機器記憶部1240から関連機器(関連機器D,E)を抽出する(R1)。
ここで、関連機器抽出部1242により他の第1タイプの機器1010rが関連機器(関連機器D)として抽出された場合(R2-Yes)、第2情報処理装置1200の関連機器制御部1243が、抽出された関連機器(関連機器D)への出力命令を赤外線出力装置1070に送信する(R3)。これを受けて、赤外線出力装置1070が第1タイプの機器1010r(関連機器D)に赤外線パターンを出力して制御する(R4,R5)。
一方、関連機器抽出部1242により他の第1タイプの機器1010rが関連機器(関連機器D)として抽出されなかった場合(R2-No)、第2情報処理装置1200の関連機器制御部243はステップR6の処理に進む。ステップR6の処理では、第2情報処理装置1200の関連機器制御部1243が、関連機器抽出部1242により他の第2タイプの機器1020rが関連機器(関連機器E)として抽出された場合(R6-Yes)、抽出された関連機器(関連機器E)をネットワークNW経由で制御する(R7,R8)。また、関連機器抽出部1242により他の第2タイプの機器1020rが関連機器(関連機器E)として抽出されなかった場合(R6-Yes)は処理を終了する。
なお、上記ステップR2~R5と、ステップR6~R8との処理は順不同であり、いずれを先に処理してもよいものである。
上述した変形例1Hに係る操作システム1001は、第2情報処理装置1200が環境情報取得部1241と、関連機器記憶部1240と、関連機器抽出部1242と、関連機器制御部1243とをさらに備える。環境情報取得部1241は、周辺環境の状態を示す環境情報を検知する環境情報検知機器Kから、環境情報を所定のタイミングで取得する。関連機器記憶部1240は、第1タイプの機器1010(制御機器A)又は第2タイプの機器1020(制御機器B)のいずれかと環境情報とに関連付けて、他の第1タイプの機器1010r(関連機器D)又は他の第2タイプの機器1020r(関連機器E)のいずれか一つ又は任意の組み合わせを関連機器として記憶する。関連機器抽出部1242は、制御命令判定部1120により第1タイプの機器1010(制御機器A)に対する制御命令又は第2タイプの機器1020(制御機器B)に対する制御命令が含まれていると判定された場合、関連機器記憶部1240から関連機器(関連機器D,関連機器E)を抽出する。関連機器制御部1243は、関連機器抽出部1242により他の第1タイプの機器1010rが関連機器(関連機器D)として抽出された場合、抽出された関連機器への制御内容に対応する赤外線パターンを関連機器(関連機器D)に出力させるための出力命令を赤外線出力装置1070に送信する。また、関連機器制御部1243は、関連機器抽出部1242により他の第2タイプの機器1020rが関連機器(関連機器E)として抽出された場合、抽出された関連機器(関連機器E)をネットワークNW経由で制御する。
よって、変形例1Hに係る操作システム1001では、第1タイプの機器1010(制御機器A)又は第2タイプの機器1020(制御機器B)のみならず、ユーザ1005の環境に応じて関連機器(関連機器D,関連機器E)も制御するので、ユーザ1005の快適性を向上できる。
(1-1-4-9)変形例1I
図20は変形例1Iに係る操作システムの構成を示す模式図である。図21は変形例1Iに係る第2情報処理装置1200の構成を示す模式図である。図22は変形例1Iの動作を示すシーケンス図である。変形例1Iでは、既述のステップS1~S13の動作とは別に、ステップQ1~Q5で示すような『特定状況の制御』が実行される。
変形例1Iでは、第2情報処理装置1200の記憶部1204が、特定状況記憶部1250として機能し、第2情報処理装置1200の処理部1205が、特定状況検知部1251及び特定状況制御部1252としてさらに機能する。
特定状況記憶部1250は、特定状況と、所定の第1タイプの機器1010t及び第1タイプの機器1010tに対する制御内容とを関連付けて記憶する。さらに、特定状況記憶部1250は、特定状況と、所定の第2タイプの機器1020t及び第2タイプの機器1020tに対する制御内容とを関連付けて記憶する。例えば、特定状況が「津波」である場合に、所定の第1タイプの機器1010tを「S機種のテレビ」とし、これを「国営放送の番組を放送する」という制御内容と関連付けて記憶する。また、例えば、特定状況が「津波」である場合に、第2タイプの機器1020tを「D機種のエアコン」とし、これを「電源をオフにする」という制御内容と関連付けて記憶する。
特定状況検知部1251は、特定状況を検知するものである(Q1)。例えば、特定状況としては、津波、テロ、大地震等が挙げられる。
特定状況制御部1252は、特定状況を検知した場合(Q1-Yes)、操作情報にかかわらず、特定状況に関連する制御内容に対応する赤外線パターンを所定の第1タイプの機器1010t(制御機器A)に出力させるための出力命令を赤外線出力装置1070に送信するものである(Q2)。これにより、赤外線出力装置70が赤外線パターンを出力して、所定の第1タイプの機器1010t(制御機器A)に対して制御を行う(Q3,Q4)。また、特定状況制御部1272は、特定状況を検知した場合(Q1-Yes)、操作情報にかかわらず、特定状況に関連する制御内容で、所定の第2タイプの機器1020t(制御機器B)を制御する(Q2,Q5)。
上述した変形例1Iに係る操作システム1001では、特定状況を検知した場合、特定状況に関連する第1タイプの機器1010t(制御機器A)が動作することで、ユーザ1005に特定状況を認識させることができる。また、第1タイプの機器1010tの種類によっては、特定状況下での安全性を確保するように制御される。さらに、特定状況を検知した場合、特定状況に関連する制御内容で第2タイプの機器1020t(制御機器B)を制御するので、ユーザ1005に特定状況を認識させることができる。また、第2タイプの機器1020tの種類によっては、特定状況下での安全性を確保するように制御される。具体的には、第1タイプの機器1010t又は第2タイプの機器1020tによらず、機器が「テレビ」であれば、「国営放送等の番組を放送する」ことで、ユーザ1005に特定状況を認識させることができる。また、第1タイプの機器1010t又は第2タイプの機器1020tによらず、機器が「エアコン」であれば、「電源をオフにする」ことで、特定状況下での安全性を確保するように制御される。
(1-1-4-10)変形例1J
なお、上記説明において、第2情報処理装置1200が、第1情報処理装置1100から制御命令の内容を受信して、赤外線出力装置1070に制御命令を送信する構成としていたが、本実施形態に係る操作システム1001の構成はこれに限定されるものではない。具体的には、第1情報処理装置1100が赤外線出力装置1070に制御命令を直接送信する構成でもよい。
<第2実施形態>
(1-2-1)操作システム1001Sの構成
図23は第1発明の第2実施形態に係る操作システム1001Sの概念を示す模式図である。図24は同実施形態に係る操作システム1Sの構成を示す模式図である。なお、以下の説明において、既に説明した構成については略同一の符号を付して重複する説明を省略する。また、本実施形態においては、他の実施形態と異なる構成には添え字Sを付して説明する場合がある。
操作システム1001Sは、入力受付装置1060及び赤外線出力装置1070を含む操作装置1050と、第1情報処理装置1100Sと、第2情報処理装置1200Sとを有する。また、操作システム101Sの第1情報処理装置1100S及び第2情報処理装置1200Sは、ネットワークNWを経由で第3情報処理装置1300Sと接続する。この操作システム1001Sでは、ユーザ1005が操作装置1050に操作入力を実行することで、操作装置1050の周辺に存在する機器を操作することができる。ここでは、機器には、「第1タイプの機器1010」と「第2タイプの機器1020」「第3タイプの機器1030」とが存在する。また、これらの機器は、建物1002の中に配置されている。
第3タイプの機器1030は、少なくともネットワークNW経由で操作可能なものである。ここでは、第3タイプの機器1030は第3情報処理装置1300Sにより管理される。第3タイプの機器1030も、第1タイプの機器1010及び第2タイプの機器1020と同様に、扇風機1030a、照明機器1030b、テレビ1030c、エアコン1030dなどが挙げられる。なお、以下の説明では、任意の第3タイプの機器を示す場合に符号1030を用い、個別の第3タイプの機器を示す場合には英小文字の添え字を付す。
なお、第2情報処理装置1200Sと第2タイプの機器1020とは、第1通信プロトコルで通信する通信アダプタ1007Aを介して接続される。また、第3情報処理装置1300Sと第3タイプの機器1030とは、第1通信プロトコルとは異なる第2通信プロトコルで通信する通信アダプタ1007Bを介して接続される。
第2実施形態では、第1情報処理装置1100Sの制御命令判定部1120Sが、操作情報解析部1110による解析結果に、第3タイプの機器1030に対する制御命令に対する制御命令が含まれているか否かをさらに判定する。そして、制御命令判定部1120Sは、第3タイプの機器1030に対する制御命令が含まれていると判定した場合、制御命令に対応する操作指示を第3情報処理装置1300Sに送信する。
(1-2-2)操作システム1001Sの動作
図25A,25Bは本実施形態に係る操作システム1001Sの動作を説明するためのシーケンス図である。なお、以下の説明において、便宜上、ユーザ1005の周辺には第1タイプの機器1010として制御機器Aが存在し、第2タイプの機器1020として制御機器B、第3タイプの機器1030として制御機器Cが存在するものとする。
まず、ユーザ1005により、周囲に存在する機器への音声入力が行われる(W1)。例えば、「制御機器Aの電源をオン」「制御機器Bをオフ」等の命令が音声入力される。
次に、入力受付装置1060が、ユーザ1005による音声入力を受け付け、その音声入力を音声情報に変換して、第1情報処理装置1100S及び第2情報処理装置1200Sに送信する(W2)。
第2情報処理装置1200Sでは、音声情報を随時蓄積する(W3)。
第1情報処理装置1100Sでは、操作情報解析部1110が、操作装置1050から受信した音声情報を解析する(W4)。例えば、第1情報処理装置1100Sの操作情報解析部1110は、ニューラルネットワーク等を用いて音声情報を解析する。そして、第1情報処理装置1100Sの操作情報解析部1110は、音声情報から、その音声情報に対応する意味を分析しテキスト情報に変換する。
続いて、第1情報処理装置1100Sの制御命令判定部1120が、操作情報解析部1110による解析結果に、第1タイプの機器1010に対する制御命令が含まれているか否かを判定する(W5)。第1情報処理装置1100Sは、第1タイプの機器1010(制御機器A)に対する制御命令が含まれていると判定した場合(W5-Yes)、その判定結果を第2情報処理装置1200Sに送出する。ここでは、解析結果に、第1タイプの機器1010である制御機器Aに対する制御命令が含まれているとする。
次に、第2情報処理装置1200Sが、第1情報処理装置1100Sから判定結果を受信し(W6)、第1タイプの機器1010(制御機器A)に対する制御内容を決定する(W7)。そして、第2情報処理装置1200Sの第1制御部1210が、制御命令に対応する赤外線パターンの出力命令を、通信部1203を介して操作装置1050(赤外線出力装置1070)に送信する。
続いて、赤外線出力装置1070が第2情報処理装置1200Sから出力命令を受信し、これに基づいて赤外線パターンを出力して(W8)、第1タイプの機器1010である制御機器Aを制御する(W9)。
一方、上記ステップW5において、第1情報処理装置1100Sが、第1タイプの機器1010に対する制御命令が含まれていないと判定した場合(W5-No)、第1情報処理装置1100Sが、第2タイプの機器1020に対する制御命令が含まれているか否かを判定する(W10)。第1情報処理装置1100Sは、第2タイプの機器1020に対する制御命令が含まれていると判定した場合(W10-Yes)、その判定結果を第2情報処理装置1200Sに送信する。ここでは、解析結果に、第2タイプの機器1020である制御機器Bに対する制御命令が含まれているとする。
次に、第2情報処理装置1200Sが、第1情報処理装置1100Sから判定結果を受信し(W11)、第2タイプの機器1020(制御機器B)に対する制御内容を決定する(W12)。そして、第2情報処理装置1200Sの第2制御部1220が、制御命令に基づいて第2タイプの機器1020である制御機器BをネットワークNW経由で制御する(W13)。
一方、上記ステップW10において、第1情報処理装置1100Sが、第2タイプの機器1010に対する制御命令が含まれていないと判定した場合(W10-No)、第1情報処理装置1100Sが、第3タイプの機器1030に対する制御命令が含まれているか否かを判定する(W14)。第1情報処理装置1100Sは、第3タイプの機器1030に対する制御命令が含まれていると判定した場合(W14-Yes)、その判定結果を第3情報処理装置1300Sに送出する。ここでは、解析結果に、第3タイプの機器1030である制御機器Cに対する制御命令が含まれているとする。
次に、第3情報処理装置1300Sが、第1情報処理装置1100Sから判定結果を受信し(W15)、第3タイプの機器1030(制御機器C)に対する制御内容を決定する(W16)。そして、第3情報処理装置1300Sが、制御命令に基づいて第3タイプの機器1030である制御機器CをネットワークNW経由で制御する(W17)。
上記ステップW14において、第3タイプの機器1030(制御機器C)に対する制御命令が含まれていないと判定した場合(W14-No)、操作システム1001Sは処理を終了する。
なお、上記ステップW5~W9と、ステップW10~W13と、ステップW14~W17との処理は順不同であり、いずれを先に処理してもよいものである。
(1-2-3)特徴
(1-2-3-1)
以上説明したように、本実施形態に係る操作システム1001Sは、第1実施形態に係る操作システム1001の構成に加え、第1情報処理装置1100Sが、第2タイプの機器1020とは異なる第3タイプの機器1030をネットワークNW経由で操作可能な第3情報処理装置1300Sと通信する。また、第1情報処理装置1100Sの制御命令判定部1120Sは、操作情報解析部1110による解析結果に、第3タイプの機器1030に対する制御命令に対する制御命令が含まれているか否かをさらに判定する。そして、第1情報処理装置1100Sは、制御命令判定部1120Sが第3タイプの機器1030に対する制御命令が含まれていると判定した場合、制御命令に対応する操作指示を第3情報処理装置1300Sに送信する。
したがって、本実施形態に係る操作システム1001Sでは、操作情報の解析の結果、操作情報に第1タイプの機器1010(制御機器A)に対する制御命令が含まれていると判定した場合、赤外線パターンを第1タイプの機器(制御機器A)に送信して制御する。また、操作システム1001Sは、操作情報の解析の結果、操作情報に第2タイプの機器(制御機器B)に対する制御命令が含まれていると判定した場合、ネットワークNW経由で第2タイプの機器1020(制御機器B)を制御する。また、操作システム1001Sは、操作情報の解析の結果、操作情報に第3タイプの機器1030(制御機器C)に対する制御命令が含まれていると判定した場合、第3タイプの機器1030(制御機器C)を操作可能な第3情報処理装置1300Sに、第3タイプの機器1030(制御機器C)に対する操作指示をネットワークNW経由で送信する。
したがって、第1タイプの機器1010(制御機器A)及び第2タイプの機器1020(制御機器B)の操作のみならず、第2情報処理装置1200Sで操作可能ではない第3タイプの機器1030(制御機器C)に対しても操作指示を送信することが可能な操作システムを提供できる。結果として、さらに拡張性の高い操作システムを提供できる。
(1-2-3-2)
また、本実施形態に係る操作システム1001Sは、第2情報処理装置1200Sと第2タイプの機器1020とが、第1通信プロトコルで通信する第1通信アダプタ1007Aを介して接続されている。また、第3情報処理装置1300Sと第3タイプの機器1030とが、第1通信プロトコルとは異なる第2通信プロトコルで通信する第2通信アダプタ1007Bを介して接続されている。このように、操作システム1001Sでは、第2タイプの機器1020とは異なる通信プロトコルで通信する第3タイプの機器1030に対しても操作指示を送出することが可能な操作システム1001Sを提供できる。
(1-2-4)変形例
(1-2-4-1)変形例2A
本実施形態に係る操作システム1001Sは、図26A,26Bのシーケンスに示すように、入力受付装置1060が、第3情報処理装置1300Sにより第3タイプの機器1030が制御されたか否かを判定し、判定結果を第1情報処理装置1100S及び/又は第2情報処理装置1200Sに送信するものでもよい(ステップW18~W20)。
この場合、入力受付装置1060(操作装置1050)が、第3タイプの機器1030が制御されたか否かを判定し、判定結果を第1情報処理装置1100S及び/又は第2情報処理装置1200Sに送信するので、第1情報処理装置1100Sの管理者及び/又は第2情報処理装置1200Sの管理者と、第3情報処理装置1300Sの管理者とが異なる場合等であっても、第1情報処理装置1100Sの管理者及び/又は第2情報処理装置1200Sの管理者は、第3情報処理装置1300Sにより第3タイプの機器1030が制御されているか否かを判断できる。例えば、入力受付装置1060は、音声情報の送信から所定時間以内に周辺機器が操作されたか否か等により、第3タイプの機器1030が制御されたか否かを判断する。これにより、さらに適切に操作システム1001Sを管理することができる。
(1-2-4-2)変形例2B
図27は変形例2Bに係る操作システム1001Sの構成を示す模式図である。図28は変形例2Bに係る第2情報処理装置1200Sの構成を示す模式図である。
変形例2Bでは、制御機器A,B,Cの周辺に、環境情報検知機器Kが存在する。環境情報検知機器Kは第2タイプの機器1020kであり、周辺環境の状態を示す「環境情報」を検知する。環境情報は、例えば、温度、湿度、照度等の情報を含むものである。
また、変形例2Bでは、第2情報処理装置1200Sの記憶部1204Sが、関連機器記憶部1240Sとして機能し、第2情報処理装置1200Sの処理部1205Sが、環境情報取得部1241Sと、関連機器抽出部1242Sと、関連機器制御部1243Sとしてさらに機能する。
関連機器記憶部1240Sは、第1タイプの機器1010(制御機器A)、第2タイプの機器1020(制御機器B)、又は第3タイプの機器1030(制御機器C)のいずれかと環境情報とに関連付けて、他の第1タイプの機器1010r(関連機器D)、他の第2タイプの機器1020r(関連機器E)、又は他の第3タイプの機器1030r(関連機器F)のいずれか一つ又は任意の組み合わせを関連機器として記憶する。例えば、関連機器記憶部1240Sは、図29に示すように、環境情報である「照度情報」と、第1タイプの機器1010(制御機器A)である「S機種のテレビ」とに対し、第1タイプの機器1010rの「S機種の照明機器」(関連機器D)及び第3タイプの機器1030rの「T機種の照明器具」(関連機器E)を関連機器として記憶する。また、例えば、関連機器記憶部1240Sは、環境情報である「照度情報」と、第3タイプの機器1010(制御機器C)である「T機種のテレビ」とに対し、第1タイプの機器1010rの「T機種の照明機器」(関連機器D)を関連機器として記憶する。また、例えば、関連機器記憶部1240Sは、環境情報である「温度情報」と、第1タイプの機器1010(制御機器A)である「H機種のエアコン」とに対し、第1タイプの機器1010rの「D機種の扇風機」(関連機器D)を関連機器として記憶する。また、例えば、関連機器記憶部1240Sは、環境情報である「温度情報」と、第2タイプの機器1020(制御機器B)である「D機種のエアコン」とに対し、第1タイプの機器10rの「C機種の遠赤外線ヒータ」(関連機器D)及び第2タイプの機器1020rの「D機種の遠赤外線ヒータ」(関連機器E)を関連機器として記憶する。また、例えば、関連機器記憶部1240Sは、環境情報である「温度情報」と、第3タイプの機器1030(制御機器C)である「M機種のエアコン」とに対し、第1タイプの機器1010rの「D機種の扇風機」(関連機器D)及び第3タイプの機器1030rの「M機種の扇風機」(関連機器F)を関連機器として記憶する。
環境情報取得部1241Sは、環境情報検知機器Kから、環境情報を所定のタイミングで取得する。
関連機器抽出部1242Sは、制御命令判定部1120Sにより、第1タイプの機器1010(制御機器A)、第2タイプの機器1020(制御機器B)、又は第3タイプの機器1030(制御機器C)のいずれかに対する制御命令が含まれていると判定された場合、関連機器記憶部1240Sから関連機器を抽出する。
関連機器制御部1243Sは、関連機器抽出部1242Sにより他の第1タイプの機器1010r(関連機器D)が関連機器として抽出された場合、抽出された関連機器(関連機器D)に対する出力命令を赤外線出力装置1070に送信する。また、関連機器制御部1243Sは、関連機器抽出部1242Sにより他の第2タイプの機器1020r(関連機器E)が関連機器として抽出された場合、抽出された関連機器(関連機器E)をネットワークNW経由で制御する。また、関連機器制御部1243Sは、関連機器抽出部1242Sにより他の第3タイプの機器1030r(関連機器F)が関連機器として抽出された場合、関連機器(関連機器F)への制御命令に対応する操作指示を第3情報処理装置1300Sに送信する。
図30A,30B,31A,31Bは変形例2Bの動作を示すシーケンス図である。変形例2Bでは、既述のステップW1~W17の動作を行う。ここでは、ステップW6とW7との間、W11とW12との間に、ステップX1~X13の『関連機器の制御』の処理が追加される。前提として、変形例2Bでは、制御機器A,B,Cの周辺に、環境情報検知機器Kが存在し、環境情報検知機器Kから第2情報処理装置1200Sへ所定のタイミングで環境情報を送信される(ステップW18,19)。
そして、『関連機器の制御』の処理では、第1情報処理装置1100Sの制御命令判定部1120Sにより第1タイプの機器1010(制御機器A)に対する制御命令、第2タイプの機器1020(制御機器B)、又は第3タイプの機器1030(制御機器C)に対する制御命令が含まれていると判定された場合、第2情報処理装置1200Sの関連機器抽出部1242Sが、関連機器記憶部1240Sから関連機器(関連機器D,関連機器E,関連機器F)を抽出する(X1)。
ここで、関連機器抽出部1242Sにより他の第1タイプの機器1010rが関連機器(関連機器D)として抽出された場合(X2-Yes)、第2情報処理装置1200Sの関連機器制御部1243Sが、抽出された関連機器(関連機器D)への出力命令を赤外線出力装置1070に送信する(X3)。これを受けて、赤外線出力装置1070が第1タイプの機器1010r(関連機器D)に赤外線パターンを出力して制御する(X4,X5)。
一方、ステップX2において、関連機器抽出部1242Sにより他の第1タイプの機器1010rが関連機器(関連機器D)として抽出されなかった場合(X2-No)、ステップX6の処理に進む。ステップX6では、関連機器抽出部1242Sにより他の第2タイプの機器1020rが関連機器(関連機器E)として抽出された場合(X6-Yes)、第2情報処理装置1200Sの関連機器制御部1243Sが、抽出された関連機器(関連機器E)をネットワークNW経由で制御する(X7,X8)。
一方、ステップX6において、関連機器抽出部1242Sにより他の第2タイプの機器1020rが関連機器(関連機器E)として抽出されなかった場合(X6-No)、ステップX9の処理に進む。ステップX9では、関連機器抽出部1242Sにより他の第3タイプの機器1030rが関連機器(関連機器F)として抽出された場合(X9-Yes)、第2情報処理装置1200Sの関連機器制御部1243Sが、抽出された関連機器(関連機器F)に対する操作指示をネットワークNW経由で送信する(X10)。これを受けて、第3情報処理装置1300Sが第3タイプの機器1030r(関連機器F)をネットワークNW経由で制御する(X11~X13)。
また、関連機器抽出部1242Sにより他の第3タイプの機器1030rが関連機器(関連機器F)として抽出されなかった場合(X9-No)は処理を終了する。
なお、上記ステップX2~X5と、ステップX6~X8と、ステップX9~X13との処理は順不同であり、いずれを先に処理してもよいものである。
上述した変形例2Bに係る操作システム1001Sは、第2情報処理装置1200Sが、関連機器として第3タイプの機器1030r(関連機器F)を抽出した場合、制御命令と環境情報とに基づいて、第3タイプの機器1030r(関連機器F)に対する操作指示をネットワーク経由で送信するので、ユーザ1005の環境に応じて適切に機器を制御できる。
(1-2-4-3)その他の変形例
変形例1A~1Jは本実施形態においても、そのまま適用可能である。
<第3実施形態>
第1実施形態に係る操作システム1001では、第1情報処理装置1100が制御命令判定部1120を備える構成としたが、この機能は第2情報処理装置が備えるものでもよい。
(1-3-1)操作システム1001の構成
本発明の第3実施形態に係る操作システム1001Tでは、第2情報処理装置1200Tが、図32に示すように制御命令判定部1207Tを備える。すなわち、第2情報処理装置1200Tでは、処理部1205が「制御命令判定部1207T」としてさらに機能する。また、第3実施形態に係る操作システム1001Tでは、第1情報処理装置1100Tの操作情報解析部1110Tが、音声情報から変換されたテキスト情報を、第2情報処理装置1200Tの制御命令判定部1207Tに送信する。
制御命令判定部1207Tは、第1情報処理装置1100Tの操作情報解析部1110Tによる解析結果に、第1タイプの機器1010に対する制御命令又は第2タイプの機器1020に対する制御命令が含まれているか否かを判定する。
ここで、制御命令判定部1207Tは、制御機器が第1タイプの機器1010であると特定した場合、その制御機器に対応する制御内容を第1制御部1210Tに送出する。一方、制御命令判定部1207は、制御機器が第2タイプの機器1020であると特定した場合、その制御機器に対応する制御内容を第2制御部1220Tに送出する。
第1制御部1210Tは、制御命令判定部1207Tによる判定結果に、第1タイプの機器1010に対する制御命令が含まれている場合、この制御命令に対応する赤外線パターンの出力命令を、通信部1203を介して操作装置1050(赤外線出力装置1070)に送信する。
第2制御部1220Tは、制御命令判定部1207Tによる判定結果に、第2タイプの機器1020に対する制御命令が含まれている場合、この制御命令に基づいて第2タイプの機器1020をネットワークNW経由で制御する。
(1-3-2)操作システム1Tの動作
図33は本実施形態に係る操作システム1001Tの動作を説明するためのシーケンス図である。上述した構成により、第3実施形態に係る操作システム1001Tでは、図33に示すような処理が行われる。
なお、以下の説明において、便宜上、ユーザ1005の周辺には第1タイプの機器1010として制御機器Aが存在し、第2タイプの機器1020として制御機器Bが存在するものとする。
まず、ユーザ1005により、周囲に存在する機器への操作入力が行われる。ここでは、ユーザ1005により制御機器A又は制御機器Bに対する操作指示が音声で入力される(A1)。例えば、ユーザ1005により、「制御機器Aの電源をオン」「制御機器Bをオフ」等の命令が音声入力される。
次に、入力受付装置1060が、ユーザ1005による音声入力を受け付け、その音声入力を音声情報に変換して、第1情報処理装置1100T及び第2情報処理装置1200Tに送信する(A2)。
第2情報処理装置1200Tでは、受信した音声情報を随時蓄積する(A3)。
第1情報処理装置1100Tでは、操作情報解析部1110Tが、操作装置1050から受信した音声情報を解析する(A4)。例えば、第1情報処理装置1100Tの操作情報解析部1110Tは、ニューラルネットワーク等を用いて音声情報を解析する。ここでは、第1情報処理装置1100Tの操作情報解析部1110Tは、音声情報から、その音声情報に対応する意味を分析しテキスト情報に変換する。そして、この音声情報の解析結果が、第2情報処理装置1200Tに送信される。
続いて、第2情報処理装置1200Tの制御命令判定部1207Tが、操作情報解析部1110Tによる解析結果に、第1タイプの機器1010に対する制御命令又は第2タイプの機器1020に対する制御命令が含まれているか否かを判定する(A5)。第2情報処理装置1200Tは、第1タイプの機器1010に対する制御命令が含まれていると判定した場合(A5-Yes)、その判定結果を第1制御部1210Tに送出する。ここでは、解析結果に、第1タイプの機器である制御機器Aに対する制御命令が含まれているとする。
次に、第2情報処理装置1200Tの第1制御部1210Tが判定結果を取得し(A6)、判定結果に基づいて、第1タイプの機器1010(制御機器A)に対する制御内容を決定する(A7)。そして、第2情報処理装置1200Tの第1制御部1210Tが、制御命令に対応する赤外線パターンの出力命令を、通信部1203を介して操作装置1050(赤外線出力装置1070)に送信する。
続いて、赤外線出力装置1070が第2情報処理装置1200Tから出力命令を受信し、これに基づいて赤外線パターンを出力して(A8)、第1タイプの機器1010である制御機器Aを制御する(A9)。
一方、上記ステップA5において、第2情報処理装置1200Tが、第1タイプの機器1010に対する制御命令が含まれていないと判定した場合(A5-No)、第2タイプの機器1020に対する制御命令が含まれているか否かを判定する(A10)。第2情報処理装置1200Tは、第2タイプの機器1020に対する制御命令が含まれていると判定した場合(A10-Yes)、その判定結果を第2制御部1220Tに送出する。ここでは、解析結果に、第2タイプの機器1020である制御機器Bに対する制御命令が含まれているとする。
次に、第2情報処理装置1200Tの第2制御部1220Tが判定結果を取得し(A11)、第2タイプの機器1020(制御機器B)に対する制御内容を決定する(A12)。そして、第2情報処理装置1200Tの第2制御部1220Tが、制御命令に基づいて第2タイプの機器1020である制御機器BをネットワークNW経由で制御する(A13)。
上記ステップA10において、第2情報処理装置1200Tが、第2タイプの機器1020(制御機器B)に対する制御命令が含まれていないと判定した場合(A10-No)、操作システム1001は処理を終了する。
なお、上記ステップA5~9と、ステップA10~A13との処理は順不同であり、いずれを先に処理してもよいものである。
(1-3-3)特徴
(1-3-3-1)
以上説明したように、本実施形態に係る操作システム1001Tは、入力受付装置1060と、第1情報処理装置1100Tと、第2情報処理装置1200Tと、赤外線出力装置1070とを備え、少なくとも赤外線パターンの通信により操作可能な第1タイプの機器1010、及び、少なくともネットワークNW経由で操作可能な第2タイプの機器1020を操作する。入力受付装置1060は、操作入力を受け付ける。第1情報処理装置1100Tは、入力受付装置1060と接続しており、操作入力に対応する操作情報を解析する操作情報解析部1110Tを有する。第2情報処理装置1200Tは、第1情報処理装置1100Tに接続しており、制御命令判定部1207Tにより第2タイプの機器1020(制御機器B)に対する制御命令が含まれていると判定された場合、制御命令に基づいて第2タイプの機器1020(制御機器B)をネットワークNW経由で制御する。赤外線出力装置1070は、第1情報処理装置1100又は第2情報処理装置1200に接続しており、制御命令判定部1207Tにより第1タイプの機器1010(制御機器A)に対する制御命令が含まれていると判定された場合、制御命令に対応する赤外線パターンを第1タイプの機器1010(制御機器A)に出力する。
なお、本実施形態に係る操作システム1001Tでは、第2情報処理装置1200Tが、操作情報解析部1110Tによる解析結果に、第1タイプの機器1010(制御機器A)に対する制御命令又は前記第2タイプの機器1020(制御機器B)に対する制御命令が含まれているか否かを判定する制御命令判定部1207Tを有する。
したがって、本実施形態に係る操作システム1001Tでは、操作情報の解析の結果、操作情報に第1タイプの機器に対する制御命令が含まれていると判定した場合、赤外線パターンを第1タイプの機器1010(制御機器A)に送信して制御する。一方、操作システム1001Tは、操作情報の解析の結果、操作情報に第2タイプの機器1020(制御機器B)に対する制御命令が含まれていると判定した場合、ネットワークNW経由で第2タイプの機器1020(制御機器B)を制御する。換言すると、ネットワークNW経由で操作できない機器(第1タイプの機器1010)は赤外線出力装置1070により操作し、ネットワークNW経由で操作可能な機器(第2タイプの機器1020)は第2情報処理装置1200Tで操作するので、操作装置1050(入力受付装置1060)の周辺の任意の機器を制御できる。
特に、本実施形態に係る操作システム1001Tでは、第1情報処理装置1100Tの操作情報解析部1110Tが、音声により入力された操作情報を解析する。したがって、操作システム1001は、音声入力により、第1タイプの機器1010及び第2タイプの機器1020を制御できる。
なお、本実施形態に係る操作システム1001Tでは、第2情報処理装置1200Tが、制御命令判定部1207による判定結果に第1タイプの機器1010(制御機器A)に対する制御命令が含まれている場合、制御命令に対応する赤外線パターンを第1タイプの機器1010(制御機器A)に出力させるための出力命令を赤外線出力装置1070に送信する。
このように、第2情報処理装置1200が赤外線出力装置1070に出力命令を送信するので、第2情報処理装置1200において、第1タイプの機器1010(制御機器A)の制御が実行されたか否かを判断できる。結果として、操作システム1001の信頼性を高めることができる。
(1-3-3-2)
その他、第3実施形態に係る操作システム1001Tは、第1実施形態に係る操作システム1001と同様の特徴を有するものである。また、第3実施形態に係る操作システム1001Tにおいても、第1実施形態の変形例がそのまま適用可能である。具体的には、図7,8,11,14、18におけるステップS5,S10が、上述のステップA5,A10に置き換わることになる。
<第4実施形態>
第3実施形態に係る制御システムに係る操作システム1001Tに対しても、第1実施形態と同様に、第2実施形態に係る操作システム1001Sと同様の構成を追加することが可能である。
(1-4-1)操作システム1001Vの構成
第1発明の第4実施形態に係る操作システム1001Tでは、第2情報処理装置1200Vが、図34に示すように制御命令判定部1207Vを備える。また、第4実施形態では、第1情報処理装置1100Vの操作情報解析部1110Vが、音声情報から変換されたテキスト情報を、第2情報処理装置1200Vの制御命令判定部1207Vに送信する。
第4実施形態では、第2情報処理装置1200Vの制御命令判定部1207Vが、操作情報解析部1110Vによる解析結果に、第3タイプの機器1030に対する制御命令に対する制御命令が含まれているか否かをさらに判定する。そして、制御命令判定部1207Vは、第3タイプの機器1030に対する制御命令が含まれていると判定した場合、制御命令に対応する操作指示を第3情報処理装置1300Vに送信する。
(1-4-2)操作システム1001Vの動作
図35A,35Bは本実施形態に係る操作システム1001Vの動作を説明するためのシーケンス図である。なお、以下の説明において、便宜上、ユーザ1005の周辺には第1タイプの機器1010として制御機器Aが存在し、第2タイプの機器1020として制御機器B、第3タイプの機器1030として制御機器Cが存在するものとする。
まず、ユーザ1005により、周囲に存在する機器への音声入力が行われる(B1)。例えば、「制御機器Aの電源をオン」「制御機器Bをオフ」等の命令が音声入力される。
次に、入力受付装置1060が、ユーザ1005による音声入力を受け付け、その音声入力を音声情報に変換して、第1情報処理装置1100V及び第2情報処理装置1200Vに送信する(B2)。
第2情報処理装置1200Vでは、音声情報を随時蓄積する(B3)。
第1情報処理装置1100Vでは、操作情報解析部1110が、操作装置1050から受信した音声情報を解析する(B4)。例えば、第1情報処理装置1100Vの操作情報解析部1110Vは、ニューラルネットワーク等を用いて音声情報を解析する。そして、第1情報処理装置1100Vの操作情報解析部1110Vは、音声情報から、その音声情報に対応する意味を分析しテキスト情報に変換する。
続いて、第2情報処理装置1200Vの制御命令判定部1207Vが、操作情報解析部1110Vによる解析結果に、第1タイプの機器1010に対する制御命令が含まれているか否かを判定する(B5)。第2情報処理装置1200Vは、第1タイプの機器1010(制御機器A)に対する制御命令が含まれていると判定した場合(B5-Yes)、その判定結果を第1制御部1210Vに送出する。ここでは、解析結果に、第1タイプの機器1010である制御機器Aに対する制御命令が含まれているとする。
次に、第2情報処理装置1200Vの第1制御部1210Vが判定結果を取得し(B6)、判定結果に基づいて、第1タイプの機器1010(制御機器A)に対する制御内容を決定する(B7)。そして、第2情報処理装置1200Vの第1制御部1210Vが、制御命令に対応する赤外線パターンの出力命令を、通信部1203を介して操作装置1050(赤外線出力装置1070)に送信する。
続いて、赤外線出力装置1070が第2情報処理装置1200Vから出力命令を受信し、これに基づいて赤外線パターンを出力して(B8)、第1タイプの機器1010である制御機器Aを制御する(B9)。
一方、上記ステップB5において、第2情報処理装置1200Vが、第1タイプの機器1010に対する制御命令が含まれていないと判定した場合(B5-No)、第2タイプの機器1020に対する制御命令が含まれているか否かを判定する(B10)。第2情報処理装置1200Vは、第2タイプの機器1020に対する制御命令が含まれていると判定した場合(B10-Yes)、その判定結果を第2制御部1220Vに送信する。ここでは、解析結果に、第2タイプの機器1020である制御機器Bに対する制御命令が含まれているとする。
次に、第2情報処理装置1200Vの第2制御部1220Vが判定結果を取得し(B11)、第2タイプの機器1020(制御機器B)に対する制御内容を決定する(B12)。そして、第2情報処理装置1200Vの第2制御部1220Vが、制御命令に基づいて第2タイプの機器1020である制御機器BをネットワークNW経由で制御する(B13)。
一方、上記ステップB10において、第2情報処理装置1200Vが、第2タイプの機器1010に対する制御命令が含まれていないと判定した場合(B10-No)、第2情報処理装置1200Vの制御命令判定部1207Vが、第3タイプの機器1030に対する制御命令が含まれているか否かを判定する(B14)。第2情報処理装置1200Vは、第3タイプの機器1030に対する制御命令が含まれていると判定した場合(B14-Yes)、その判定結果を第3情報処理装置1300Vに送出する。ここでは、解析結果に、第3タイプの機器1030である制御機器Cに対する制御命令が含まれているとする。
次に、第3情報処理装置1300Vが、第2情報処理装置1200Vから判定結果を受信し(B15)、第3タイプの機器1030(制御機器C)に対する制御内容を決定する(B16)。そして、第3情報処理装置1300Vが、制御命令に基づいて第3タイプの機器1030である制御機器CをネットワークNW経由で制御する(B17)。
上記ステップB14において、第3タイプの機器1030(制御機器C)に対する制御命令が含まれていないと判定した場合(B14-No)、操作システム1001Vは処理を終了する。
なお、上記ステップB5~B9と、ステップB10~B13と、ステップB14~B17との処理は順不同であり、いずれを先に処理してもよいものである。
(1-4-3)特徴
(1-4-3-1)
以上説明したように、本実施形態に係る操作システム1001Vは、第3実施形態に係る操作システム1001Tの構成に加え、第2情報処理装置1200Vが、第2タイプの機器1020とは異なる第3タイプの機器1030をネットワークNW経由で操作可能な第3情報処理装置1300Vと通信する。また、第2情報処理装置1200Vの制御命令判定部1207Vは、操作情報解析部1110Vによる解析結果に、第3タイプの機器1030に対する制御命令に対する制御命令が含まれているか否かをさらに判定する。そして、第2情報処理装置1200Vは、制御命令判定部1207Vが第3タイプの機器1030に対する制御命令が含まれていると判定した場合、制御命令に対応する操作指示を第3情報処理装置1300Vに送信する。
したがって、本実施形態に係る操作システム1001Vでは、操作情報の解析の結果、操作情報に第1タイプの機器1010(制御機器A)に対する制御命令が含まれていると判定した場合、赤外線パターンを第1タイプの機器(制御機器A)に送信して制御する。また、操作システム1001Vは、操作情報の解析の結果、操作情報に第2タイプの機器(制御機器B)に対する制御命令が含まれていると判定した場合、ネットワークNW経由で第2タイプの機器1020(制御機器B)を制御する。また、操作システム1001Vは、操作情報の解析の結果、操作情報に第3タイプの機器1030(制御機器C)に対する制御命令が含まれていると判定した場合、第3タイプの機器1030(制御機器C)を操作可能な第3情報処理装置1300Vに、第3タイプの機器1030(制御機器C)に対する操作指示をネットワークNW経由で送信する。
したがって、第1タイプの機器1010(制御機器A)及び第2タイプの機器1020(制御機器B)の操作のみならず、第2情報処理装置1200Vで操作可能ではない第3タイプの機器1030(制御機器C)に対しても操作指示を送信することが可能な操作システムを提供できる。結果として、さらに拡張性の高い操作システムを提供できる。
(1-4-3-2)
その他、第4実施形態に係る操作システム1001Vは、第2実施形態に係る操作システム1001Sと同様の特徴を有するものである。また、第4実施形態に係る操作システム1001Vにおいても、第2実施形態の変形例がそのまま適用可能である。具体的には、図25A,25B,26A,26B,30A,30BにおけるステップW5,W10,W14が、上述のステップB5,B10,B14に置き換わることになる。
[第2発明]
<第1実施形態>
(2-1-1)制御システム2001の構成
図36,37は第2発明の第1実施形態に係る制御システム2001の構成を示す模式図である。
制御システム2001は、入力受付装置2060と、赤外線出力装置2070と、情報処理装置2100とを備える。制御システム2001では、ユーザ2005が入力受付装置2060に制御指示の入力を実行することで、所定の制御機器を制御することができる。ここでは、制御機器として、「第1タイプの機器2010」と「第2タイプの機器2020」とが存在する。また、これらの制御機器は、部屋Rの中に配置されているものとする。
なお、図36,37では、入力受付装置2060、赤外線出力装置2070、情報処理装置2100は一台ずつ示しているが、各装置の個数はこれに限定されるものではない。情報処理装置2100は任意の個数の装置と接続し、これらの装置を管理することができるものである。
第1タイプの機器2010は、赤外線の出力信号により制御可能なものである。例えば、第1タイプの機器2010としては、扇風機2010a、照明機器2010b、テレビ2010c、エアコン2010dなどが挙げられる。補足すると、赤外線の出力信号のパターンは制御機器毎に予め設定されており、これを用いることで制御機器2010を制御することができる。ここでは、赤外線の出力信号のパターンと制御内容との対応関係が、後述する赤外線パターンDB2104Aに記憶されている。なお、以下の説明では、任意の第1タイプの機器を示す場合に符号2010を用い、個別の第1タイプの機器を示す場合には英小文字の添え字を付す。
第2タイプの機器2020は、ネットワークNW経由で情報処理装置2100が直接制御できるものである。第2タイプの機器2020も、第1タイプの機器2010と同様に、扇風機2020a、照明機器2020b、テレビ2020c、エアコン2020dなどが挙げられる。なお、以下の説明では、任意の第2タイプの機器を示す場合に符号2020を用い、個別の第2タイプの機器を示す場合には英小文字の添え字を付す。
入力受付装置2060は、所定の制御機器2010,2020に対する制御指示の入力を受け付けるものである。ここでは、入力受付装置2060は、マイクを有しており、このマイクを介してユーザ5からの制御機器2010,2020に対する制御指示を音声入力で受け付ける。そして、入力受付装置2060は受け付けた音声入力に対応する音声情報を情報処理装置2100に送信する。なお、入力受付装置2060はユーザ2005が発する音声を検知した場合には、その音声情報をそのまま情報処理装置2100に送信する。
赤外線出力装置2070は、制御機器(第1タイプの機器)2010に赤外線を出力するものである。また、赤外線出力装置2070は姿勢制御機構2070Aを有しており、後述する相対位置情報を情報処理装置2100から受信した場合に、その相対位置情報に基づいて赤外線出力装置2070の姿勢を制御する。なお、赤外線出力装置2070は、後述する固定式機器2020Fの内部に取り付けることが可能なものである。
情報処理装置2100は、図38に示すように、入力部2101、出力部2102、通信部2103、記憶部2104、処理部2105を有しており、インターネットなどのネットワークNWを介して、入力受付装置2060及び赤外線出力装置2070に接続している。
ここで、入力部2101は、任意の入力装置により実現され、情報処理装置2100に各種情報を入力するものである。出力部2102は、任意の出力装置により実現され、情報処理装置2100からの各種情報を出力するものである。通信部2103は、外部のネットワークNWと接続し、情報通信を可能にするものである。
記憶部2104は、ROM,RAM等により実現され、情報処理装置2100に入力される情報、及び、情報処理装置2100で計算される情報等を記憶するものである。そして記憶部2104は、「赤外線パターンデータベース(DB)2104A」「相対位置データベース(DB)2104B」を記憶する。
赤外線パターンDB2104Aは、赤外線の出力信号のパターンと所定の制御内容との対応関係を制御機器(第1タイプの機器2010)毎に記憶するものである。
相対位置DB2104Bは、赤外線出力装置2070と所定空間(部屋R)内の制御機器(第1タイプの機器2010)との相対的な位置関係を示す「相対位置情報」を記憶するものである。なお、赤外線出力装置2070が固定式機器2020Fに固定される場合、相対位置情報として、赤外線出力装置2070の位置と第1タイプの機器2010の位置との相対的な位置関係を示す情報に代えて、固定式機器2020Fの位置と第1タイプの機器2010の位置との相対的な位置関係を示す情報を用いることも可能である。
処理部2105は、CPU等により実現され、情報処理装置2100における情報処理を実行するものである。ここでは、処理部2105が、記憶部2104に記憶されたプログラムを実行することで、「音声入力解析部2110」「制御内容特定部2120」「第1制御部2130」「第2制御部2135」として機能する。
音声入力解析部2110は、入力受付装置2060から受信する入力の内容を解析する。具体的には、入力受付装置2060は、ニューラルネットワーク等を用いて、音声情報から、その音声に対応する意味を分析しテキスト情報に変換する。
制御内容特定部2120は、音声入力解析部2110による解析結果から、制御機器及び制御指示を示す制御内容を特定する。例えば、制御内容特定部2120は、入力受付装置2060が音声入力を受け付けた場合、音声入力解析部2110により変換されたテキスト情報に、制御機器及び制御指示に対応する言語情報が含まれているか否かを判定して制御内容を特定する。
ここで、制御内容特定部2120は、制御機器が第1タイプの機器2010であると特定した場合、その制御機器に対応する制御内容を第1制御部2130に送出する。一方、制御内容特定部2120は、制御機器が第2タイプの機器2020であると特定した場合、その制御機器に対応する制御内容を第2制御部2135に送出する。
第1制御部2130は、制御内容特定部2120により第1タイプの機器2010に関する制御内容が特定された場合、その制御内容に対応する赤外線パターンを赤外線出力装置2070に送信する。詳しくは、第1制御部2130は、制御内容特定部2120により特定された制御内容及び赤外線パターンDB2104Aに記憶された情報に基づいて、赤外線出力装置2070に赤外線の出力命令を送信する。これにより、第1タイプの機器2010が赤外線出力装置2070を介して制御される。また、第1制御部2130は、赤外線の出力命令とともに、赤外線出力装置2070及び対象となる第1タイプの機器2010の相対位置情報を赤外線出力装置2070に送信する。相対位置情報は相対位置DB2104Bから抽出される。
第2制御部2135は、制御内容特定部2120により第2タイプの機器2020に関する制御内容が特定された場合、その制御内容に基づいて第2タイプの機器2020をネットワークNW経由で制御する。
(2-1-2)制御システム2001の動作
図39A,39Bは本実施形態に係る制御システム2001の動作を説明するためのシーケンス図である。
まず、ユーザ2005により入力受付装置2060が用いられて、制御機器2010,2020に対する音声入力が行われる(D1)。そして、入力受付装置2060が、受け付けた音声入力に対応する入力情報を情報処理装置2100に送信する(D2)。
続いて、情報処理装置2100が、入力情報を受信し(D3)、音声入力の内容を解析する(D4)。次に、情報処理装置2100は、制御機器2010,2020と、その制御機器2010,2020に対する制御指示とを示す制御内容を特定する(D5)。
ここで、情報処理装置2100は、制御内容が第1タイプの機器2010に関するものであると特定した場合(D6-Yes)、制御内容に基づいて赤外線パターンDB2104Aから赤外線パターンの情報を抽出する(D7)。さらに、情報処理装置2100は、相対位置DB2104Bから、第1タイプの機器2010と赤外線出力装置2070(または固定式機器2020F)との相対位置情報を抽出する(D8)。そして、情報処理装置2100は、赤外線の出力命令とともに、赤外線パターンの情報及び相対位置情報を赤外線出力装置2070に送信する(D9)。
続いて、赤外線出力装置2070が、赤外線の出力命令とともに、赤外線パターンの情報及び相対位置情報を受信すると(D10)、相対位置情報に基づいて、対応する制御機器2010に向けて姿勢を変更する(D11)。そして、赤外線出力装置2070が、受信した赤外線パターンの情報に基づいて制御機器(第1タイプの機器)2010に向けて赤外線を出力する(D12)。
一方、上記ステップD6と並行して、情報処理装置2100は、制御内容が第2タイプの機器2020に関するものであると特定した場合(D13-Yes)、制御内容に基づいて制御機器(第2タイプの機器)2020をネットワークNW経由で制御する(D14)。
上記ステップD6,D13において、情報処理装置2100は、制御内容が第1タイプの機器2010及び第2タイプの機器2020に関するものであると特定できない場合には、処理を終了する(D6-No,D13-No)。
なお、上記ステップD6~9の処理と、ステップD13,14の処理とは順不同であり、いずれを先に処理してもよいものである。
(2-1-3)特徴
以上説明したように、本実施形態に係る制御システム2001は、入力受付装置2060と、赤外線出力装置2070と、情報処理装置2100とを備える。ここで、入力受付装置2060は、ユーザ2005から制御機器2010,2020に対する制御指示を音声入力により受け付ける。赤外線出力装置2070は、制御機器2010,2020に赤外線を出力する。情報処理装置2100は、音声入力解析部2110、制御内容特定部2120、第1制御部2130、第2制御部2135を有する。音声入力解析部2110は、入力受付装置2060から受信する入力の内容を解析する。制御内容特定部2120は、音声入力解析部2110による解析結果から、制御機器及び制御指示を示す制御内容を特定する。第1制御部2130は、制御内容特定部2120により第1タイプの機器2010に関する制御内容が特定された場合、その制御内容に対応する赤外線パターンを赤外線出力装置2070に送信する。第2制御部2135は、制御内容特定部2120により第2タイプの機器2020に関する制御内容が特定された場合、その制御内容に基づいて第2タイプの機器2020をネットワークNW経由で制御する。
したがって、本実施形態に係る制御システム2001では、赤外線パターンの出力により制御可能な第1タイプの機器2010、及び、ネットワークNW経由で制御可能な第2タイプの機器2020を制御することができる。
さらに、本実施形態に係る制御システム2001では、ネットワークNW上の情報処理装置2100が、音声入力の解析結果から、赤外線出力装置2070Sに赤外線の出力命令を送信することができる。ここで、音声入力により機器を制御しようとする場合、情報処理量が膨大となることがある。このような場合であっても、制御システム2001Sでは、ネットワークNW上に構築されたニューラルネットワーク等を実現する情報処理装置2100を用いることで、音声解析を高精度に実行することができる。これにより、音声入力であっても制御機器2010,2020及び制御指示を細かく特定することができる。結果として、任意の機器を容易に制御し得る制御システム2001を提供できる。
なお、本実施形態に係る制御システム2001では、ネットワークNW上の情報処理装置2100が、赤外線パターンDB2104Aを有しており、赤外線の出力信号のパターンと所定の制御内容との対応関係を制御機器毎に記憶している。これにより、赤外線の出力信号のパターンの変更・更新・追加等を一括で設定することができる。ただし、本実施形態に係る制御システム2001において、赤外線パターンDB2104Aの情報は、情報処理装置2100ではなく、各赤外線出力装置2070の記憶部が保有する記憶であってもよい。
(2-1-4)固定式機器2020Fの利用
図37に示したように、赤外線出力装置2070は、所定空間(部屋R)内に位置が固定される固定式機器2020Fの内部に取り付けることが可能なものである。固定式機器2020Fは、例えば空気調和装置、照明器具、テレビなどであり、部屋Rの天井又は壁に取り付けられて固定されるものである。若しくは、固定式機器2020Fは、部屋Rの天井又は壁に埋め込まれて固定されるものでもよい。また固定式機器2020Fは、第2タイプの機器2020で構成することが可能なものである。
このような固定式機器2020Fの一例としては、空気調和装置、照明器具、テレビ等が挙げられる。例えば固定式機器2020Fとして空気調和装置2020dが用いられる場合、赤外線出力装置2070は、図40に示すように、前面パネルの右側背後の制御機構に搭載される。
このように、本実施形態に係る制御システム2001では、赤外線出力装置2070は、所定空間(例えば部屋R)内に位置が固定される固定式機器2020Fの内部に取り付けられている。そして、固定式機器2020Fの位置は所定空間(部屋R)内において固定されるので、この固定式機器2020Fに取り付けられる赤外線出力装置2070により出力される赤外線の到達範囲を予め予期することができる。したがって、赤外線出力装置2070は、その到達範囲内に存在する機器が赤外線により制御可能なものであれば、任意の制御機器(第1タイプの機器2010)を容易に制御できる。また、赤外線出力装置2070が、固定式機器2020Fに取り付けられるので、赤外線出力装置2070のための設置スペースを不要とすることができる。
また、本実施形態に係る制御システム2001は、固定式機器2020Fが、部屋Rの天井又は壁に取り付けられて固定されるものである(図37参照)。部屋Rの天井又は壁に取り付けられて固定される固定式機器としては、例えば、照明器具、空気調和装置等が挙げられる。いずれも所定空間(部屋R)内で高い位置に取り付けられる。そのため、所定空間内における赤外線の伝搬経路上に入り込む遮蔽物を回避する確率を高めることができる。換言すると、制御機器(第1タイプの機器2010)への赤外線の到達確率を高めることができる。結果として、制御システム2001の信頼性を高めることができる。
なお、本実施形態に係る制御システム2001では、ネットワークNW上の情報処理装置2100Sが、相対位置DB2104Bを有しており、赤外線出力装置2070(または固定式機器2020F)の位置と所定空間内の制御機器2010の位置との相対的な位置関係を示す相対位置情報を記憶している。これにより、情報処理装置2100側で、各赤外線出力装置2070の姿勢制御が可能となる。ただし、制御システム2001において、相対位置DB2104Bの情報は、情報処理装置2100ではなく、各赤外線出力装置2070の記憶部が記憶する構成であってもよい。
(2-1-4-1)変形例3A
また、本実施形態に係る制御システム2001では、図41に概念を示すように、固定式機器2020Fが部屋Rの天井又は壁に埋め込まれて固定されるものでもよい。部屋Rの天井又は壁に埋め込まれて固定される固定式機器としては、例えば、照明器具、空気調和装置、壁掛けテレビ等が挙げられる。いずれの固定式機器であっても所定空間(部屋R)内で高い位置に取り付けられる。そのため、所定空間内における赤外線の伝搬経路上に入り込む遮蔽物を回避する確率を高めることができる。
(2-1-4-2)変形例3B
また、本実施形態に係る制御システム2001では、図42に概念を示すように、入力受付装置2060が固定式機器2020Fの内部に配置されるものでもよい。これにより、システム構成を簡素化できる。また、入力受付装置2060のための設置スペースを新たに確保する必要がなくなる。
(2-1-4-3)変形例3C
本実施形態に係る赤外線出力装置2070は、固定式機器2020Fの機体の上半分の領域に取り付けられるものでもよい。このような構成であれば、高い位置から赤外線を出力することができる。これにより、所定空間内における赤外線の伝搬経路上に入り込む遮蔽物を回避する確率を高めることができる。例えば、床置き式の空気調和装置の上部に赤外線出力装置が取り付けられる。
<第2実施形態>
(2-2-1)制御システム2001Sの構成
図43は第2発明の第2実施形態に係る制御システム2001Sの構成を示す模式図である。なお、以下の説明において、既に説明した構成については略同一の符号を付して重複する説明を省略する。また、本実施形態においては、他の実施形態と異なる構成には添え字Sを付して説明する場合がある。
本実施形態に係る制御システム2001Sでは、第1実施形態とは異なり、入力受付装置2060Sと赤外線出力装置2070Sとが直接通信を行い、情報処理装置2100の構成が省略される。すなわち、制御システム2001Sは、入力受付装置2060Sと赤外線出力装置2070Sとを備え、所定の制御機器(第1タイプの機器)2010を制御するものである。ここでは、これらの機器が部屋Rに配置されているものとする。なお、図43では、説明の便宜上、一台の制御機器2010を示しているが、制御機器2010は複数台存在していてよいものである。
入力受付装置2060Sは、制御機器2010に対する制御指示の入力を受け付けるものである。そして、入力受付装置2060Sは受け付けた音声入力に対応する音声情報を赤外線出力装置2070Sに送信する。
赤外線出力装置2070Sは、図44に示すように、入力部2071、出力部2072、通信部2073、記憶部2074、処理部2075を備えている。そして、赤外線出力装置2070Sは、出力部2072を介して制御機器2010に赤外線を出力する。また、赤外線出力装置2070Sは、所定空間(部屋R)内に位置が固定される固定式機器2020F内に取り付けられている。
詳しくは、入力部2071は、赤外線出力装置2070Sに各種情報を入力するものである。出力部2072は、赤外線出力装置2070Sからの各種情報を出力するものである。ここでは、出力部2072としての赤外線発信機の機能により赤外線が出力される。通信部2073は、外部のネットワークNW等との直接的又は間接的な接続を可能にするものである。ここでは、通信部2073の機能により、赤外線出力装置2070Sと入力受付装置2060Sとが接続される。
記憶部2074は、ROM,RAM等により実現され、赤外線出力装置2070に入力される情報、及び、赤外線出力装置2070Sで計算される情報等を記憶するものである。例えば記憶部2074には、「赤外線パターンDB2074A」が記憶される。赤外線パターンDB2074Aは、赤外線の出力信号のパターンと所定の制御内容との対応関係を制御機器毎に記憶するものである。
処理部2075は、CPU等により実現され、赤外線出力装置2070Sにおける情報処理を実行するものである。ここでは、処理部2075が、記憶部2074に記憶されたプログラムを実行することで、「出力命令送信部2075A」として機能する。出力命令送信部2075Aは、入力受付装置2060から制御指示を受け付けた場合、赤外線パターンDB2074Aに記憶された情報に基づいて、制御機器2010に赤外線を出力する。
(2-2-2)特徴
以上説明したように、本実施形態に係る制御システム2001Sは、入力受付装置2060Sと赤外線出力装置2070Sとを備える。入力受付装置2060Sは、赤外線により制御可能な制御機器2010に対する制御指示を音声入力により受け付ける。赤外線出力装置2070Sは、所定空間(例えば部屋R)内に位置が固定される固定式機器2020Fの内部に取り付けられている。また、赤外線出力装置2070Sは、入力受付装置2060Sが制御指示を受け付けた場合、制御機器2010に赤外線を出力する。
したがって、本実施形態に係る制御システム2001Sでは、音声入力により赤外線を介して制御機器2010を制御できる。また、固定式機器2020Fの位置は所定空間(部屋R)内において固定されるので、この固定式機器2020Fに取り付けられる赤外線出力装置2070Sにより出力される赤外線の到達範囲を予め予期することができる。それゆえ、赤外線出力装置2070Sは、その到達範囲内に存在する機器が赤外線により制御可能なものであれば、任意の制御機器2010を容易に制御できる。また、赤外線出力装置2070Sが、固定式機器2020Fに取り付けられるので、赤外線出力装置2070Sのための設置スペースを不要とすることができる。
また、本実施形態に係る制御システム2001は、固定式機器2020Fが、部屋Rの天井又は壁に取り付けられて固定されるものである(図36参照)。部屋Rの天井又は壁に取り付けられて固定される固定式機器としては、例えば、照明器具、空気調和装置等が挙げられる。いずれも所定空間(部屋R)内で高い位置に取り付けられる。そのため、所定空間内における赤外線の伝搬経路上に入り込む遮蔽物を回避する確率を高めることができる。換言すると、制御機器2010への赤外線の到達確率を高めることができる。結果として、制御システム2001の信頼性を高めることができる。
(2-2-3)変形例
また、本実施形態に係る制御システム2001Sは、図45に示すように、赤外線出力装置2070Sに姿勢制御機構2070Aが組み込まれていてもよい。ここでは、図46に示すように、赤外線出力装置2070Sの記憶部2074が「相対位置DB2074B」を有する。相対位置DB2074Bには、赤外線出力装置2070Sと、所定空間(部屋R)内の制御機器2010との相対的な位置関係を示す「相対位置情報」が記憶される。そして、赤外線出力装置2070Sが赤外線出力をする際に、処理部2075が姿勢制御部2075Bとして機能する。姿勢制御部2075Bは、相対位置DB2074Bから相対的位置情報を抽出し、この相対位置情報に基づいて姿勢制御機構2070Aを駆動して赤外線出力装置2070の位置を変更する。これにより、赤外線出力装置2070Sの赤外線の出力方向が所望の方向に変更される。結果として、制御機器2010への赤外線の到達確率を高めることができ、制御システムの信頼性を高めることができる。
なお、赤外線出力装置2070Sが固定式機器2020Fに固定されることから、相対位置情報として、赤外線出力装置2070Sの位置と制御機器2010の位置との相対的な位置関係を示す情報に代えて、固定式機器2020Fの位置と制御機器2010の位置との相対的な位置関係を示す情報を用いることも可能である。
その他、本実施形態においても、第1実施形態の変形例3A~3Cをそのまま適用することができる。
[第3発明]
(3-1)制御システム3001の構成
図47,48は第3発明の一実施形態に係る制御システム3001の構成を示す模式図である。
制御システム3001は、入力受付装置3060と、赤外線出力装置3070と、情報処理装置3100とを備える。制御システム3001では、ユーザ3005が入力受付装置3060に制御指示の入力を実行することで、所定の制御機器を制御することができる。ここでは、制御機器として、「第1タイプの機器3010」と「第2タイプの機器3020」とが存在する。また、これらの制御機器は、部屋Rの中に配置されているものとする。
なお、図47,48では、入力受付装置3060、赤外線出力装置3070、情報処理装置3100は一台ずつ示しているが、各装置の個数はこれに限定されるものではない。情報処理装置3100は任意の個数の装置と接続し、これらの装置を管理できるものである。
第1タイプの機器3010は、赤外線の出力信号により制御可能なものである。例えば、第1タイプの機器3010としては、扇風機3010a、照明機器3010b、テレビ3010c、エアコン3010dなどが挙げられる。補足すると、赤外線の出力信号のパターンは制御機器毎に予め設定されており、これを用いることで制御機器3010を制御することができる。ここでは、赤外線の出力信号のパターンと制御内容との対応関係が、後述する赤外線パターンDB3104Aに記憶されている。なお、以下の説明では、任意の第1タイプの機器を示す場合に符号3010を用い、個別の第1タイプの機器を示す場合には英小文字の添え字を付す。
第2タイプの機器3020は、ネットワークNW経由で情報処理装置3100が直接制御できるものである。第2タイプの機器3020も、第1タイプの機器3010と同様に、扇風機3020a、照明機器3020b、テレビ3020c、エアコン3020dなどが挙げられる。なお、以下の説明では、任意の第2タイプの機器を示す場合に符号3020を用い、個別の第2タイプの機器を示す場合には英小文字の添え字を付す。
入力受付装置3060は、所定の制御機器3010,3020に対する制御指示の入力を受け付けるものである。ここでは、入力受付装置3060は、マイクを有しており、このマイクを介してユーザ3005からの制御機器3010,3020に対する制御指示を音声入力で受け付けることができる。そして、入力受付装置3060は受け付けた音声入力に対応する音声情報を情報処理装置3100に送信する。なお、入力受付装置3060はユーザ3005が発する音声を検知した場合には、その音声情報をそのまま情報処理装置3100に送信する。ただし、入力受付装置3060は、入力受付装置に限定されるものではなく、任意の入力手段からの入力を受け付けるものである。
赤外線出力装置3070は、制御機器(第1タイプの機器)3010に赤外線を出力するものである。また、赤外線出力装置3070は姿勢制御機構3070Aを有しており、後述する相対位置情報を情報処理装置3100から受信した場合に、その相対位置情報に基づいて赤外線出力装置3070の姿勢を制御する。なお、赤外線出力装置3070は、所定空間(部屋R)内に位置が固定される固定式機器3020Fの内部に取り付けることが可能なものである。固定式機器3020Fは、例えば空気調和装置、照明器具、テレビなどであり、部屋Rの天井又は壁に取り付けられて固定されるものである。若しくは、固定式機器3020Fは、部屋Rの天井又は壁に埋め込まれて固定されるものでもよい。
情報処理装置3100は、図49に示すように、入力部3101、出力部3102、通信部3103、記憶部3104、処理部3105を有しており、インターネットなどのネットワークNWを介して、入力受付装置3060及び赤外線出力装置3070に接続している。
ここで、入力部3101は、任意の入力装置により実現され、情報処理装置3100に各種情報を入力するものである。出力部3102は、任意の出力装置により実現され、情報処理装置3100からの各種情報を出力するものである。通信部3103は、外部のネットワークNWと接続し、情報通信を可能にするものである。
記憶部3104は、ROM,RAM等により実現され、情報処理装置3100に入力される情報、及び、情報処理装置3100で計算される情報等を記憶するものである。そして記憶部3104は、「赤外線パターンデータベース(DB)3104A」「相対位置データベース(DB)3104B」を記憶する。
赤外線パターンDB3104Aは、赤外線の出力信号のパターンと所定の制御内容との対応関係を制御機器(第1タイプの機器3010)毎に記憶するものである。
相対位置DB3104Bは、赤外線出力装置3070と所定空間(部屋R)内の制御機器(第1タイプの機器3010)との相対的な位置関係を示す「相対位置情報」を記憶するものである。なお、赤外線出力装置3070が固定式機器3020Fに固定される場合、相対位置情報として、赤外線出力装置3070の位置と第1タイプの機器3010の位置との相対的な位置関係を示す情報に代えて、固定式機器3020Fの位置と第1タイプの機器3010の位置との相対的な位置関係を示す情報を用いることも可能である。
処理部3105は、CPU等により実現され、情報処理装置3100における情報処理を実行するものである。ここでは、処理部3105が、記憶部3104に記憶されたプログラムを実行することで、「入力解析部3110」「制御内容特定部3120」「第1制御部3130」「第2制御部3135」として機能する。
入力解析部3110は、入力受付装置3060から受信する入力の内容を解析する。例えば、入力受付装置3060が音声入力を受け付けた場合、その音声入力の内容をテキスト情報に変換して解析する。なお、入力解析部3110は、音声入力の内容を解析する場合には、ニューラルネットワーク等を用いて、高精度に内容を解析することができる。
制御内容特定部3120は、入力解析部3110による解析結果から、制御機器及び制御指示を示す制御内容を特定する。例えば、制御内容特定部3120は、入力受付装置3060が音声入力を受け付けた場合、入力解析部3110により変換されたテキスト情報に、制御機器及び制御指示に対応する言語情報が含まれているか否かを判定して制御内容を特定する。
ここで、制御内容特定部3120は、制御機器が第1タイプの機器3010であると特定した場合、その制御機器に対応する制御内容を第1制御部3130に送出する。一方、制御内容特定部3120は、制御機器が第2タイプの機器3020であると特定した場合、その制御機器に対応する制御内容を第2制御部3135に送出する。
第1制御部3130は、制御内容特定部3120により第1タイプの機器3010に関する制御内容が特定された場合、その制御内容に対応する赤外線パターンを赤外線出力装置3070に送信する。詳しくは、第1制御部3130は、制御内容特定部3120により特定された制御内容及び赤外線パターンDB3104Aに記憶された情報に基づいて、赤外線出力装置3070に赤外線の出力命令を送信する。これにより、第1タイプの機器3010が赤外線出力装置3070を介して制御される。また、第1制御部3130は、赤外線の出力命令とともに、赤外線出力装置3070及び対象となる第1タイプの機器3010の相対位置情報を赤外線出力装置3070に送信する。なお、相対位置情報は相対位置DB3104Bから抽出される。
第2制御部3135は、制御内容特定部3120により第2タイプの機器3020に関する制御内容が特定された場合、その制御内容に基づいて第2タイプの機器3020をネットワークNW経由で制御する。
(3-2)制御システム3001の動作
図50A,50Bは本実施形態に係る制御システム3001の動作を説明するためのシーケンス図である。
まず、ユーザ3005により入力受付装置3060が用いられて、制御機器3010,3020に対する音声入力が行われる(E1)。そして、入力受付装置3060が、受け付けた音声入力に対応する入力情報を情報処理装置3100に送信する(E2)。ここでは、入力受付装置3060は、音声による操作入力(音声入力)を受け付けるものとする。
続いて、情報処理装置3100が、入力情報を受信し(E3)、入力の内容を解析する(E4)。次に、情報処理装置3100は、制御機器3010,3020と、その制御機器3010,3020に対する制御指示とを示す制御内容を特定する(E5)。
ここで、情報処理装置3100は、制御内容が第1タイプの機器3010に関するものであると特定した場合(E6-Yes)、制御内容に基づいて赤外線パターンDB3104Aから赤外線パターンの情報を抽出する(E7)。さらに、情報処理装置3100は、相対位置DB3104Bから、第1タイプの機器3010と赤外線出力装置3070(または固定式機器3020F)との相対位置情報を抽出する(E8)。そして、情報処理装置3100は、赤外線の出力命令とともに、赤外線パターンの情報及び相対位置情報を赤外線出力装置3070に送信する(E9)。
続いて、赤外線出力装置3070が、赤外線の出力命令とともに、赤外線パターンの情報及び相対位置情報を受信すると(E10)、相対位置情報に基づいて、対応する制御機器3010に向けて姿勢を変更する(E11)。そして、赤外線出力装置3070が、受信した赤外線パターンの情報に基づいて制御機器(第1タイプの機器)3010に向けて赤外線を出力する(E12)。
一方、上記ステップE6と並行して、情報処理装置3100は、制御内容が第2タイプの機器3020に関するものであると特定した場合(E13-Yes)、制御内容に基づいて制御機器(第2タイプの機器)3020をネットワークNW経由で制御する(E14)。
上記ステップE6,E13において、情報処理装置3100は、制御内容が第1タイプの機器3010及び第2タイプの機器3020に関するものであると特定できない場合には、処理を終了する(E6-No,E13-No)。
なお、上記ステップE6~9の処理と、ステップE13,14の処理とは順不同であり、いずれを先に処理してもよいものである。
(3-3)特徴
以上説明したように、本実施形態に係る制御システム3001は、入力受付装置3060と、赤外線出力装置3070と、情報処理装置3100とを備える。ここで、入力受付装置3060は、ユーザ3005から制御機器3010,3020に対する制御指示を音声入力により受け付ける。赤外線出力装置3070は、制御機器3010,3020に赤外線を出力する。情報処理装置3100は、入力解析部3110、制御内容特定部3120、第1制御部3130、第2制御部3135を有する。入力解析部3110は、入力受付装置3060から受信する入力の内容を解析する。制御内容特定部3120は、入力解析部3110による解析結果から、制御機器及び制御指示を示す制御内容を特定する。第1制御部3130は、制御内容特定部3120により第1タイプの機器3010に関する制御内容が特定された場合、その制御内容に対応する赤外線パターンを赤外線出力装置3070に送信する。第2制御部3135は、制御内容特定部3120により第2タイプの機器3020に関する制御内容が特定された場合、その制御内容に基づいて第2タイプの機器3020をネットワークNW経由で制御する。
したがって、本実施形態に係る制御システム3001では、赤外線パターンの出力により制御可能な第1タイプの機器3010、及び、ネットワークNW経由で制御可能な第2タイプの機器3020を制御することができる。
さらに、本実施形態に係る制御システム3001Sでは、ネットワークNW上の情報処理装置3100が、音声入力の解析結果から、赤外線出力装置3070Sに赤外線の出力命令を送信することができる。ここで、音声入力により機器を制御しようとする場合、情報処理量が膨大となることがある。このような場合であっても、制御システム3001Sでは、ネットワークNW上に構築されたニューラルネットワーク等を実現する情報処理装置3100を用いることで、音声解析を高精度に実行することができる。これにより、音声入力であっても制御機器3010,3020及び制御指示を細かく特定することができる。結果として、任意の機器を容易に制御し得る制御システム3001を提供できる。
なお、本実施形態に係る制御システム3001では、ネットワークNW上の情報処理装置3100が、赤外線パターンDB3104Aを有しており、赤外線の出力信号のパターンと所定の制御内容との対応関係を制御機器毎に記憶している。これにより、赤外線の出力信号のパターンの変更・更新・追加等を一括で設定することができる。ただし、本実施形態に係る制御システム3001において、赤外線パターンDB3104Aの情報は、情報処理装置3100ではなく、各赤外線出力装置3070の記憶部が記憶する構成であってもよい。
(3-4)環境情報検知機器3020Kの利用
(3-4-1)制御システム3001の構成
本実施形態に係る制御システム3001では、図51に示すように、さらに環境情報検知機器3020Kを備える構成を採用することができる。
環境情報検知機器3020Kは、制御機器3010,3020の周辺の環境情報を検知するものである。「環境情報」は、例えば、温度、湿度、照度等の情報を含むものである。環境情報検知機器3020Kの一例としては、音声センサ、照度センサ、風量センサ、画像センサ(カメラ)、赤外線センサ、温度センサ、圧力センサ、湿度センサ、サーモスタットなどを利用したものが挙げられる。これらの環境情報は情報処理装置3100に送信される。なお、環境情報検知機器3020Kは、第2タイプの機器3020で構成することが可能なものである。
情報処理装置3100では、図52に示すように、処理部3105が、「制御判定部3140」「異常処理部3150」としてさらに機能する。
制御判定部3140は、環境情報検知機器3020Kから環境情報を受信し、赤外線の出力命令と環境情報とに応じて、制御機器(第1タイプの機器)3010が制御されたか否かを判定する。例えば、制御機器3010がエアコンである場合、周辺環境の温度が変化する。そこで、制御判定部3140は、環境情報として温度情報を取得し、所定の温度変化が生じたか否かを判定することで、制御機器3010が制御されたか否かを判定する。また、例えば、制御機器3010がテレビである場合、周辺環境の照度が変化する。そこで、制御判定部3140は、環境情報として照度情報を取得し、所定の照度変化が生じたか否かを判定することで、制御機器3010が制御されたか否かを判定する。
異常処理部3150は、制御判定部3140により、赤外線の出力命令と環境情報とに基づいて制御機器3010が制御されなかったと判定(異常判定)された場合、異常処理を実行する。例えば、異常処理部3150は、異常処理として、赤外線出力装置3070に向けて赤外線の出力命令を再送信する処理を実行する。
(3-4-2)制御システム3001の動作
図53A,53Bは本実施形態に係る制御システム3001の動作を説明するためのシーケンス図である。なお、以下の説明では、制御機器は第1タイプの機器3010であるとして説明する。
本実施形態に係る制御システム3001では、環境情報検知機器3020Kを備える構成を採用することで、上述したステップE1~E12に対し、次のステップF1~F4の処理を追加することができる。
すなわち、環境情報検知機器3020Kが情報処理装置3100に、制御機器3010の周辺の環境情報を随時送信する(F1)。
これを受けて、情報処理装置3100では、赤外線出力装置3070に送信した出力命令の時刻と、環境情報検知機器3020Kから受信する環境情報の時刻及び変化量とに基づいて、制御機器3010が出力命令通りに制御されているか否かを判定する(F2,F3)。
情報処理装置3100では、制御機器3010が出力命令通りに制御されていると判定した場合、制御確認の処理を終了する(F3-Yes)。
一方、情報処理装置3100では、制御機器3010が出力命令通りに制御されていないと判定した場合、異常が生じていると判定して異常処理を実行する(F3-No,F4)。例えば、情報処理装置3100は、異常処理として、赤外線出力装置3070に出力命令を再送信する(E9)。これにより、制御機器3010が正常に制御されるまで、赤外線出力装置3070から制御機器3010に対して出力命令が繰り返し送信される。
(3-4-3)特徴
以上説明したように、本実施形態に係る制御システム3001は、入力受付装置3060と、赤外線出力装置3070と、環境情報検知機器3020Kと、情報処理装置3100と、を備える。入力受付装置3060は、赤外線により制御可能な制御機器(第1タイプの機器)3010に対する制御指示の入力を受け付ける。赤外線出力装置3070は、制御機器3010に赤外線を出力する。環境情報検知機器3020Kは、制御機器3010の周辺の環境情報を検知する。情報処理装置3100は、入力受付装置3060から制御指示を受信し、制御指示に基づいて赤外線出力装置3070に赤外線の出力命令を送信する。ここで、情報処理装置3100は、環境情報検知機器3020Kから環境情報を受信し、出力命令と環境情報とに基づいて、制御機器3010が制御されたことを判定する。
したがって、本実施形態に係る制御システム3001では、情報処理装置3100が、環境情報検知機器3020Kから環境情報を受信し、出力命令と環境情報とに基づいて制御機器3010が制御されたか否かを判定するので、制御機器3010が制御されていない場合に、制御機器3010が制御されるような処理を実行することができる。
例えば、情報処理装置3100は、赤外線の出力命令と環境情報とに応じて、制御機器3010が制御されなかったと判定した場合、赤外線出力装置3070に出力命令を再送信する。これにより、制御機器3010が確実に制御されるので、信頼性の高い制御システム3001を提供できる。
(3-4-4)変形例
(3-4-4-1)
上記説明においては、赤外線の出力命令と環境情報とに基づいて、制御機器3010が制御されなかったと判定された場合、制御機器3010が正常に制御されまるで、赤外線出力装置3070から制御機器3010に対して出力命令が繰り返し送信されるとした。しかしながら、本実施形態に係る制御システム3001における処理は、このような制御に限られるものではない。例えば、制御機器3010に対する出力命令の回数を所定回数に限定するものでもよい。これにより、システムの負荷を低減できる。また、情報処理装置3100は、赤外線の出力命令と環境情報とに基づいて、制御機器3010が制御されなかったと判定した場合、制御されなかった旨の通知を入力受付装置3060に送信するものでもよい。これにより、入力受付装置3060のユーザ3005に制御指示の再入力が促されるので、制御機器3010が確実に制御される。結果として、信頼性の高い制御システム3001を提供できる。
特に、本実施形態に係る制御システム3001では、ネットワークNW上の情報処理装置3100を介して赤外線出力装置3070を操作するので、制御機器3010の遠隔制御が可能である。一方、遠隔制御の場合には、制御機器3010を制御するユーザ3005aと、制御機器3010を利用するユーザ3005bとが異なることがある(図51参照)。このような状況であっても、本変形例に係る制御システム3001であれば、異常判定された場合に、制御されなかった旨が制御機器3010を制御するユーザ3005aに通知されるので、制御機器3010を制御するユーザ3005a側で適切に制御機器3010を管理できる。
(3-4-4-2)
また、上述した情報処理装置3100の各機能は、複数の情報処理において分散させて実行させてもよい。例えば、制御システム3001は、図54,55に示すように、情報処理装置3100に代えて、第1情報処理装置3100A及び第2情報処理装置3200Aを備える構成でもよい。ここでは、第1情報処理装置3100Aが上述した入力解析部の機能を有しており、第2情報処理装置3200Aがそれ以外の機能を有するものとする。補足すると、制御機器を音声入力により制御する場合には、音声入力の解析に多大な処理が必要になることがある。このような場合であっても、制御システム3001では、ネットワークNW上に構築されたニューラルネットワーク等を実現する第1情報処理装置3100Aを用いることで音声解析を高精度に実行することができる。これにより、音声入力であっても制御機器及び制御指示を細かく特定することができる。結果として、任意の機器を容易に制御し得る制御システム3001を提供できる。
(3-4-4-3)
上記説明では、情報処理装置3100が、赤外線パターンDB3104Aを有する構成としたが、この情報は赤外線出力装置3070が記憶してもよい。この場合、赤外線出力装置3070の記憶部が赤外線パターンDBを記憶する。
(3-4-4-4)
上記説明では、情報処理装置3100が、相対位置DB3104Bを有する構成としたが、この情報は赤外線出力装置3070が記憶してもよい。この場合、赤外線出力装置3070の記憶部が相対位置DBを記憶する。なお、情報処理装置3100及び赤外線出力装置が相対位置DBを保有しない構成であっても、本実施形態に係る制御システム3001による機器の制御を実現できることは言うまでもない。
[第4発明]
以下では、図面を参照しながら、本発明の操作システムの一実施形態に係る操作システム4001について説明する。
なお、以下の実施形態は、本発明の具体例であって、本発明の技術的範囲を限定するものではない。以下の実施形態は、本発明の要旨を逸脱しない範囲で適宜変更可能である。
(4-1)機器システムの全体概要
図56は、第4発明の一実施形態に係る機器システム4000の概略構成図である。図57は、機器システム4000の概略ブロック図である。なお、図57では、機器システム4000の一部構成については描画を省略している。
本実施形態では、操作システム4001は、操作者の音声による指示で、空調機4010、第1機器群(第1タイプの機器ともいう)4050に含まれる機器4050a,4050b,・・・4050n、第2機器群(第2タイプの機器ともいう)4060に含まれる機器4060a,4060b,・・・4060mを操作するシステムである。操作システム4001では、操作ユニット4200に対する指示音声の入力により、空調機4010と、第1機器群4050の機器と、第2機器群4060の機器と、を操作可能である。なお、第1機器群4050に含まれる機器4050a,4050b,・・・4050nは、操作対象機器の一例である。つまり、第1機器群4050に含まれる機器4050a,4050b,・・・4050nは、空調機4010以外の、赤外線信号により操作可能な機器である。
機器システム4000は、操作ユニット4200、空調機4010、第1機器群4050、第2機器群4060、赤外線出力装置(赤外線発信機ともいう)4040、解析サーバ4020、空調機サーバ4030、及び機器サーバ4070を主に含む(図56及び図57参照)。操作システム4001は、主に、操作ユニット4200、空調機4010、及び赤外線出力装置4040を含む。また、操作システム4001は、第1機器群4050の電流や電力を計測するセンサ4410や、照度センサ、温度センサ、気圧センサ等の環境センサ4430を含む(図57参照)。
空調機4010、第1機器群4050、第2機器群4060及び赤外線出力装置4040は、建物Bに配置される機器である(図56参照)。例えば、建物Bは一戸建ての住宅であるが、これに限定されるものではない。建物Bは、オフィスビル、商業施設、工場等であってもよい。解析サーバ4020、空調機サーバ4030及び機器サーバ4070は、限定するものではないが、通常、建物Bとは別の場所に設置される。
なお、図56では、操作システム4001により動作が制御される空調機4010、第1機器群4050及び第2機器群4060の配置される建物Bを1つしか描画していない。しかし、建物Bは複数であってもよい。つまり、操作システム4001は、複数の建物Bにそれぞれ配置される空調機4010、第1機器群4050及び第2機器群4060の動作を制御するシステムであってもよい。ここでは、説明の簡略化のため、建物Bは1つとする。
また、建物Bに配置される空調機4010、第1機器群4050の機器、第2機器群4060の機器、赤外線出力装置4040及び環境センサ4430のそれぞれの台数は、図56に描画された台数によらず、1台であっても複数であってもよい。なお、ここでは、建物Bに配置される空調機4010、赤外線出力装置4040及び環境センサ4430の台数は1台で、建物Bに配置される第1機器群4050及び第2機器群4060の機器の台数はそれぞれ複数であるとして説明をする。
操作ユニット4200は、建物B内に設置され、建物B内の空調機4010、第1機器群4050の機器及び第2機器群4060の機器を操作するために用いられる。なお、図56及び図57では、操作ユニット4200を1台のみ描画しているが、操作ユニット4200の台数は1台に限定されるものではなく、複数であってもよい。例えば、建物B内の複数の場所に操作ユニット4200が設置されてもよい。
また、操作ユニット4200は、建物B外に持ち運び可能な携帯端末であってもよい。言い換えれば、空調機4010と、第1機器群4050及び第2機器群4060の機器とは、携帯可能な操作ユニット4200を用いて、建物Bの外部から操作可能に構成されてもよい。
(4-2)詳細構成
機器システム4000の操作ユニット4200、空調機4010、第1機器群4050、第2機器群4060、赤外線出力装置4040、解析サーバ4020、空調機サーバ4030、及び機器サーバ4070について以下に説明する。
(4-2-1)操作ユニット
操作ユニット4200は、空調機4010、第1機器群4050に含まれる機器4050a,4050b,・・・4050n及び第2機器群4060に含まれる機器4060a,4060b,・・・4060mの操作の入力に用いられる。操作ユニット4200は、指示受付機の一例であり、第1機器群4050に含まれる機器4050a,4050b,・・・4050nに対する指示を指示音声として受け付ける。また、操作ユニット4200は、空調機4010及び第2機器群4060に含まれる機器4060a,4060b,・・・4060mに対する指示を指示音声として受け付ける。
操作ユニット4200は、例えば、建物B内に据え付けられる。例えば、操作ユニット4200は、壁面等に固定されたり、テーブルや棚の上に戴置されたりする。操作ユニット4200は、以下で説明するような機能を有する、専ら空調機4010、第1機器群4050及び第2機器群4060の機器の操作のために用いられる機器であってもよい。また、操作ユニット4200は、以下で説明するような機能に加え、他の機能(例えば時計や音楽プレーヤーとしての機能)を更に有する機器であってもよい。
操作ユニット4200は、携帯端末であってもよい。タイプを限定するものではないが、携帯端末は、音声受付部を有するスマートフォン、携帯電話、タブレット端末、ウェアラブル端末等である。例えば、具体的には、操作ユニット4200は、操作者が手首に装着して携帯する、腕時計式の機器である。
なお、操作ユニット4200が複数用いられる場合には、複数の操作ユニット4200のそれぞれは、他の操作ユニット4200と種類が異なってもよい。
操作ユニット4200は、各種処理を実行するCPU(図示省略)や、CPUによって実行されるプログラムや各種情報を記憶する記憶装置(図示省略)等を含む。また、操作ユニット4200は、音声受付部4210としてのマイク素子4210a、報知部4220としてのスピーカ、マイク素子4210aが取得した音声に対して各種処理を行う音声処理用のチップ、通信部4250として機能する無線LANアダプタ等を含む。
操作ユニット4200は、機能部として、音声受付部4210と、報知部4220と、音声処理部4230と、通信部4250と、スイッチ4260と、を有する(図57参照)。
(4-2-1-1)音声受付部
音声受付部4210は、空調機4010、第1機器群4050の機器、及び第2機器群4060の機器に対する指示音声の入力を受け付ける。
音声受付部4210は、指示音声を受け付けるマイク素子4210aを有する。マイク素子4210aの数は、単数であってもよいし、複数であってもよい(図57では、マイク素子4210aの数を2個としている)。
例えば、操作ユニット4200が据付式の機器である場合にマイク素子4210aを複数とし、マイク素子4210aをそれぞれ異なる場所から指示音声を取得しやすいように配置することで、操作者(発声者)の位置によらず、音声受付部4210により指示音声が確実に取得されやすくなる。
(4-2-1-2)報知部
報知部4220は、ここではスピーカである。
報知部4220は、主には音声受付部4210による指示音声の受け付けを報知する。例えば、具体的に、報知部4220は、音声受付部4210が指示音声を受け付けた時に、“音声を受け付けました”等の文章を発声したり、受け付けた指示音声を復唱するように発声したりすることで、音声受付部4210による指示音声の受け付けを報知する。また、報知部4220は、空調機4010が各種動作を実行する際に、その動作内容(例えば、“運転を開始します”等の文章)を報知するように構成されてもよい。また、報知部4220は、第2機器群4060の機器が各種動作を実行する際に、その動作内容を報知するように構成されてもよい。
さらに、報知部4220は、後述する空調機4010の機器管理装置4300の送信部4170aから通信部4250に対して出力される(送信される)、機器管理装置4300の判定部4318による判定結果に関する情報を報知する。なお、ここで、判定結果とは、操作ユニット4200を用いて第1機器群4050のある機器に対して指示した指令の内容と、その機器の運転内容とが乖離しているか否かの判定の結果を意味する。
報知部4220は、第1機器群4050のある機器に対する指令の内容と、その機器の運転内容とが乖離していない(一致している)という趣旨の情報を通信部4250が受信した場合、例えば、“機器が正常に操作されました”等の文章を発声する。また、報知部4220は、第1機器群4050のある機器に対する指令の内容と、その機器の運転内容とが乖離しているという趣旨の情報を通信部4250が受信した場合、例えば、“機器が正常に操作されませんでした”等の文章を発声する。なお、文章中の“機器”の部分は、例えば機器の名称に置き換えられてもよい。
なお、上記の報知部4220が発声する文章は例示であって、報知部4220が発声する文章は適宜決定されればよい。
なお、報知部4220としてのスピーカは、文章やワードを発声することで報知する必要はなく、ビープ音等で報知を行うものであってもよい。
また、報知部4220は、スピーカでなくてもよい。例えば、報知部4220は、光による報知を行うランプ、振動による報知を行う振動機、情報の表示による報知を行うディスプレイ等、他の報知方式の報知器を利用可能である。
(4-2-1-3)音声処理部
音声処理部4230は、音声受付部4210が受け付けた指示音声を、通信に適したデータに変換する集積回路である。なお、各種の処理は、ハードウェア処理で実現されても、ソフトウェア処理で実現されてもよい。
例えば、音声処理部4230は、マイク素子4210aが受け付けた指示音声をA/D変換してデジタル音声信号とし、更に各種音声データ圧縮方式(例えばMP3等)の音声圧縮処理を実行することで、通信部4250から送信するための信号Sを生成する。
なお、音声処理部4230の処理内容は一例であって、音声処理部4230は、例えば、マイク素子4210aが受け付けた指示音声をA/D変換し、信号Sとしてデジタル音声信号を生成してもよい。また、音声処理部4230は、マイク素子4210aが受け付けた指示音声をテキスト化し、信号Sとしてテキストデータを生成してもよい。
(4-2-1-4)通信部
通信部4250は、操作ユニット4200が、空調機4010や、解析サーバ4020等と通信を行うための機能部である(図57参照)。
操作ユニット4200は、ネットワーク4080を介して、解析サーバ4020と接続されている(図56参照)。ネットワーク4080は、ここではインターネットであるが、他のWANであってもよい。操作ユニット4200は、ルータ4082と無線LANにより接続され、ルータ4082を介してネットワーク4080と接続されている(図56参照)。ルータ4082は、WAN側のインターフェースと、LAN側のインターフェースとを有し、WANとLANを相互接続させる。なお、操作ユニット4200とルータ4082とは、無線LANではなく、有線LANで接続されてもよい。また、ネットワーク4080はLANであってもよい。
通信部4250は、例えば、ルータ82との間で無線通信を行う無線LANアダプタである。
通信部4250は、音声受付部4210が受け付けた指示音声に関する信号S(音声処理部4230が指示音声から生成した信号S)を送信する(図57参照)。具体的には、通信部4250は、音声受付部4210が受け付けた指示音声に関する信号Sを、ネットワーク4080を介して解析サーバ4020に送信する(図57参照)。
なお、通信部4250は、信号Sを、更に空調機サーバ4030や機器サーバ4070に対して送信してもよい。つまり、通信部4250は、複数のアドレスに(例えば、解析サーバ4020と空調機サーバ4030とに)信号Sを送信してもよい(図57参照)。
また、通信部4250は、後述する空調機4010の機器管理装置4300の送信部4170aから通信部4250に対して出力される(送信される)、機器管理装置4300の判定部4318による判定結果に関する情報を受信する。
また、通信部4250は、空調機4010の送信部4170aや、第2機器群4060の機器4060a,4060b,・・・4060mの送信部(図示せず)がそれぞれ送信してくる、空調機4010や第2機器群4060の機器4060a,4060b,・・・4060mの運転内容に関する情報を受信するように構成されてもよい。
(4-2-1-5)スイッチ
スイッチ4260は、音声受付部4210の動作状態を切り換えるためのスイッチである。
限定するものではないが、スイッチ4260は押釦スイッチである。スイッチ4260を押下することで、音声受付部4210の動作状態が、指示音声を受け付けないスリープ状態と、指示音声の受け付け可能なアクティブ状態との間で切り換えられる。
なお、音声受付部4210の動作状態は、スイッチ4260が押下される度に、スリープ状態とアクティブ状態との間で切り換えられてもよい。また、音声受付部4210の動作状態は、スイッチ4260が押下されると、所定時間だけスリープ状態からアクティブ状態に切り換えられてもよい。
なお、操作ユニット4200は、スイッチ4260を有さず、音声受付部4210の動作状態は、常にアクティブ状態に設定されてもよい。ただし、意図しないタイミングで音声受付部4210が音声を受け付けることを避けるため(意図せず空調機4010や、第1機器群4050及び第2機器群4060の機器が誤動作することを避けるため)、操作ユニット4200にはスイッチ4260が設けられることが好ましい。
(4-2-2)空調機
空調機4010は、操作ユニット4200の音声受付部4210に指示音声を入力することで操作可能な空調機である。指示音声は、限定するものではないが、例えば、“空調オン”、“設定温度を25℃に設定”等の音声である。なお、空調機4010は、音声操作に加えて、一般的なリモコンによっても操作可能に構成されていてもよい。
また、空調機4010は、第1機器群4050の機器4050a,4050b,・・・,4050nを管理する管理機能も有する。具体的には、空調機4010は、第1機器群4050の機器4050a,4050b,・・・,4050nを管理する、機器管理装置4300を有している。
空調機4010は、室内機4012と、室外機4014と、これらの間を接続する冷媒連絡配管(図示せず)と、コントローラ4150と、機器管理部4310と、カメラ4420と、を主に有する(図56及び図57参照)。機器管理部4310と、コントローラ4150の一部(具体的には通信部4170)とは、機器管理装置4300として機能する。
空調機4010は、空調対象空間の空気調和を行う装置である。空調対象空間は、例えば、建物B内の室内機4012が配置される部屋である。
本実施形態では、室内機4012は壁掛型である。図58Aは、本実施形態に係る空調機4010の室内機4012の概略正面図である。なお、以下では、方向や向きを説明するために「左」「右」「上」「下」等の表現を用いる場合があるが、これらの表現の表す向きは、特記無き場合、図58A中の矢印の向きに従う。
室内機4012は、背面側が壁に取り付けられる本体4100を有する(図56及び図58A参照)。本体4100は、内部に、図示しない室内側熱交換器、ファン及びファンモータを収容する筐体である。本体4100には、吹出口4120と吸込口4130とが形成されている(図56及び図58A参照)。
吸込口4130は、空調対象空間の空気を本体4100の内部に吸い込むための開口である。吸込口4130は、正面視において左右方向を長手方向として延びる(図58A参照)。吸込口4130は、本体4100の前面上部から本体4100の上面にわたって形成されている。
吹出口4120は、空調対象空間に対して空気調和された空気を吹き出すための開口である。吹出口4120は、本体4100の下部に形成されている。吹出口4120には上下方向の風向を調整するためのフラップ4122が配置されている(図56参照)。
なお、空調機の室内機のタイプは、壁掛型に限定されるものではない。例えば、空調機は、図58Bに描画した天井埋込型の室内機4012’を用いるものであってもよい。図58Bは、本実施形態に係る空調機4010の室内機4012’の概略底面図である。なお、以下では、方向や向きを説明するために「前」「後」「左」「右」等の表現を用いる場合があるが、これらの表現の表す向きは、特記無き場合、図58B中の矢印の向きに従う。他の例に係る室内機4012’は、例えば、4方向に風を吹き出すユニットである。
室内機4012’は、本体4100’を有する(図58B参照)。本体4100’は、内部に、図示しない室内側熱交換器、ファン及びファンモータを収容する筐体である。本体4100’には、吹出口4120’と吸込口4130’とが形成されている(図58B参照)。
本体4100’では、吸込口4130’は正方形状に形成されている(図58B参照)。吸込口4130’は、底面視において本体4100’の中央部に形成されている(図58B参照)。
また、本体4100’では、吹出口4120’が、本体4100’の下面の4箇所に形成されている。吹出口4120’は、底面視において正方形状の本体4100’の4辺に沿うように、前方縁近傍、後方縁近傍、左方縁近傍、右方縁近傍にそれぞれ形成されている。吹出口4120’は、底面視において、本体4100’の中央部に配置された吸込口4130’を囲むように形成されている。
また、図示及び説明は省略するが、空調機の室内機は、ここで説明したタイプ以外の、例えば、天井吊り下げ型や床置型の室内機であってもよい。
また、空調機の室内機は、その本体が空調対象空間に露出しない、あるいは、ほとんど空調対象空間に露出しない、ビルトイン型のユニットであってもよい。ビルトイン型のユニットは、本体が壁内や天井裏に配置される。例えば、ビルトイン型のユニットでは、本体の吹出口から吹き出す空気が、ダクトを介して壁面や天井面に設けられた開口へと送られ、空調対象空間へと吹き出す。
空調機4010では、室内機4012と室外機4014とが冷媒連絡配管を介して接続されることで、室内機4012の室内熱交換器(図示省略)や、室外機4014の圧縮機、室外熱交換器、膨張弁等(図示省略)が配管で接続され、冷媒回路が構成される。空調機4010では、冷媒回路内で冷媒を循環することで、室内機4012の設置された空間の冷房/暖房が行われる。
蒸気圧縮冷凍サイクルを利用した空調機4010の動作原理や動作内容については、一般に広く知られているため、ここでは説明は省略する。なお、空調機4010は、空調対象空間の冷房/暖房の両方を実施可能な空調機である必要はなく、冷房専用、又は、暖房専用の空調機であってもよい。
なお、本実施形態では、空調機4010は、室内機4012の室内熱交換器において、室内熱交換器の内部を流れる冷媒と空調対象空間の空気との間で熱交換が行われるが、本発明に係る空調機はこのような機器に限定されない。例えば、空調機4010は、室内機4012(ファンコイルユニット)の室内熱交換器において、室内熱交換器の内部を流れる冷水/温水と空調対象空間の空気との間で熱交換が行われる装置であってもよい。
(4-2-2-1)コントローラ
コントローラ4150は、空調機4010の動作を制御する制御装置である。
コントローラ4150は、室内機4012が有する制御基板(図示せず)と、室外機4014が有する制御基板(図示せず)とを含む。コントローラ4150を構成する室内機4012及び室外機4014の制御基板等のCPUは、制御基板等の記憶装置に記憶された各種プログラムを実行することで、各種処理を実行する。また、コントローラ4150は、後述する通信部4170として機能する無線LANアダプタ等の機器等を含む。
コントローラ4150は、機能部として、通信部4170と、空調機制御部4190と、を主に有する。
(4-2-2-1-1)通信部
通信部4170は、空調機4010が、操作ユニット4200や、解析サーバ4020や、空調機サーバ4030と通信を行うために用いられる(図57参照)。通信部4170は、空調機4010の制御のために用いられる他、機器管理装置4300の一部としても機能する。
空調機4010(通信部4170)は、ネットワーク4080を介して、操作ユニット4200、解析サーバ4020及び空調機サーバ4030と接続されている(図56参照)。空調機4010は、ルータ4082と無線LANにより接続され、ルータ4082を介してネットワーク4080と接続されている(図56参照)。なお、空調機4010とルータ4082とは、無線LANではなく、有線LANで接続されてもよい。
通信部4170は、例えば、ルータ4082との間で無線通信を行う無線LANアダプタである。通信部4170は、機能部として、情報を送信する送信部4170aと、情報を受信する受信部4170bとを有している(図57参照)。
送信部4170aは、例えば、後述する機器管理装置4300の判定部4318による判定結果に関する情報を操作ユニット4200の通信部4250に対して出力(送信)する(図57参照)。つまり、送信部4170aは、機器管理装置の出力部の一例である。判定部4318による判定結果に関する情報は、操作ユニット4200を用いて第1機器群4050のある機器に対して与えられた指令の内容と、その機器の運転内容と、が乖離しているか否かを判定部4318が判定した結果に関する情報である。例えば、判定結果に関する情報には、第1機器群4050の複数の機器4050a,4050b,・・・,4050nの機器のうちどの機器に関する情報であるかを示す機器識別符号と、その機器に対して与えられた指令の内容と実際の運転内容とが乖離しているか否かを示す情報と、を含む。
また、送信部4170aは、空調機4010及び空調対象空間の少なくとも一方に関する状態量についての情報Jを空調機サーバ4030に対して送信することが好ましい(図57参照)。限定するものではないが、空調機4010に関する状態量には、例えば冷媒回路の様々な場所においてセンサ(図示せず)により測定される冷媒の温度/圧力や、室外機4014の圧縮機のインバータ制御モータ(図示せず)の回転数や、室外機4014の膨張弁の開度等を含む。空調対象空間に関する状態量には、限定するものではないが、空調対象空間の計測温度等を含む。
受信部4170bは、例えば、操作ユニット4200の通信部4250が送信した信号S(特には、空調機4010の制御に関する指示音声に基づく信号S)に応じた指令Cを外部から受信する。より具体的には、受信部4170bは、解析サーバ4020による信号S(特には、空調機4010の制御に関する指示音声に基づく信号S)の解析の結果に基づいて生成された指令Cを受信する。好ましくは、受信部4170bは、解析サーバ4020による信号S(特には、空調機4010の制御に関する指示音声に基づく信号S)の解析の結果と、送信部4170aから空調機サーバ4030に対して送信された状態量についての情報Jと、に基づいて空調機サーバ4030が生成した指令Cを、受信する。
限定するものではないが、指令Cは、例えば、空調機4010の運転のオン/オフ、空調機4010の運転モード(冷房/暖房/除湿/送風等)の切換、設定温度(空調対象空間の目標温度)の変更、室外機4014の圧縮機のインバータ制御モータ(図示せず)の回転数の目標値、室外機4014の膨張弁の開度の目標値、及び、室内機4012のインバータ制御のファンモータの回転数の目標値の少なくとも1つに関する。
また、受信部4170bは、例えば、操作ユニット4200の通信部4250が送信した信号S(特には、第1機器群4050の機器の制御に関する指示音声に基づく信号S)に応じた、第1機器群4050の機器に対する指令の内容に関する第2情報A402を外部から受信する。受信部4170bは、機器管理装置の指令情報受信部の一例である。受信部4170bは、具体的には、解析サーバ4020が送信する、操作ユニット4200の通信部4250が送信した信号S(特には、第1機器群4050の機器の制御に関する指示音声に基づく信号S)に応じた、第1機器群4050の機器に対する指令の内容に関する第2情報A402を受信する。第2情報A402には、第1機器群4050の機器4050a,4050b,・・・,4050nの機器のうちどの機器に関する指令かを示す機器識別符号と、その機器に対する指令の内容を示す情報と、を含む。例えば、具体的には、第2情報A402は、機器4050aを示す機器識別符号と、“運転”という指令の内容を示す情報とを含む。
受信部4170bが第2情報A402を受信すると、第2情報A402は、後述する機器管理部4310の記憶部4314に記憶される。また、受信部4170bが第2情報A402を受信すると、後述する機器管理部4310の第1情報送信部4312は、受信部4170bが受信した第2情報A402に基づく第1情報A401を生成し、生成した第1情報A401を赤外線出力装置4040に対して送信する。
なお、第2情報A402は、上述のような、機器識別符号と、その機器に対する指令の内容を示す情報とを含むものでなくてもよい。例えば、第2情報A402は、音声信号である信号Sの解析結果であるテキスト情報であってもよい。そして、テキスト情報の解釈(指令の内容の解釈等)は、機器管理装置4300側で行われてもよい。
(4-2-2-1-2)空調機制御部
空調機制御部4190は、受信部4170bが受信する指令Cや、図示しない通常のリモコンからの指令等に応じて、空調機4010の動作を制御する。例えば、空調機制御部4190は、受信部4170bが受信する指令Cに応じ、空調機4010の設定(設定温度等)や、図示しない各種センサの計測値等に基づき、室外機4014の圧縮機や膨張弁、室内機4012のファン等の動作を制御する。また、空調機制御部4190は、空調機4010が具備するカメラ4420(図58A及び図58B参照)が取得した情報(例えば、空調対象空間のどこに人がいるか等の情報)を更に用いて、空調機4010の各部の動作を制御してもよい。
(4-2-2-2)機器管理装置
機器管理装置4300は、管理対象である(操作システム4001の操作対象の機器である)第1機器群4050の機器4050a,4050b,・・・,4050nを管理する。
機器管理装置4300は、機器管理部4310と、通信部4170と、を有する。機器管理装置4300の機器管理部4310は、室内機4012及び/又は室外機4014に設けられた制御基板(図示せず)を構成として有する。この制御基板の記憶装置には、各種プログラムや、各種のデータが記憶されている。制御基板のCPUは、各種プログラムを実行することで、各種処理を実行する。
機器管理部4310は、機能部として、第1情報送信部4312、記憶部4314、判断部4316、及び4判定部318を有する(図57参照)。
以下に、機器管理部4310について説明する。なお、機器管理装置4300を構成する通信部4170については、既にコントローラ4150の一部として説明をしたので、ここでは説明を省略する。
(4-2-2-2-1)第1情報送信部
第1情報送信部4312は、赤外線出力装置4040に対して第1情報A401を送信する。第1情報A401は、第1機器群4050の機器4050a,4050b,・・・,4050nに対する指令に関する情報である。
第1情報送信部4312は、通信部4170の受信部4170bが第2情報A402を受信すると、その第2情報A402に基づいて第1情報A401を生成し、生成した第1情報A401を赤外線出力装置4040に対して送信する。なお、第2情報A402は、解析サーバ4020による信号Sの解析結果に基づく情報である。つまり、第2情報A402に基づいて生成される第1情報A401は、解析サーバ4020による信号Sの解析結果に基づく情報である。
例えば、通信部4170の受信部4170bが、操作対象の機器である機器4050aを示す機器識別符号と、“運転”という指令の内容を示す情報とを含む第2情報A402を受信した場合を想定する。この時、第1情報送信部4312は、赤外線出力装置4040に対し、機器4050aに対して運転開始を指示する指令を赤外線信号で送信することを命じる信号を、第1情報A401として送信する。
また、第1情報送信部4312は、受信部4170bが第2情報A402を受信した時以外にも、第1情報A401を送信してもよい。例えば、第1情報送信部4312は、判定部4318が、第1機器群4050のある機器に対して与えられた指令の内容と、その機器の運転内容とが乖離していると判定した場合に、赤外線出力装置4040に対して第1情報A401を送信(再送信)してもよい。第1情報送信部4312による第1情報A401の再送信については後ほど説明する。
なお、機器管理装置4300は、通信線を介して赤外線出力装置4040と接続されており、第1情報送信部4312は、通信線を介して第1情報A401を赤外線出力装置4040に対して送信する。ただし、機器管理装置4300は、無線で赤外線出力装置4040と接続され、第1情報送信部4312は、無線で第1情報A401を赤外線出力装置4040に対して送信してもよい。
(4-2-2-2-2)記憶部
記憶部4314には、各種プログラムや各種データが記憶されている。
記憶部4314に記憶されるデータには、機器管理装置4300の管理対象である第1機器群4050の機器4050a,4050b,・・・,4050nに関する各種情報を含む。
例えば、記憶部4314には、機器管理装置4300の管理対象である第1機器群4050の機器のリストが記憶されている。機器管理装置4300の管理対象の機器は、例えば、室内機4012に又は室内機4012の近傍に配置される赤外線出力装置4040が赤外線信号を送信可能な(赤外線出力装置4040の送信する赤外線信号を受信可能な位置に配置された)機器である。
また、例えば、記憶部4314には、受信部4170bが第2情報A402を受信すると、受信部4170bが受信した第2情報A402が記憶される。例えば、通信部4170の受信部4170bが、操作対象の機器である機器4050aを示す機器識別符号と、“運転”という指令の内容を示す情報とを含む第2情報A402を受信したと想定する。この場合、記憶部4314には、機器4050aに関する情報として、指令の内容を示す情報(“運転”)が記憶される。
また、記憶部4314には、後述された判断部4316の判断した運転内容が、第1機器群4050の機器4050a,4050b,・・・,4050n別に記憶されることが好ましい。
つまり、記憶部4314には、図60のように、機器管理装置4300の管理対象である第1機器群4050の機器4050a,4050b,・・・,4050nの全てについて、機器を識別する機器識別符号と、その機器に対する指令の内容と、その機器の運転内容と、が関連付けて記憶されることが好ましい。このような情報を保持することで、機器管理装置4300は、第1機器群4050の機器4050a,4050b,・・・,4050nの運転内容が指示内容と乖離していないかを把握できる。
(4-2-2-2-3)判断部
判断部4316は、第1機器群4050の機器の運転状態を検知する運転状態検知部が検知する運転状態に基づいて、第1機器群4050の機器の運転内容を判断する。
運転状態検知部には、例えば、操作ユニット4200の音声受付部4210のマイク素子4210a、空調機4010のカメラ4420、第1機器群4050の機器の電流又は電流を計測するセンサ4410、及び環境センサ4430の少なくとも1つを含む(図57参照)。なお、図57では、第1機器群4050の機器4050aの電流又は電力を計測するセンサ4410だけを描画しているが、第1機器群4050の機器4050a,4050b,・・・,4050nのそれぞれにセンサ4410が設けられてもよい。環境センサ4430は、例えば、照度センサ、温度センサ、気圧センサ等である。建物Bに配置される環境センサ4430は1種類でなくてもよく、複数の種類の環境センサが建物Bに配置されてもよい。なお、図57では通信線等の描画を省略しているが、機器管理装置4300は、運転状態検知部としてのマイク素子4210a、センサ4410、カメラ4420及び環境センサ4430と、無線又は有線で通信可能に接続されており、機器4210a,4410,4420,4430から情報を取得可能に構成されている。
なお、例示したマイク素子4210a、カメラ4420、センサ4410、及び環境センサ4430の中で、いずれの機器を操作システム4001で運転状態検知部として使用するかは、運転状態を検知しようとする第1機器群4050の機器4050a,4050b,・・・4050nの種類や各機器の特徴に応じて適宜選定されればよい。操作システム4001は、例示した機器4210a,4410,4420,4430の全てを運転状態検知部として有してもよいし、その一部だけを運転状態検知部として有してもよい。また、操作システム4001は、第1機器群4050の機器別に、異なる機器4210a,4410,4420,4430を運転状態検知部として利用してもよい。例えば、機器4050aについてはセンサ4410が運転状態検知部として利用され、他の機器4050bについてはマイク素子4210aが運転状態検知部として利用されてもよい。
マイク素子4210aが運転状態検知部として用いられる場合、運転状態検知部は、例えば、第1機器群4050の機器の動作音や、第1機器群4050の機器がある動作を実行する時の報知音(各種動作時に第1機器群4050の機器がスピーカから発するビープ音等の音声)を、第1機器群4050の機器の運転状態として検知する。
カメラ4420が運転状態検知部として用いられる場合、運転状態検知部は、例えば、第1機器群4050の機器の動きや、第1機器群4050の機器に設けられた運転内容を示すランプの点灯/消灯を、第1機器群4050の機器の運転状態として検知する。
センサ4410が運転状態検知部として用いられる場合、運転状態検知部は、第1機器群4050の機器に供給される電流/電力の大きさを、第1機器群4050の機器の運転状態として検知する。
環境センサ4430が運転状態検知部として用いられる場合、運転状態検知部は、第1機器群4050の機器の運転内容により変化する環境値(例えば、照度、温度、気圧等)を、第1機器群4050の機器の運転状態として検知する。なお、操作システム4001において運転状態検知部として用いられる環境センサ4430の種類は、運転状態を検知したい機器の種類等に応じ適宜決定されればよい。
判断部4316が判断する第1機器群4050の機器の運転内容には、例えば、第1機器群4050の機器の運転/停止を含むことが好ましい。
また、判断部4316が判断する第1機器群4050の機器の運転内容には、例えば、第1機器群4050の機器の動作の強度設定を含むことが好ましい。
動作の強度設定とは、例えば、第1機器群4050の機器が扇風機である場合、扇風機の風量設定である。限定するものではないが、例えば、風切音をマイク素子4210aで検知したり、電流/電力値をセンサ4410で検知したりして、検知結果を、予め記憶していた各強度設定時の音の大きさや電流/電力値と比較することで、判断部4316は扇風機の風量設定を判断可能である。
また、動作の強度とは、例えば、第1機器群4050の機器が明るさの程度を変更可能な照明装置である場合、明るさの設定である。限定するものではないが、例えば、照度を環境センサ4430の一例である照度センサで検知し、検知結果を、予め記憶していた各明るさ設定時の照度と比較することで、判断部4316は照明装置の明るさ設定を判断可能である。
また、動作の強度とは、例えば、第1機器群4050の機器がオーディオ機器である場合、音量設定である。限定するものではないが、例えば、音をマイク素子4210aで検知し、検知結果を、予め記憶していた各音量設定時の音の大きさと比較することで、判断部4316はオーディオ機器の音量設定を判断可能である。
(4-2-2-2-4)判定部
判定部4318は、第1機器群4050の機器の運転内容と、この機器に対する指令の内容に関する第2情報とに基づき、この機器の運転内容と指令の内容との乖離の有無を判定する。
ここでは、判定部4318が第1機器群4050の機器4050aに関する判定を行う場合(受信部4170bが、機器4050aを示す機器識別符号と、機器4050aに対する指令の内容を示す情報とを含む第2情報A402を受信した場合)を例に詳しく説明する。例えば、ここでは、受信部4170bは、機器4050aの機器識別記号と、“運転”という指令の内容を示す情報とを含む第2情報A402を受信したと想定する。
判定部4318は、受信部4170bが上記の第2情報A402を受信し、第1情報送信部4312が、赤外線出力装置4040に対し、機器4050aに対して運転を指示する指令を赤外線信号で送信することを命じる信号を、第1情報A401として送信した後に、判断部4316の判断結果を取得する。そして、判定部4318は、機器4050aの運転内容(ここでは、機器4050aが運転中であるか否か)と、記憶部4314に記憶されている機器4050aに対する指令の内容(ここでは“運転”)とに乖離があるか(一致しているか)を判定する。
なお、判定部4318が機器4050aの運転内容と機器4050aに対する指令の内容との乖離が有ると判定した場合、後述するように、第1情報送信部4312は、赤外線出力装置4040に対して第1情報A401を再送信する(図59のステップG7参照)。
また、判定部4318による判定結果(機器4050aの運転と機器4050aに対する指令の内容との乖離の有無)は、後述するように、送信部4170aにより操作ユニット4200の通信部4250へと出力される(図59のステップG6、ステップG10参照)。そして、操作ユニット4200の報知部4220は、通信部4250の受信した判定部4318による判定結果を操作者等に報知する。
(4-2-2-2-5)第1機器群の機器が操作される際の機器管理装置の動作
第1機器群4050の機器4050a,4050b,・・・,4050nが操作される際の機器管理装置4300の動作を以下に説明する。なお、ここでは、機器4050aが操作される際の機器管理装置4300の動作を例に説明するが、他の機器4050b,・・・,4050nが操作される場合にも同様である。
ここでは、受信部4170bが、操作対象の機器である機器4050aを示す機器識別符号と、“運転”という指令の内容を示す情報とを含む第2情報A402を受信した場合を想定して以下の説明を行う。
まず、ステップG1では、受信部4170bが受信した第2情報A402が、記憶部4314に記憶される。具体的には、記憶部4314には、機器4050aに関する情報として(機器4050aを示す機器識別符号と関連付けられた情報として)、指令の内容を示す情報(ここでは“運転”)が記憶される。
次に、ステップG2では、第1情報送信部4312は、記憶部4314に記憶された第2情報A402を参照して、機器4050aに対して運転を指示する指令を赤外線信号で送信することを赤外線出力装置4040に命じる信号を、第1情報A401として生成する。そして、第1情報送信部4312は、第1情報A401を赤外線出力装置4040に送信する。
次に、ステップG2の実行から所定時間経過後に、判断部4316が、機器4050aの運転状態を検知する運転状態検知部が検知する運転状態に基づいて、機器4050aの運転内容を判断する(ステップG3)。
次に、ステップG4では、判定部4318は、ステップG3で判断部4316の判断した機器4050aの運転内容と、記憶部4314に記憶されている機器4050aに対する指令の内容との乖離の有無を判定する。ステップG4において、乖離していないと判定される場合(つまり一致していると判定された場合)にはステップG5に進み、乖離していると判定された場合にはステップG7に進む。
ステップG5では、記憶部4314に、機器4050aの運転内容(ステップG3における判断部4316の判断内容)が記憶される。具体的には、記憶部4314には、図60のように、機器を示す機器識別記号と、機器に対する指令の内容と、判断部4316が判断した機器の運転内容とが関連付けて記憶される。
次に、ステップG6では、送信部4170aは、判定部4318による判定結果(機器4050aの運転内容と機器4050aに対する指令の内容との乖離の有無)を操作ユニット4200の通信部4250へと出力(送信)する。特に、ステップG6では、送信部4170aは、乖離が無いこと(機器4050aの運転内容と機器4050aに対する指令の内容とが一致していること)を操作ユニット4200の通信部4250へと送信することになる。
ステップG7では、第1情報送信部4312は、ステップG2で送信した第1情報A401を赤外線出力装置4040に対し再送信する。
次に、ステップG7の実行から所定時間経過後に、判断部4316が、機器4050aの運転状態を検知する運転状態検知部が検知する運転状態に基づいて、機器4050aの運転内容を判断する(ステップG8)。
次に、ステップG9では、判定部4318は、ステップG8で判断部4316の判断した機器4050aの運転内容と、記憶部4314に記憶されている機器4050aに対する指令の内容とに乖離があるか(一致しているか)を判定する。乖離していないと反転された場合(つまり一致していると判定された場合)にはステップG5に進む。一方、乖離していると判定された場合には、ステップG10に進む。
ステップG10では、記憶部4314に、機器4050aの運転内容(ステップG8における判断部4316の判断内容)が記憶される。具体的には、記憶部4314には、図60のように、機器を示す機器識別記号と、機器に対する指令の内容と、判断部4316が判断した機器の運転内容とが関連付けて記憶される。
次に、ステップG11では、送信部4170aは、判定部4318による判定結果(機器4050aの運転内容と機器4050aに対する指令の内容との乖離の有無)を操作ユニット4200の通信部4250へと出力(送信)する。特に、ステップG11では、送信部4170aは、乖離が有ること(機器4050aの運転内容と機器4050aに対する指令の内容とが乖離していること)を操作ユニット4200の通信部4250へと送信することになる。
なお、ここで説明した処理の流れは、機器管理装置4300の処理の流れの一例であって、適宜変更可能である。
例えば、処理のステップの順番は、矛盾の無い範囲で適宜入れ替えられてもよい。
また、例えば、機器管理装置4300は、第1情報A401の再送信を実行しなくてもよい。そして、ステップG4において機器4050aの運転内容と機器4050aに対する指令の内容とが乖離していると判定された場合には、直ちにステップG10の処理に移行してもよい。
また、例えば、ここでは、機器管理装置4300は、第1情報A401の再送信を1回しか実行しない。しかし、第1情報A401の再送信は、複数回(例えば所定回数、あるいは、機器4050aの運転内容と機器4050aに対する指令の内容との乖離が無くなるまで)実行されてもよい。
(4-2-3)第1機器群
第1機器群4050の機器4050a,4050b,・・・4050nは、赤外線信号により操作可能な機器である。第1機器群4050の機器4050a,4050b,・・・4050nは、操作対象機器の一例である。第1機器群4050の機器4050a,4050b,・・・4050nは、限定するものではないが、例えば、扇風機、照明機器、オーディオ機器等を含む。なお、第1機器群4050の機器4050a,4050b,・・・4050nには、例えば、空調機4010以外の、赤外線信号により操作可能な空調機を含んでもよい。第1機器群4050の機器4050a,4050b,・・・4050nは、ネットワーク4080には接続されていなくてもよい。
第1機器群4050の機器4050a,4050b,・・・4050nは、操作ユニット4200に対する指示音声の入力に応じて赤外線出力装置4040から送信される赤外線信号により操作可能な機器である。赤外線信号により操作可能な内容には、例えば、機器4050a,4050b,・・・4050nのオン/オフ、扇風機であれば風量設定の変更、照明機器であれば明るさ設定の変更、オーディオ機器であれば音量設定の変更等を含む。
なお、第1機器群4050の機器4050a,4050b,・・・4050nは、音声操作に加えて(指示音声の入力に応じて赤外線出力装置4040から送信される赤外線信号による操作に加えて)、一般的な赤外線リモコンや、機器4050a,4050b,・・・4050nの本体に設けられたスイッチによっても操作可能に構成されていてもよい。
(4-2-4)第2機器群
第2機器群4060の機器4060a,4060b,・・・4060mは、ネットワーク4080を介して送信される信号により操作可能な機器である。第2機器群4060の機器4060a,4060b,・・・4060mは、限定するものでは無いが、例えば、テレビ、DVDレコーダ等を含む。第2機器群4060の機器4060a,4060b,・・・4060mは、図示しない無線LANアダプタを有し、ルータ4082を介してネットワーク4080と接続されている(図56参照)。第2機器群4060の機器4060a,4060b,・・・4060mは、ネットワーク4080を介して、解析サーバ4020及び機器サーバ4070の少なくとも一方と通信可能に接続されている(図56参照)。なお、第2機器群4060の機器4060a,4060b,・・・4060mとルータ4082とは、無線LANではなく、有線LANで接続されてもよい。
第2機器群4060の機器4060a,4060b,・・・4060mは、操作ユニット4200に対する指示音声の入力に応じて解析サーバ4020又は機器サーバ4070から送信される信号により操作される。解析サーバ4020又は機器サーバ4070から送信される信号により操作可能な内容には、例えば、機器4060a,4060b,・・・4060mのオン/オフ、テレビであればチャンネルやボリュームの変更、DVDレコーダであれば録画予約設定等を含む。
なお、第2機器群4060の機器4060a,4060b,・・・4060mは、音声操作に加えて(指示音声の入力に応じてネットワーク4080を介して送信されてくる信号による操作に加えて)、一般的に用いられているリモコンや、機器4060a,4060b,・・・4060mの本体に設けられたスイッチによっても操作可能に構成されていてもよい。
(4-2-5)解析サーバ
解析サーバ4020は、操作ユニット4200、空調機4010、空調機サーバ4030、及び機器サーバ4070と、ネットワーク4080を介して通信可能に接続されている。
操作ユニット4200が指示音声を受け付けると、通信部4250は、指示音声に応じた信号Sを、ネットワーク4080を介して解析サーバ4020に送信する(図57参照)。なお、操作ユニット4200が受け付ける指示音声には、空調機4010の操作に関する指示音声、第1機器群4050の機器4050a,4050b,・・・4050nの操作に関する指示音声、第2機器群4060の機器4060a,4060b,・・・4060mの操作に関する指示音声を含む。言い換えれば、解析サーバ4020は、空調機4010、機器4050a,4050b,・・・4050n、又は機器4060a,4060b,・・・4060mに対する指示である指示音声に関する信号Sを、ネットワーク4080を介して受信する。
解析サーバ4020は、解析装置の一例である。解析サーバ4020は、記憶装置に記憶されているプログラムを実行することで、受信した信号Sを解析するコンピュータである。例えば、具体的には、解析サーバ4020は、受信した信号Sとしての音声信号の音声認識を行う。また、解析サーバ4020は、受信した信号Sとしてのテキスト情報の意味を解釈してもよい。
なお、解析サーバ4020の記憶装置には、プログラムの他、例えば、各操作ユニット4200が操作可能な機器(空調機4010、第1機器群4050の機器4050a,4050b,・・・4050n、及び第2機器群4060の機器4060a,4060b,・・・4060m)のリストが記憶されていてもよい。つまり、解析サーバ4020は、各操作ユニット4200からどの機器を操作可能であるかを把握している。また、第2機器群4060の機器4060a,4060b,・・・4060mに関しては、制御対象の機器4060a,4060b,・・・4060mが、解析サーバ4020の直接の制御対象であるか否か(解析サーバ4020及び機器サーバ4070のいずれのサーバの制御対象であるか)に関する情報も記憶されていることが好ましい。
解析サーバ4020は、例えば、信号Sとしての音声を分析してその特徴量を求め、記憶装置に記憶された音響モデル、言語モデル及び発音辞書を含む音声認識辞書を利用して特徴量からテキスト情報を生成する。解析サーバ4020が生成するテキスト情報は、限定するものではないが、例えば“空調機オン”、“空調機の設定温度を25度に設定”、“照明装置オフ”、“テレビオン”等のテキスト情報である。
解析サーバ4020は、生成したテキスト情報が、空調機4010の制御に関するものである場合(例えば、テキスト情報が空調機に関するキーワードを含んでいる場合)、信号Sの解析結果(つまり生成したテキスト情報)を、ネットワーク4080を介して空調機サーバ4030に送信する(図57参照)。
解析サーバ4020は、テキスト情報が第1機器群4050の機器4050a,4050b,・・・4050nの制御に関するものである場合(例えば、テキスト情報が第1機器群4050に関するキーワードを含んでいる場合)、空調機4010の機器管理装置4300に対し(通信部4170に対し)、第1機器群4050の機器4050a,4050b,・・・4050nに対する指令の内容に関する第2情報A402を生成して送信する。第2情報A402については、前述したとおりである。
解析サーバ4020は、テキスト情報が第2機器群4060の機器4060a,4060b,・・・4060mの制御に関するものである場合(例えば、テキスト情報が第2機器群4060に関するキーワードを含んでいる場合)、信号Sの解析結果(つまり生成したテキスト情報)に応じた指令を第2機器群4060の機器4060a,4060b,・・・4060mに送信する。例えば、テキスト情報が、第2機器群4060の機器4060a,4060b,・・・4060mに含まれるテレビに関する情報(例えば、“テレビオン”)であった場合、解析サーバ4020は、テレビに対し、スイッチオンを指示する指令を送信する。第2機器群4060の機器4060a,4060b,・・・4060mに対する指令は、解析サーバ4020から、ネットワーク4080を介して第2機器群4060の機器4060a,4060b,・・・4060mへと送信される。
なお、テキスト情報が第2機器群4060の機器4060a,4060b,・・・4060mの制御に関するものである場合であって、制御対象の機器4060a,4060b,・・・4060mが解析サーバ4020の直接の制御対象でない場合には、その機器4060a,4060b,・・・4060mを制御する機器サーバ4070へとテキスト情報が送信される。そして、機器サーバ4070から機器4060a,4060b,・・・4060mへとネットワーク4080を介して指令が送信される。
(4-2-6)空調機サーバ
空調機サーバ4030は、指令生成装置の一例である。
空調機サーバ4030は、解析サーバ4020から送信される、解析サーバ4020による信号Sの解析の結果(つまり解析サーバ4020が生成したテキスト情報)と、空調機4010の送信部4170aから適宜送信される空調機4010及び空調対象空間の少なくとも一方に関する状態量についての情報Jとに基づいて指令Cを生成する。そして、空調機サーバ4030は、ネットワーク4080を介して、空調機4010の受信部4170bに対して指令Cを送信する。限定するものではないが、空調機サーバ4030は、例えば、テキスト情報として“空調機オン”の指令を受けると、現在の空調対象空間の温度等に基づいて空調機4010の各部の動作を決定し、これを指令Cとして送信する。
なお、ここでは、空調機サーバ4030は、解析サーバ4020による信号Sの解析の結果に加え、情報Jに基づいて指令Cを生成するが、これに限定されるものではない。空調機サーバ4030は、解析サーバ4020による信号Sの解析の結果だけに基づいて指令Cを生成してもよい。
また、空調機サーバ4030は、操作ユニット4200から送信されてくる信号Sを蓄積し、信号Sを用いて各種解析を行う。
なお、本実施形態では、機器システム4000に空調機サーバ4030が含まれるが、これに限定されるものではない。例えば、空調機4010が、解析サーバ4020による信号Sの解析の結果(つまり解析サーバ4020が生成したテキスト情報)に基づいて運転内容を直接決定可能である場合には、空調機サーバ4030は設けられなくてもよい。そして、解析サーバ4020による信号Sの解析の結果が、指令Cとして、空調機4010の受信部4170bに直接送信されてもよい。
(4-2-7)機器サーバ
機器サーバ4070は、解析サーバ4020から送信される、解析サーバ4020による信号Sの解析の結果(つまり解析サーバ4020が生成したテキスト情報)に基づいて、第2機器群4060の機器4060a,4060b,・・・4060mに対する指令を生成する。そして、機器サーバ4070は、ネットワーク4080を介して指令を操作対象の第2機器群4060の機器4060a,4060b,・・・4060mに対して送信する。
なお、図56では機器サーバ4070は1台であるが、(解析サーバ4020からの指令によってではなく)機器サーバ4070により操作される機器4060a,4060b,・・・4060mの種類が複数ある場合には、その種類の数だけ機器サーバ4070が存在することが好ましい。
また、機器4060a,4060b,・・・4060mの全ての機器が解析サーバ4020からの指令によって操作される場合には、機器サーバ4070は存在しなくてもよい。
(4-2-8)赤外線出力装置
赤外線出力装置4040は、第1機器群4050の機器4050a,4050b,・・・4050nに対する指令を赤外線信号で送信する装置である。
赤外線出力装置4040は、一実施形態では、空調機4010の室内機4012や室内機4012’に搭載されている。赤外線出力装置4040は、例えば、後述する赤外線信号送信部4044の赤外線発光部(例えば赤外線LED、図示省略)が、室内機4012の本体4100や室内機4012’の本体4100’の外部に配置されるよう、室内機4012,4012’に設置されている(図58A及び図58B中の実線で描画した赤外線出力装置4040を参照)。なお、赤外線信号送信部4044の赤外線発光部は、室内機4012,4012’の図示しない赤外線信号受信部(通常のリモコンからの空調機4010に対する赤外線信号の受信部)の近傍に配置されることが好ましい。赤外線出力装置4040の構成の一部は、室内機4012の本体4100や室内機4012’の本体4100’の内部に配置されてもよい。
また、他の形態では、赤外線出力装置4040は、室内機4012や室内機4012’に搭載されていなくてもよい。つまり、赤外線出力装置4040は、空調機4010とは独立した装置である。赤外線出力装置4040は、室内機4012の本体4100や室内機4012’の本体4100’に(図58A及び図58B中の実線で描画した赤外線出力装置4040を参照)、又は、室内機4012の本体4100の近傍の壁面に(図58Aの破線で描画した赤外線出力装置4040を参照)、又は、室内機4012’の本体4100’の近傍の天井面に(図58Bの破線で描画した赤外線出力装置4040を参照)、設置されている。
なお、本実施形態では、室内機4012,4012’に対し、1台の赤外線出力装置4040が設けられるが、これに限定されるものではない。他の形態では、室内機4012,4012’に対し、複数の赤外線出力装置4040が設けられてもよい。
赤外線出力装置4040は、主に、第1情報受信部4042と、赤外線信号送信部4044と、記憶部4046と、を有する。
第1情報受信部4042は、機器管理装置4300の第1情報送信部4312が送信してきた第1情報A401を受信する。
記憶部4046には、第1機器群4050の機器4050a,4050b,・・・4050nの機器別かつ指令の内容別に、制御用の赤外線信号パターンが記憶されている。
赤外線信号送信部4044は、記憶部4046を参照して、第1情報受信部4042が受信した第1情報A401に応じたパターンの赤外線信号を、図示しない赤外線発光部から、操作対象の機器(第1情報A401が、機器4050aに対する指令に関する情報であれば、機器4050a)に送信する。
(4-3)特徴
(4-3-1)
本実施形態に係る操作システム4001は、空調機4010と、赤外線出力装置4040と、を備える。空調機4010は、室内機4012を有する。赤外線出力装置4040は、室内機4012に、又は、室内機4012の近傍の壁面又は天井面に設置される。赤外線出力装置4040は、第1機器群4050の機器(以下、操作対象機器と呼ぶ場合がある)に対する指令に関しての第1情報A401を受信し、第1情報A401に応じた赤外線信号を操作対象機器に対して送信する。操作対象機器は、空調機4010以外であって赤外線信号により操作可能な機器である。空調機4010は、操作対象機器を管理する機器管理装置4300を有する。機器管理装置4300は、指定情報受信部の一例としての受信部4170bと、判定部4318と、を含む。受信部4170bは、指令の内容に関する第2情報A402を受信する。判定部4318は、操作対象機器の運転内容と第2情報A402とに基づき、操作対象機器の運転内容と、操作対象機器に対する指令の内容との乖離の有無を判定する。
ここでは、空調機4010の有する機器管理装置4300により、操作対象機器の実際の運転内容と、操作対象機器(第1機器群4050の機器)に対する指令の内容との乖離の有無が判定されるため、両者が乖離した状態(操作失敗状態)が放置されにくい。
なお、空調機4010が機器管理装置4300を有することで、特に以下のようなメリットがある。
住宅やオフィス等は、空調機4010により空調される場合が多い。そのため、空調機4010に機器管理装置4300を設けることで、機器管理専用の装置を別途設けることなく操作対象機器を管理することが可能で、設備費用が抑制されやすい。
また、ここでは、赤外線出力装置4040が、空調機4010の室内機4012に、又は、室内機4012の近傍の壁面又は天井面に設置されことで、特に以下のようなメリットがある。
住宅やオフィス等には、家具等が置かれるため、赤外線出力装置4040の設置位置によっては、家具等が障害物となり、操作対象機器の赤外線受光部に赤外線信号が到達しないおそれがある。
室内機4012は、その本来の機能的な観点から、空間を見渡すことが可能な天井又は天井付近に設けられることが多い。しかも、空気調和という目的を達する上で、棚等の家具が、室内機4012の近傍に、送風を妨げるように配置される可能性も低い。つまり、赤外線信号の送信の妨げとなる障害物が室内機4012の近傍に設置される可能性は比較的低い。
そのため、赤外線出力装置4040が、空調機4010の室内機4012に、又は、室内機4012の近傍の壁面又は天井面に設置される本操作システムでは、赤外線出力装置4040から指示される運転内容と実際の機器の運転内容とが乖離する状態自体がそもそも発生しにくい。
(4-3-2)
本実施形態に係る操作システム4001では、機器管理装置4300は、第1情報送信部4312を含む。第1情報送信部4312は、赤外線出力装置4040に対して第1情報A401を送信する。
本操作システム4001では、機器管理装置4300から赤外線出力装置4040に対して第1情報A401が送信されることで、第1情報A401に応じた赤外線信号が操作対象機器に送信される。つまり、赤外線出力装置4040の発信動作が空調機4010の機器管理装置4300により制御される。そして、赤外線出力装置4040は、室内機4012に、又は、室内機4012の近傍に設置されるため、赤外線出力装置4040の設置のための配線作業をほとんど行うことなく操作システム4001を実現できる。
(4-3-3)
本実施形態に係る操作システム4001では、第1情報送信部4312は、乖離が有ると判定部4318が判定した場合に、赤外線出力装置4040に対して第1情報A401を再送信する。
本操作システム4001では、操作対象機器の実際の運転内容が指示された運転内容と乖離している場合に、第1情報A401が再送信され、その結果、赤外線出力装置4040から第1情報A401に応じた赤外線信号が操作対象機器に再送信される。そのため、操作失敗状態が放置されにくい。
(4-3-4)
本実施形態に係る操作システム4001では、赤外線出力装置4040は、室内機4012に搭載されている。
ここでは、赤外線出力装置4040が室内機4012に搭載されているため、現場で赤外線出力装置4040と室内機4012とを接続する作業を不要にすることができる。
(4-3-5)
本実施形態に係る操作システム4001は、運転状態検知部を備える。運転状態検知部は、操作対象機器の運転状態を検知する。機器管理装置4300は、判断部4316を含む。判断部4316は、運転状態検知部が検知する運転状態に基づいて、操作対象機器の運転内容を判断する。
赤外線で操作される機器は、運転内容を外部に出力する出力部を有してしない場合が多い。しかし、ここでは操作システム4001が操作対象機器の運転状態を検知する運転状態検知部を有し、検知された運転状態に基づいて操作対象機器の運転内容が判断されるため、運転内容を出力する出力部等を有していない操作対象機器であっても、機器管理装置300による管理を行うことができる。
(4-3-6)
本実施形態に係る操作システム4001では、運転状態検知部には、マイク素子4210a、カメラ4420、電流又は電力を計測するセンサ4410、照度センサ、温度センサ、気圧センサ等の環境センサ4430の少なくとも1つを含む。
ここでは、運転状態検知部は、マイク素子4210aにより操作対象機器の動作音や赤外線信号の受付時の報知音を取得したり、カメラ4420により操作対象機器の動作を検知したり、各種のセンサ4410,4430により各種状態量を計測したりすることで、操作対象機器の運転状態を正確に把握することができる。
(4-3-7)
本実施形態に係る操作システム4001では、機器管理装置4300は、出力部の一例としての送信部4170aを含む。送信部4170aは、判定部4318の判定結果に関する情報を出力する。
本操作システム4001では、判定部4318の判定結果に関する情報が出力されるため、操作対象機器の、指示された運転内容と実際の運転内容とが乖離した状態(操作失敗状態)が放置されにくい。
(4-3-8)
本実施形態に係る操作システム4001は、指示受付機の一例としての操作ユニット4200を備える。操作ユニット4200は、操作対象機器に対する指示を指示音声として受け付け、指示音声に関する信号を、ネットワーク4080を介して、信号を解析する解析装置の一例としての解析サーバ4020に送信する。第1情報A401は、解析サーバ4020による信号の解析結果に基づく情報である。
ここでは、音声により操作対象機器を操作できるため、利便性が高い。
(4-4)変形例
以下に上記実施形態の変形例を示す。なお、変形例は、矛盾しない範囲で互いに適宜組み合わされてもよい。
(4-4-1)変形例4A
上記実施形態では、操作システム4001は、指示音声により空調機4010、第1機器群4050の機器、及び第2機器群4060の機器を操作可能なシステムであるが、これに限定されるものではない。
例えば、操作システム4001は、空調機4010及び第2機器群4060の機器の一方、又は、空調機4010及び第2機器群4060の機器の両方が操作対象でなくてもよい。なお、第2機器群4060が指示音声により操作されない場合、第2機器群4060の機器や機器サーバ4070は、操作システム4001に含まれなくてもよい。
(4-4-2)変形例4B
上記実施形態では、機器システム4000の解析サーバ4020、空調機サーバ4030、及び機器サーバ4070は別のサーバであるが、これに限定されるものではない。例えば、1つのサーバが、解析サーバ4020及び空調機サーバ4030として、又は、解析サーバ4020、空調機サーバ4030及び機器サーバ4070として機能してもよい。
また、逆に、上記実施形態で説明した解析サーバ4020、空調機サーバ4030及び機器サーバ4070のそれぞれの機能は、1台のサーバではなく、複数のサーバにより達成されてもよい。
また、上記実施形態では、通信部4250が送信する信号Sを解析サーバ4020が直接受信するが、これに限定されるものではない。例えば、通信部4250は、信号Sを空調機サーバ4030に送信し、空調機サーバ4030から解析サーバ4020へ信号Sが送信されてもよい。
(4-4-3)変形例4C
上記実施形態では、操作ユニット4200から解析サーバ4020へと信号Sが送信され、解析サーバ4020から機器管理装置4300へと第2情報A402が送信されるが、これに限定されるものではない。例えば、操作ユニット4200は、上記実施形態で解析サーバ4020の機能として記載した機能を有していてもよい。この場合には、操作ユニット4200が、指示音声に応じて第2情報A402を生成し、生成した第2情報A402を機器管理装置4300へと送信する。
また、操作ユニット4200は、解析サーバ4020の機能に加え、空調機サーバ4030や機器サーバ4070の機能の一部又は全部を有していてもよい。
(4-4-4)変形例4D
上記実施形態に係る操作システム4001の空調機4010は、空気の温度や湿度の調整を行う装置であるが、これに限定されるものではない。本発明に係る空調機は、空気中の粉じん等を除去し清浄化された空気を吹き出す空気清浄機や、空調対象空間の気流を調整する気流調整装置等であってもよい。
(4-4-5)変形例4E
上記実施形態に係る機器システム4000では、解析サーバ4020で第2情報A402が生成され、第2情報A402を受信した機器管理装置4300が生成する第1情報A401が赤外線出力装置4040へと送信されるが、これに限定されるものではない。
例えば、解析サーバ4020は、信号Sの解析の結果得られるテキスト情報が第1機器群4050の機器4050a,4050b,・・・4050nの制御に関するものである場合、空調機サーバ4030又は機器サーバ4070に対し信号Sの解析結果(つまり生成したテキスト情報)を送信してもよい。そして、これを受信した空調機サーバ4030又は機器サーバ4070で、第1機器群4050の機器4050a,4050b,・・・4050nに対する指令の内容に関する第2情報A402が生成され、機器管理装置4300へと送信されてもよい。
また、例えば、操作システム4001の有する赤外線出力装置は、図61のように、ルータ4082との無線LAN接続を可能とする通信部4042’を有する赤外線出力装置4040’であってもよい。そして、赤外線出力装置4040’は、ネットワーク4080を介して、解析サーバ4020が作成する第1情報A401を受信してもよい。このように構成される場合、判定部4318による判定結果が機器管理装置4300から解析サーバ4020に送信され、判定結果に基づいて、解析サーバ4020から赤外線出力装置4040’に対して第1情報A401の再送信等が行われるように構成されてもよい。
また、他の形態では、解析サーバ4020に代えて、空調機サーバ4030又は機器サーバ4070で生成される第1情報A401が、赤外線出力装置4040’へと送信されてもよい。
(4-4-6)変形例4F
上記実施形態に係る操作システム4001では、操作ユニット4200に対する指示音声の入力により空調機4010、第1機器群4050の機器、及び第2機器群4060の機器が操作されるが、これに限定されるものではない。例えば、操作システム4001では、操作ユニットに対するテキスト入力やスイッチ操作等により、空調機4010、第1機器群4050の機器、及び第2機器群4060の機器が操作されてもよい。
(4-4-7)変形例4G
上記実施形態では、機器管理装置4300の出力部の一例としての送信部4170aは、判定部4318の判定結果を操作ユニット4200に対して出力(送信)するが、これに限定されるものではない。
例えば、送信部4170aは、操作ユニット4200以外の各種機器(例えば操作者の携帯端末や、操作ユニット4200とは別に設置されるディスプレイやスピーカ等の報知装置)に対し、判定部4318の判定結果を出力(送信)してもよい。また、機器管理装置4300の出力部は、空調機4010に設けられた報知部(例えばスピーカやディプレイ)から、判定部4318の判定結果を出力するものであってもよい。
(4-4-8)変形例4H
上記実施形態では、第1機器群4050の機器4050a,4050b,・・・,4050nは、自らの運転内容を機器管理装置4300について通知しないが、これに限定されるものではない。例えば、第1機器群4050の機器4050a,4050b,・・・,4050nの一部又は全部は、現在の自らの運転内容や赤外線出力装置4040からの赤外線信号の受信を通知するための赤外線送信機を更に備え、赤外線信号により機器管理装置4300側に運転内容を自ら通知してもよい。
<付記>
なお、本発明は、上記各実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。