JP2014099113A

JP2014099113A - 家電ネットワークシステム

Info

Publication number: JP2014099113A
Application number: JP2012251659A
Authority: JP
Inventors: Masakazu Maehara; 正和前原
Original assignee: Samsung R&D Institute Japan Co Ltd
Current assignee: Samsung R&D Institute Japan Co Ltd
Priority date: 2012-11-15
Filing date: 2012-11-15
Publication date: 2014-05-29
Also published as: KR20140063392A

Abstract

【課題】複数の家電機器を自律的分散的に学習制御するとともに、センサの抽出に伴う不具合を解消して、複数の家電機器の最適制御を可能にするだけでなく、家電機器単位のモデルを他のマスター機器に対して移行容易にする。
【解決手段】マスター機器が、複数の家電機器それぞれに対応する複数の家電機器エージェント３０ａ〜３０ｅと、複数の家電機器エージェント３０ａ〜３０ｅそれぞれに対して、複数の家電機器から得られる複数の機器情報を入力して、複数の家電機器エージェント３０ａ〜３０ｅから得られる制御コマンドを複数の家電機器に出力し、その結果、複数の家電機器から得られる状態変化量により報酬を算出し、当該報酬をパラメータとして複数の家電機器エージェント３０ａ〜３０ｅの価値関数を更新するエージェント管理部３７とを有する。
【選択図】図４

Description

本発明は、複数の家電機器とその複数の家電機器を制御するマスター機器とが通信ネットワークを介して接続されたものにおいて、マスター機器が前記複数の家電機器を学習制御する家電ネットワークシステムに関するものである。

従来の家電ネットワークシステムとしては、特許文献１に示すように、複数のセンサが存在する知能化住宅において、少なくとも１つの家電機器と、当該家電機器の制御を行う機器制御装置（エージェント）とを有するものが考えられている。具体的に機器制御装置は、任意の家電機器の制御に関して、その家電機器と相関関係の大きいセンサを特定し、ニューラルネットを用いて、特定されたセンサに対する制御を学習し、任意の家電機器の制御を最適化するように構成されている。

しかしながら、特許文献１の家電ネットワークシステムでは、最適な制御を行うために、任意の家電機器との相関関係が大きいセンサを特定して、そのセンサに対する家電機器の最適な動作を学習させるものであり、各家電機器に対して相関関係の大きいセンサを抽出する必要があり、その抽出に必要な時系列データの保存や演算処理が必要であり効率的ではない。

また、さまざまな家電機器が乱立する環境においては、複数の家電機器それぞれにおいて相関関係の大きいセンサを抽出することが難しい。さらに言えば、全てのセンサが少なからず各家電機器と相関関係を持っている可能性があるので、相関関係の大きいセンサを抽出して制御するだけででは、家電機器の最適な制御を行うことが難しいことや、特定のセンサに関する制御に偏る可能性がある。

さらに、前記機器制御装置は、単一のエージェントを構成して、任意の家電機器の制御を集中的に学習させているので、他の機器制御装置に家電機器単位でのモデルを移行することが難しく、また、フォールトトレラント性が悪いという問題がある。

国際公開ＷＯ２００５／０８３５３１号公報

そこで本発明は、上記課題を解決すべくなされたものであり、複数の家電機器を自律的分散的に学習制御するとともに、センサの抽出に伴う不具合を解消して、複数の家電機器の最適制御を可能にするだけでなく、家電機器単位のモデルを他のマスター機器に対して移行容易にすることを所期課題とするものである。

すなわち本発明に係る家電ネットワークシステムは、それぞれ標準化された任意のプロトコルを有する複数の家電機器に通信ネットワークを介して接続され、前記複数の家電機器を制御するマスター機器を有する家電ネットワークシステムであって、前記マスター機器が、前記複数の家電機器それぞれに対応する複数の家電機器エージェントと、前記複数の家電機器エージェントそれぞれに対して、前記複数の家電機器から得られる機器情報を入力して、前記複数の家電機器エージェントから得られる制御コマンドを前記複数の家電機器に出力し、その結果、前記複数の家電機器から得られる状態変化量により報酬を算出し、当該報酬をパラメータとして前記複数の家電機器エージェントの価値関数を更新するエージェント管理部とを有することを特徴とする。

このようなものであれば、マスター機器が複数の家電機器それぞれに対応する複数の家電機器エージェントを有しており、エージェント管理部が各家電機器エージェントに複数の家電機器から得られる機器情報を入力して制御コマンドを生成しているので、複数の家電機器を自律的分散的に学習制御するとともに、センサの抽出に伴う不具合を解消して、複数の家電機器の最適制御を可能にすることができる。
また、エージェント管理部が、複数の家電機器から得られる状態変化量により報酬を算出し、当該報酬をパラメータとして前記複数の家電機器エージェントの価値関数を更新しているので、未知の環境においても学習することができ最適な動作を各家電機器に行わせることができる。
さらに、マスター機器が、複数の家電機器それぞれに対応する複数の家電機器エージェントを有しているので、一部のエージェントを他のマスター機器に移動させることが比較的容易であり、また、フォールトトレラント性に優れている。

前記複数の家電機器それぞれに対応する複数の家電機器エージェントを生成するエージェント生成部を有することが望ましい。これならば、通信ネットワークを介して接続される家電機器を増やしても、その家電機器に対応する家電機器エージェントを自動的に生成することができる。

前記エージェント管理部が、前記複数の家電機器から得られる状態変化量として電力消費量差を用いて報酬を算出し、当該報酬をパラメータとして、前記複数の家電機器における電力消費量を最小化すべく前記複数の家電機器エージェントの価値関数を更新するものであることが望ましい。

前記マスター機器が、家電機器により構成されていることが望ましい。これならば、別途機器制御用の制御装置を用意する必要が無い。

また本発明に係る家電制御プログラムは、それぞれ標準化された任意のプロトコルを有する複数の家電機器に通信ネットワークを介して接続され、前記複数の家電機器を制御するマスター機器を有する家電ネットワークシステムに用いられる家電制御プログラムであって、前記複数の家電機器それぞれに対応する複数の家電機器エージェントと、前記複数の家電機器エージェントそれぞれに対して、前記複数の家電機器から得られる機器情報を入力して、前記複数の家電機器エージェントから得られる制御コマンドを前記複数の家電機器に出力し、その結果、前記複数の家電機器から得られる状態変化量により報酬を算出し、当該報酬をパラメータとして前記複数の家電機器エージェントの価値関数を更新するエージェント管理部と、として機能を前記マスター機器に備えさせることを特徴とする。

このように構成した本発明によれば、複数の家電機器を自律的分散的に学習制御するとともに、センサの抽出に伴う不具合を解消して、複数の家電機器の最適制御を可能にするだけでなく、家電機器単位のモデルを他のマスター機器に対して移行容易にすることができる。

本発明の一実施形態に係る家電ネットワークシステムを示す模式図。同実施形態の複数の家電機器からマスター機器への情報送信を示す模式図。同実施形態のマスター機器による複数の家電機器の制御を示す模式図。同実施形態のマスター機器の機能ブロック図。同実施形態の各家電機器エージェントへの入力及び出力を示す模式図。同実施形態のマスター機器の制御手順を示すフローチャート。同実施形態の簡単なモデルを示す模式図。図７のモデルにおいて状態変化情報を取得した場合の動作内容を示す図。図７のモデルにおいて各家電機器を制御する場合の動作内容を示す図。図７のモデルにおいて各家電機器から電力消費情報を取得した場合の動作内容を示す図。

以下に本発明に係る家電ネットワークシステムの一実施形態について図面を参照して説明する。

本実施形態に係る家電ネットワークシステム１００は、図１〜図３に示すように、複数の家電機器２ａ〜２ｅに通信ネットワークＮＴを介して接続され、前記複数の家電機器２ａ〜２ｅを制御するマスター機器３を有するものである。

複数の家電機器２ａ〜２ｅは、それぞれ標準化された任意のプロトコルを有するものであり、例えばＥｃｈｏｎｅｔ、Ｚｉｇｂｅｅ又はＵＰｎＰ等の通信プロトコルを有するものである。また、複数の家電機器２ａ〜２ｅとして本実施形態では、冷蔵庫２ａ、ＢＤ（Ｂｌｕ−ｒａｙＤｉｓｃ）レコーダ２ｂ、エアコン２ｃ、洗濯機２ｄ、電子レンジ２ｅ等である。その他、例えばテレビ、ファンヒータ、空気清浄機、照明装置等の家電機器を有していても良い。

マスター機器３は、通信ネットワークＮＴを介して接続される複数の家電機器２ａ〜２ｅとの間で通信可能とするため、図３に示すように、複数の家電機器２ａ〜２ｅそれぞれのプロトコルの制御機能（例えば、Ｅｃｈｏｎｅｔ、Ｚｉｇｂｅｅ又はＵＰｎＰ等）を有するものである。本実施形態のマスター機器３は、例えばテレビやレコーダ等の家電機器により構成されており、ＣＰＵ、メモリ、通信インターフェース等を有するコンピュータである。そして、このマスター機器３は、前記メモリの所定領域に格納してあるプログラムに基づいてＣＰＵやその周辺機器が作動することにより、図４に示すように、通信プロトコル受信部３１、通信プロトコル送信部３２、入力変換部３３、出力変換部３４、プロトコル解析部３５、エージェント生成部３６、エージェント管理部３７等として機能する。

通信プロトコル受信部３１は、複数の家電機器２ａ〜２ｅそれぞれからの入力プロトコルＸａ〜Ｘｅを受信するものであり、通信プロトコル送信部３２は、複数の家電機器２ａ〜２ｅそれぞれに出力プロトコルＹａ〜Ｙｅを送信するものである。

入力変換部３３は、前記通信プロトコル受信部３１により受信された入力プロトコルＸａ〜Ｘｅをプロトコル解析部３５を利用してエージェント入力値に変換するものであり、出力変換部３４は、後述する制御コマンド等の出力値をプロトコル解析部３５を利用して出力プロトコルＹａ〜Ｙｅに変換して通信プロトコル送信部３２に出力するものである。

プロトコル解析部３５は、入力プロトコルＸａ〜Ｘｅを解析してエージェント入力値Ｘ１ａ〜Ｘ１ｅに変換するとともに、制御コマンド等の出力値を解析して出力プロトコルＹａ〜Ｙｅに変換するものである。

エージェント生成部３６は、複数の家電機器２ａ〜２ｅそれぞれに対応する解析モデルである複数の家電機器エージェント３０ａ〜３０ｅをマスター機器３の内部メモリに設定された仮想空間内に生成するものである。

エージェント管理部３７は、複数の家電機器エージェント３０ａ〜３０ｅそれぞれに対して、複数の家電機器２ａ〜２ｅから得られるそれらの機器情報（例えば状態変化量）を示すエージェント入力値Ｘ１ａ〜Ｘ１ｅを入力して（図５参照）、複数の家電機器エージェント３０ａ〜３０ｅから得られる制御コマンドＹ１ａ〜Ｙ１ｅを複数の家電機器２ａ〜２ｅに出力し、その結果、複数の家電機器２ａ〜２ｅから得られる状態変化量により報酬を算出し、当該報酬をパラメータとして複数の家電機器エージェント３０ａ〜３０ｅの価値関数を更新するものである。このようにエージェント管理部３７は、強化学習を用いて複数の家電機器２ａ〜２ｅを学習制御するものである。

なお、強化学習の学習法の詳細（価値関数の詳細）については、連続的な状態空間及び行動空間に適用できる学習法が望ましい。

また、エージェント管理部３７は、複数の家電機器２ａ〜２ｅから得られる状態変化量として電力消費量差を用いて報酬を算出し、当該報酬をパラメータとして、複数の家電機器２ａ〜２ｅにおける電力消費量を最小化すべく複数の家電機器エージェント３０ａ〜３０ｅの価値関数を更新する。

以下、マスター機器３による複数の家電機器２ａ〜２ｅの制御手順について特に図６を参照して説明する。

まず、マスター機器３の通信プロトコル受信部３１は、スレーブ機器である複数の家電機器２ａ〜２ｅから入力プロトコルＸａ〜Ｘｅを受信する（ステップＳ１、図２参照）。この通信プロトコル受信部３１により受信された入力プロトコルＸａ〜Ｘｅは、入力変換部３３に送信される。

そして、入力変換部３３は、プロトコル解析部３５を利用して、入力プロトコルＸａ〜Ｘｅを解析してエージェント入力値Ｘ１ａ〜Ｘ１ｅを得る（ステップＳ２）。そして、入力変換部３３は、このエージェント入力値Ｘ１ａ〜Ｘ１ｅが、家電機器２ａ〜２ｅのプロファイル情報であるか、機器の状態変化に関連する状態変化情報であるかを判断し（ステップＳ３）、家電機器２ａ〜２ｅのプロファイル情報であれば、入力変換部３３は、前記エージェント入力値Ｘ１ａ〜Ｘ１ｅをエージェント生成部３６へ送信する（ステップＳ４）。

プロファイル情報を示すエージェント入力値Ｘ１ａ〜Ｘ１ｅを受信したエージェント生成部３６は、そのプロファイル情報に基づいて家電機器２ａ〜２ｅの仮想モデルであるエージェント３０ａ〜３０ｅを新規で生成する（ステップＳ５）。なお、通信ネットワークＮＴを介してマスター機器３に複数の家電機器２ａ〜２ｅを接続すると、上記のようにして、エージェント生成部３６が、複数の家電機器２ａ〜２ｅそれぞれに対応する複数の家電機器エージェント３０ａ〜３０ｅを自動的に生成する。また、マスター機器３に複数の家電機器２ａ〜２ｅを接続した後にユーザにより入力される制御開始信号を受信した後に行うようにしても良い。

また、プロファイル情報を示すエージェント入力値Ｘ１ａ〜Ｘ１ｅを受信したエージェント生成部３６は、すでにその家電機器２ａ〜２ｅのエージェント３０ａ〜３０ｅを生成している場合には、前記プロファイル情報に基づいて家電機器エージェント３０ａ〜３０ｅの情報を変更する（ステップＳ５）。

このようにして全ての家電機器２ａ〜２ｅの家電機器エージェント３０ａ〜３０ｅが生成された後、複数の家電機器２ａ〜２ｅからの状態変化情報（入力プロトコルＸａ〜Ｘｅ）の入力待ち状態となる。

一方で、前記入力変換部３３により得られたエージェント入力値Ｘ１ａ〜Ｘ１ｅが状態変化情報であれば、入力変換部３３は、エージェント入力値Ｘ１ａ〜Ｘ１ｅをエージェント管理部３７に送信する（ステップＳ６）。

状態変化情報を示すエージェント入力値Ｘ１ａ〜Ｘ１ｅを受信したエージェント管理部３７は、その状態変化情報（エージェント入力値）が、エージェント３０ａ〜３０ｅの任意の行動に対する最適化要素（本実施形態では電力消費量）と判断した場合（ステップＳ７）には、最適化要素をその目標値に近ければ近いほど大きくなるような数値として報酬値を決定し、この報酬値をエージェント３０ａ〜３０ｅに与えて、そのエージェント３０ａ〜３０ｅの評価関数を更新する（ステップＳ８）。

状態変化情報（エージェント入力値）がそれ以外の要素、つまり最適化要素（電力消費量）以外の要素である場合には、単純な状態変化として全ての家電機器エージェント３０ａ〜３０ｅに入力し、それぞれの家電機器エージェント３０ａ〜３０ｅの価値関数から最適行動（制御コマンドＹ１ａ〜Ｙ１ｅ）を得る（ステップＳ９）。そして、この最適行動（制御コマンドＹ１ａ〜Ｙ１ｅ）を出力変換部３４へ送信する。

最適行動（制御コマンドＹ１ａ〜Ｙ１ｅ）を受信した出力変換部３４は、プロトコル解析部３５を利用して、複数の家電機器２ａ〜２ｅそれぞれの最適行動を示す出力プロトコルＹａ〜Ｙｅに変換して、通信プロトコル送信部３２に送信する（ステップＳ１０）。

この出力プロトコルＹａ〜Ｙｅを受信した通信プロトコル送信部３２は、複数の家電機器２ａ〜２ｅそれぞれに、対応する出力プロトコルＹａ〜Ｙｅを送信する（ステップＳ１１）。

次に、簡単なモデルとして、スレーブ機器である冷蔵庫２ａ及びエアコン２ｃをマスター機器３により制御される場合において、当該マスター機器３の学習制御の要部について図７〜図１０を参照して説明する。

スレーブ機器である冷蔵庫２ａにおいて任意の状態変化（動作）が発生した場合、図８に示すように、当該状態変化がＥｃｈｏｎｅｔによりマスター機器３に送信される。この状態変化を受信したマスター機器３は、状態変化を示す状態変化情報を、冷蔵庫エージェント３０ａに入力するだけでなく、エアコンエージェント３０ｃに入力する。

そうすると、図９に示すように、この状態変化情報が入力された冷蔵庫エージェント３０ａ及びエアコンエージェント３０ｃにより最適行動を示す制御コマンドが得られる。そして、マスター機器３は、冷蔵庫エージェント３０ａから得られた制御コマンドをＥｃｈｏｎｅｔにより冷蔵庫２ａに送信して制御するとともに、エアコンエージェント３０ｃから得られた制御コマンドをＥｃｈｏｎｅｔによりエアコン２ｃに送信して制御する。

次に、図１０に示すように、前記制御により冷蔵庫２ａが動作した結果、その制御に基づく冷蔵庫２ａの電力消費情報がＥｃｈｏｎｅｔによりマスター機器３に送信される。また、前記制御によりエアコン２ｃが動作した結果、その制御に基づくエアコン２ｃの電力消費情報がＥｃｈｏｎｅｔによりマスター機器３に送信される。これらの電力消費情報を取得したマスター機器３は、その電力消費情報から得られる電力消費量差を用いて報酬値を算出し、この報酬値をパラメータとして冷蔵庫２ａ及びエアコン２ｃの価値関数を更新する。これらの制御により、冷蔵庫２ａ及びエアコン２ｃを強化学習を用いて最適制御することができる。

このように構成した本実施形態によれば、マスター機器３が複数の家電機器２ａ〜２ｅそれぞれに対応する複数の家電機器エージェント３０ａ〜３０ｅを有しており、エージェント管理部３７が各家電機器エージェント３０ａ〜３０ｅに複数の家電機器２ａ〜２ｅから得られる機器情報を入力して制御コマンドを生成しているので、複数の家電機器２ａ〜２ｅを自律的分散的に学習制御するとともに、センサの抽出に伴う不具合を解消して、複数の家電機器２ａ〜２ｅの最適制御を可能にすることができる。

また、エージェント管理部３７が、複数の家電機器２ａ〜２ｅから得られる状態変化量により報酬を算出し、当該報酬をパラメータとして前記複数の家電機器エージェント３０ａ〜３０ｅの価値関数を更新しているので、未知の環境においても学習することができ最適な動作を各家電機器２ａ〜２ｅに行わせることができる。

さらに、マスター機器３が、複数の家電機器２ａ〜２ｅそれぞれに対応する複数の家電機器エージェント３０ａ〜３０ｅを有しているので、一部のエージェントを他のマスター機器に移動させることが比較的容易であり、また、フォールトトレラント性に優れている。

その上、エージェント生成部３６により接続された家電機器２ａ〜２ｅに対応する家電機器エージェント３０ａ〜３０ｅを生成するので、通信ネットワークＮＴを介して接続される家電機器を増やしても、その家電機器に対応する家電機器エージェント３０ａ〜３０ｅを自動的に生成することができる。

加えて、マスター機器が、テレビやＢＤレコーダ等の家電機器により構成されているので、別途機器制御用の制御装置を用意する必要が無い。

なお、本発明は前記実施形態に限られるものではない。

例えば、前記実施形態では、マスター機器３の内部メモリ内の仮想空間内に複数の家電機器エージェントを形成しているが、その他、複数のマスター機器に複数の家電機器エージェントを分散して形成するようにしても良い。これならば、フォールトトレラント性をより一層向上させることができる。

その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。

１００・・・家電ネットワークシステム
２ａ〜２ｅ・・・家電機器
３・・・マスター機器
３０ａ〜３０ｅ・・・家電機器エージェント
３１・・・通信プロトコル受信部
３２・・・通信プロトコル送信部
３３・・・入力変換部
３４・・・出力変換部
３５・・・プロトコル解析部
３６・・・エージェント生成部
３７・・・エージェント管理部

Claims

それぞれ標準化された任意のプロトコルを有する複数の家電機器に通信ネットワークを介して接続され、前記複数の家電機器を制御するマスター機器を有する家電ネットワークシステムであって、
前記マスター機器が、
前記複数の家電機器それぞれに対応する複数の家電機器エージェントと、
前記複数の家電機器エージェントそれぞれに対して、前記複数の家電機器から得られる機器情報を入力して、前記複数の家電機器エージェントから得られる制御コマンドを前記複数の家電機器に出力し、その結果、前記複数の家電機器から得られる状態変化量により報酬を算出し、当該報酬をパラメータとして前記複数の家電機器エージェントの価値関数を更新するエージェント管理部と、を有する家電ネットワークシステム。
前記複数の家電機器それぞれに対応する複数の家電機器エージェントを生成するエージェント生成部を有する請求項１記載の家電ネットワークシステム。
前記エージェント管理部が、前記複数の家電機器から得られる状態変化量として電力消費量差を用いて報酬を算出し、当該報酬をパラメータとして、前記複数の家電機器における電力消費量を最小化すべく前記複数の家電機器エージェントの価値関数を更新するものである請求項１又は２記載の家電ネットワーク。
前記マスター機器が、家電機器により構成されている請求項１乃至３の何れかに記載の家電ネットワークシステム。
それぞれ標準化された任意のプロトコルを有する複数の家電機器に通信ネットワークを介して接続され、前記複数の家電機器を制御するマスター機器を有する家電ネットワークシステムに用いられる家電制御プログラムであって、
前記複数の家電機器それぞれに対応する複数の家電機器エージェントと、
前記複数の家電機器エージェントそれぞれに対して、前記複数の家電機器から得られる機器情報を入力して、前記複数の家電機器エージェントから得られる制御コマンドを前記複数の家電機器に出力し、その結果、前記複数の家電機器から得られる状態変化量により報酬を算出し、当該報酬をパラメータとして前記複数の家電機器エージェントの価値関数を更新するエージェント管理部と、として機能を前記マスター機器に備えさせることを特徴とする家電制御プログラム。