JP6685397B2 - 機器制御システム - Google Patents

Description

本発明は、機器の操作を容易に行うことのできる機器制御システムに関する。

近年、ウェアラブルセンサ（ウェアラブルデバイス）が普及してきている。ウェアラブルセンサは、利用者に装着され、例えば、加速度といった動作情報や、脈拍といった生体情報を検出することができる。ウェアラブルセンサにより検出された情報は、利用者の行動管理や健康管理に活用されている。

このようなウェアラブルセンサに関連する先行技術の一例として、特許文献１には、行動状況モニター装置の発明が開示されており、また、特許文献２には、行動パターン解析システムの発明が開示されている。

特許文献１の発明では、腕時計型の行動状況モニター装置が用いられており、行動状況モニター装置が検出した温度データから、利用者（装着者）の行動を解析し、利用者に指示や警告を与えることができる。また、特許文献２の発明では、モーションセンサ及び位置センサが用いられており、モーションセンサが検出した動きの情報と、位置センサが検出した位置情報とに基づいて、利用者の行動や状況を特定し、必要な情報を携帯端末に提供することができる。

特開２００４−８４７１号公報 特開２０１１−８１４３１号公報

上述した特許文献１，２の発明に代表されるように、従来では、ウェアラブルセンサを、利用者の行動管理や健康管理に活用している。

最近では、ウェアラブルセンサを、利用者のより身近な生活に活用しようとする試みがなされている。例えば、家庭内には、様々な家電機器が配置されているが、これらは、それぞれのリモコンや操作パネルを、利用者が個々に操作する必要があった。そこで、これらの家電機器を、ウェアラブルセンサを用いて操作することができれば、利用者の利便性が向上すると考えられる。

しかしながら、ウェアラブルセンサを用いて家電機器を操作することについて、未だ有用な提案がなされていないのが実情であった。

本発明は、上記のような問題点を解決するためになされたもので、機器の操作を容易に行うことのできる機器制御システムを提供することを目的とする。

上記目的を達成するために、本発明に係る機器制御システムは、
機器の候補群から機器を選択する機器選択と、当該機器選択にて選択された機器への操作の候補群から操作を選択する操作選択とに応じて、機器を制御する機器制御システムであって、
利用者に装着され、生体情報を含む情報を検出するセンサ部と、
前記センサ部が検出した情報に基づいた前記利用者に対する推奨操作を、前記機器が未選択の状態で、前記機器の候補群と共に表示する表示部と、
を備える。

本発明によれば、センサ部が検出した情報に基づいて、利用者に推奨される推奨操作が、機器を選択するための候補群と共に表示される。その際、利用者が推奨操作を選択することで、機器の選択と操作内容の選択とをまとめて行えることとなり、機器の操作を容易に行うことができる。

本発明の実施形態１に係る機器制御システムの全体構成の一例を示す模式図である。 スマートグラスの構成の一例を示すブロック図である。 機器選択画面の一例を示す模式図である。 操作選択画面の一例を示す模式図である。 コントローラの構成の一例を示すブロック図である。 機器情報の一例を示す模式図である。 定義情報の一例を示す模式図である。 定義情報の一例を示す模式図である。 家電機器の構成の一例を示すブロック図である。 機器制御処理の一例を示すフローチャートである。 主要な構成の関連を説明するための関連図である。 本発明の実施形態２に係る機器制御システムの全体構成の一例を示す模式図である。 本発明の実施形態３に係る機器制御システムの全体構成の一例を示す模式図である。 本発明の実施形態４に係る機器制御システムの全体構成の一例を示す模式図である。 本発明の実施形態５に係る機器制御システムの全体構成の一例を示す模式図である。 本発明の実施形態の変形例に係る機器制御システムの全体構成の一例を示す模式図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。以下では、具体例として、本発明が住居内における機器制御システムに適用される場合について説明するが、後述するように、ビル内や施設内における機器制御システムにおいても同様に本発明を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素又は全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

（実施形態１）
図１は、本発明の実施形態１に係る機器制御システム１の全体構成の一例を示す模式図である。この機器制御システム１は、利用者がスマートグラス１０を装着し、ジェスチャ（一例として、指先の動きによるジェスチャ）によって容易に家電機器３０を操作可能とするシステムである。図示するように、機器制御システム１には、住居Ｈ内（宅内）にスマートグラス１０と、コントローラ２０と、複数の家電機器３０とが配置されている。コントローラ２０と家電機器３０とは、例えば、有線ＬＡＮ（Local Area Network）や無線ＬＡＮからなる宅内ネットワーク８０を介して通信可能に接続されている。また、スマートグラス１０とコントローラ２０とは、例えば、Bluetooth（登録商標）に代表される近距離無線通信により、通信可能に接続されている。

スマートグラス１０は、ウェアラブルセンサ（ウェアラブルデバイス）の一例である。利用者は、眼鏡をかける要領でスマートグラス１０を装着し、後述するように、表示される画像（後述する機器選択画面Ｇ１や操作選択画面Ｇ２）を視認して、ジェスチャによる操作入力（選択）を行う。なお、スマートグラス１０は、１台に限られず、複数台でもよい。例えば、親子４人がそれぞれ自分のスマートグラス１０を所有していてもよく、また、両親（父、母）が自分のスマートグラス１０を所有し、２人の子供が何れかのスマートグラス１０を使用できるようにしてもよい。

このスマートグラス１０の構成の一例について、以下、図２のブロック図を参照して説明する。図示するように、スマートグラス１０は、通信部１１と、表示部１２と、センサ部１３と、データ記憶部１４と、制御部１５とを備える。

通信部１１は、一例として、Bluetooth（登録商標）に代表される近距離無線通信方式が採用された通信ユニットであり、制御部１５による制御の下、コントローラ２０との間で必要となる情報を送受信する。なお、宅内ネットワーク８０が無線ＬＡＮである場合に、通信部１１は、無線ＬＡＮの通信ユニットであってもよい。通信部１１は、センサ部１３が検出したセンサ情報（後述する画像情報、動作情報、生体情報、又は、環境情報）を、コントローラ２０に送信する。また、通信部１１は、コントローラ２０から送られる表示情報を受信する。

なお、スマートグラス１０には、利用者がジェスチャを開始する際に押下すべき開始ボタンが配置されており、この開始ボタンが押されると、通信部１１は、ジェスチャ（操作入力）の開始を通知する開始情報をコントローラ２０に送信する。

表示部１２は、一例として、カラー液晶パネルであり、通信部１１が受信した表示情報に基づいた画像を表示する。つまり、表示部１２は、コントローラ２０から送られた表示情報に基づいた画像を表示する。例えば、表示部１２は、図３Ａに示すような機器選択画面Ｇ１を表示する。この機器選択画面Ｇ１には、部屋に応じて、機器（家電機器３０）の候補群が表示されるようになっている。利用者は、この機器選択画面Ｇ１に表示される機器の候補群の中から、操作しようとする何れかの機器を選択する。なお、機器選択画面Ｇ１には、おすすめ設定ＲＭも含まれている。このおすすめ設定ＲＭは、スマートグラス１０を装着した利用者に推奨される推奨情報であり、推奨される機器への推奨される操作内容を示している。また、おすすめ設定ＲＭには、ジェスチャ（選択するために利用者が行うべきジェスチャ）の内容も含まれている。そして、利用者が、おすすめ設定ＲＭを選んだ場合には、推奨情報に従って、機器の選択と操作内容の選択とをまとめて行うことができる。

この他にも、表示部１２は、図３Ｂに示すような操作選択画面Ｇ２を表示する。操作選択画面Ｇ２は、機器選択画面Ｇ１において機器が選択された場合に表示される。この操作選択画面Ｇ２には、選択された機器に対する操作内容（設定内容）の候補群が表示されるようになっている。利用者は、この操作選択画面Ｇ２に表示される操作内容の候補群の中から、指示しようとする操作内容（変更しようとする設定内容）を選択する。なお、操作選択画面Ｇ２にも、おすすめ設定ＲＭが含まれている。そのため、操作しようとする機器を選択した後にも、利用者に推奨される推奨操作（推奨される機器への推奨される操作）を選択することも可能となっている。

図２に戻って、センサ部１３は、一例として、スマートグラス１０を装着した利用者の動作情報、生体情報、又は、環境情報を検出する。なお、何れか１種類の情報に限られず、センサ部１３は、複数種類の情報を検出してもよい。例えば、センサ部１３は、３軸の加速度センサや３軸のジャイロセンサを備えており、利用者の動作情報（一例として、加速度や角速度の値）を検出する。なお、スマートグラス１０は、カメラ（レンズや撮像素子）を備えており、このカメラもセンサ部１３として機能する。例えば、センサ部１３としてのカメラは、利用者が指先を動かすジェスチャを行った際に、指先の動きをトラッキングした画像情報を順次生成（検出）する。

また、センサ部１３は、例えば、心拍センサ、脈拍センサ、体温センサ、又は、体表温センサを備えており、利用者の生体情報（一例として、心拍、脈拍、体温、又は、体表温の値）を検出する。この他にも、センサ部１３は、例えば、温度センサや照度センサを備えており、利用者の環境情報（一例として、室温や照度の値）を検出する。

センサ部１３は、センサ情報（画像情報、動作情報、生体情報、又は、環境情報）を、通信部１１を通じてコントローラ２０に送信する。なお、センサ部１３は、画像情報や動作情報を、制御部１５（後述するジェスチャ解析部１５１）にも供給する。

データ記憶部１４は、一例として、不揮発性の半導体メモリから構成され、スマートグラス１０の動作に必要な種々の情報を記憶する。例えば、データ記憶部１４は、上述した図３Ａの機器選択画面Ｇ１や図３Ｂの操作選択画面Ｇ２が表示された際に、利用者がすべきジェスチャの正解モデルを記憶する。つまり、データ記憶部１４は、候補群中から何れかを選択するために対応付けられたジェスチャや、おすすめ設定ＲＭを選択するために対応付けられたジェスチャの正解モデルを記憶する。

制御部１５は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）などを備え、スマートグラス１０全体を制御する。制御部１５は、例えば、ジェスチャ解析部１５１として機能する。この機能は、ＣＰＵが、ＲＡＭをワークメモリとして用い、ＲＯＭに記憶されているプログラムを適宜実行することにより実現される。

ジェスチャ解析部１５１は、センサ部１３が検出した画像情報に従って、利用者が行ったジェスチャを解析する。例えば、ジェスチャ解析部１５１は、順次更新される画像情報を基に、利用者の指先の動きをトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャがデータ記憶部１４に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信部１１を通じてコントローラ２０に送信する。

なお、ジェスチャ解析部１５１が、このように画像情報を基にジェスチャを解析するのは、ウェアラブルセンサとして、スマートグラス１０が用いられている場合の一例である。そのため、後述するように、他の種類のウェアラブルセンサが用いられる場合において、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報を基にジェスチャを解析する。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。

図１に戻って、コントローラ２０は、スマートグラス１０から送られるセンサ情報に従って、スマートグラス１０を装着した利用者に対して推奨するための推奨情報を決定する。そして、コントローラ２０は、決定した推奨情報を含む表示情報をスマートグラス１０に送信する。また、コントローラ２０は、スマートグラス１０から送られる指示情報に従って、家電機器３０を制御する。

このコントローラ２０の構成の一例について、以下、図４のブロック図を参照して説明する。図示するように、コントローラ２０は、通信部２１と、データ記憶部２２と、制御部２３とを備える。

通信部２１は、一例として、Bluetooth（登録商標）に代表される近距離無線通信方式と、有線ＬＡＮや無線ＬＡＮの通信方式とが採用された複合通信ユニットであり、制御部２３による制御の下、スマートグラス１０との間、及び、家電機器３０との間で、必要となる情報を送受信する。例えば、通信部２１は、スマートグラス１０から送られるセンサ情報、開始情報、及び、指示情報を受信する。また、通信部２１は、表示情報をスマートグラス１０に送信する。更に、通信部２１は、宅内ネットワーク８０を介して、家電機器３０から送られる動作情報や電力情報を受信し、また、制御コマンドを家電機器３０に送信する。

データ記憶部２２は、例えば、不揮発性の半導体メモリから構成され、コントローラ２０の動作に必要な種々の情報を記憶する。例えば、データ記憶部２２は、家電機器３０の情報を管理するための機器情報２２１や、推奨情報の条件と内容とを定めた定義情報２２２（２２２ａ，２２２ｂ）を記憶する。

具体的な機器情報２２１の一例を図５に示す。図５の機器情報２２１には、識別番号、機器（家電機器３０）、配置場所、動作状態、及び、電力量が含まれている。このような機器情報２２１は、例えば、表示情報を生成する際に使用される。

具体的な定義情報２２２（２２２ａ，２２２ｂ）の一例を図６Ａ，６Ｂに示す。図６Ａの定義情報２２２ａには、優先順位、機器（家電機器３０）、条件（条件１，条件２，・・・）、及び、推奨操作が含まれている。なお、優先順位は、その項目（機器、条件、及び、推奨操作）の優先度を示しており、高い順に、レベルＡ，Ｂ，Ｃ，・・・と規定されている。例えば、レベルＢの項目は、各レベルＡの項目の条件を満たしていない場合に、対象となり得る。また、レベルＣの項目は、更に各レベルＢまでの項目の条件を満たしていない場合に、対象となり得る。そして、条件を最初に満たした項目の推奨操作が推奨情報となる。

図６Ｂの定義情報２２２ｂは、複数人の利用者が在室している場合に、その人員構成に応じて推奨操作を調整するために用いられる。例えば、スマートグラス１０が複数台使用されている場合や、１台のスマートグラス１０の使用だけでも、画像情報から他の利用者が在室していることが検出された場合に、この定義情報２２２ｂが用いられる。つまり、上述した定義情報２２２ａで決定された推奨情報（推奨操作）が、定義情報２２２ｂを元に調整される。なお、利用者が単独で在室している場合には、定義情報２２２ａで決定された推奨情報（推奨操作）がそのまま採用される。

図６Ｂの定義情報２２２ｂには、構成パターン（人員構成）、機器（家電機器３０）、及び、調整内容が含まれている。なお、調整内容は、定義情報２２２ａで決定された推奨情報（推奨操作）について調整する内容を示している。すなわち、定義情報２２２ａと定義情報２２２ｂとにより、利用者の人員構成に応じて異なる内容の推奨操作（推奨情報）が定められていることになる。

この他にも、データ記憶部２２は、利用者の嗜好を収集した嗜好情報（例えば、エアコン（冷房時）であれば、温度が低めで、微風が好みであるとか、照明であれば、電球色が好みであるとか）や、家電機器３０が使用した電力量又は電気料金を集計した電力情報を記憶してもよい。

図４に戻って、制御部２３は、ＣＰＵ，ＲＯＭ，ＲＡＭなどを備え、コントローラ２０全体を制御する。制御部２３は、機能的には、推奨処理部２３１と、管理部２３２と、機器制御部２３３とを備える。これらの機能は、ＣＰＵが、ＲＡＭをワークメモリとして用い、例えば、ＲＯＭに記憶されているプログラムを適宜実行することにより実現される。

推奨処理部２３１は、通信部２１が受信したセンサ情報（管理部２３２から中継されたセンサ情報）に基づいて、利用者に対して推奨するための推奨情報を決定する。すなわち、推奨処理部２３１は、スマートグラス１０から送られた画像情報、動作情報、生体情報、又は、環境情報から、定義情報２２２（定義情報２２２ａ，２２２ｂ）により定められた推奨操作を決定する。

例えば、推奨処理部２３１は、生体情報（一例として、心拍、脈拍、体温、又は、体表温の値）を基に、定義情報２２２の項目における条件を満たした推奨操作を決定する。また。推奨処理部２３１は、環境情報（一例として、室温や照度の値）を基に、定義情報２２２の項目における条件を満たした推奨操作を決定する。なお、上述したように、複数人の利用者が在室している場合に、推奨処理部２３１は、定義情報２２２ｂを更に用いて、定義情報２２２ａで決定された推奨操作を調整する。

この他にも、推奨処理部２３１は、機器情報２２１の動作状態（現在の動作状態）に基づいて、推奨操作を決定してもよい。また、データ記憶部２２が、上述した嗜好情報を記憶している場合に、推奨処理部２３１は、この嗜好情報に基づいて、利用者に対して推奨するための推奨情報を決定してもよい。更に、データ記憶部２２が、上述した電力情報を記憶している場合に、推奨処理部２３１は、この電力情報と、予め定められた目標電力量又は目標電気料金との比較に基づいて、利用者に対して推奨するための推奨操作を決定してもよい。

管理部２３２は、通信部２１が受信した開始情報や指示情報を適宜保持して、操作時のシーケンス管理を行う。例えば、上述した開示ボタン（ジェスチャの開始時に利用者に押下される開始ボタン）の押下に伴いスマートグラス１０から開始情報が送られると、管理部２３２は、シーケンスを第１段階（機器の選択段階）に移行する。この第１段階において、指示情報が送られ、その指示内容が機器の選択であれば、管理部２３２は、シーケンスを第２段階（操作の選択段階）に移行し、一方、その指示内容が推奨操作（おすすめ設定ＲＭ）の選択であれば、シーケンスを最終段階（機器の制御段階）に移行する。また、第２段階において、指示情報が送られ、その指示内容が操作の選択や推奨操作の選択であれば、管理部２３２は、シーケンスを最終段階に移行する。

また、管理部２３２は、通信部２１が受信したセンサ情報を適宜保持し、推奨処理部２３１にセンサ情報を渡す（中継する）。そして、推奨処理部２３１が決定した推奨情報（推奨操作）を含めた表示情報を生成する。例えば、シーケンスが第１段階であれば、管理部２３２は、上述した機器選択画面Ｇ１を表す表示情報を生成する。また、シーケンスが第２段階であれば、管理部２３２は、上述した操作選択画面Ｇ２を表す表示情報を生成する。

更に、管理部２３２は、シーケンスが最終段階に移行すると、指示情報に応じた制御情報を、機器制御部２３３に通知する。また、管理部２３２は、機器制御部２３３から通知される家電機器３０の動作情報や電力情報に応じて、データ記憶部２２に記憶される機器情報２２１を更新する。

機器制御部２３３は、管理部２３２から制御情報が通知されると、対象となる家電機器３０に応じた制御コマンドを生成する。そして、機器制御部２３３は、生成した制御コマンドを、通信部２１を通じて対象の家電機器３０に送信する。また、機器制御部２３３は、例えば、予め規定された情報収集タイミングになると、家電機器３０に対して情報を要求し、応答して送信される動作情報や電力情報を受信する。そして、機器制御部２３３は、受信した動作情報や電力情報を管理部２３２に通知する。

図１に戻って、家電機器３０は、住居Ｈ内の各部屋で使用される各種電化製品であり、一例として、エアコン、床暖房、照明、及び、テレビが含まれる。なお、家電機器３０の種類は、これらに限られず、他に、ＩＨ調理器、空気清浄機、換気扇、及び、冷蔵庫を含んでもよい。

このような家電機器３０の構成の一例について、以下、図７のブロック図を参照して説明する。図示するように、家電機器３０は、通信部３１と、データ記憶部３２と、主機能部３３と、制御部３４と、を備える。

通信部３１は、例えば、宅内ネットワーク８０と接続するための通信アダプタであり、制御部３４の制御の下、宅内ネットワーク８０を介して、コントローラ２０と通信を行う。なお、通信部３１を、着脱可能な外付けの通信アダプタで構成してもよい。

データ記憶部３２は、例えば、不揮発性の半導体メモリから構成され、家電機器３０の状態を示す情報（一例として、動作状態、運転モード、及び、電力量）を記憶する。

主機能部３３は、家電機器３０本来の機能（例えば、エアコンであれば、冷房や暖房の空調機能）を実現するための構成であり、制御部３４により制御される。

制御部３４は、ＣＰＵ，ＲＡＭ，ＲＯＭなどを備え、家電機器３０全体を制御する。制御部３４は、機能的には、データ処理部３４１と、制御実行部３４２とを備える。これらの機能は、ＣＰＵが、ＲＡＭをワークメモリとして用い、ＲＯＭやデータ記憶部３２に記憶されているプログラムを適宜実行することにより実現される。

データ処理部３４１は、例えば、家電機器３０が備えるセンサによる計測値や、動作状態や設定状態の監視結果から、逐次、データ記憶部３２に記憶される情報を更新する。そして、データ処理部３４１は、コントローラ２０からの要求に応じて、データ記憶部３２に記憶される情報をコントローラ２０に送信する。

制御実行部３４２は、コントローラ２０から送られた制御コマンドを通信部３１にて受信すると、受信した制御コマンドに基づいた制御を、主機能部３３に実行させる。

以下、本発明の実施形態１に係る機器制御システム１の動作について、図８を参照して説明する。図８は、機器制御処理の一例を示すフローチャートである。この機器制御処理は、例えば、スマートグラス１０の開始ボタンが利用者に押下された際に開始される。なお、開始ボタンの押下に伴う開始情報は、スマートグラス１０からコントローラ２０に送信されているものとする。

まず、スマートグラス１０は、センサ情報をコントローラ２０に送信する（ステップＳ４０１）。つまり、センサ部１３は、スマートグラス１０を装着した利用者の動作情報、生体情報、又は、環境情報を検出する。そして、通信部１１は、このセンサ情報をコントローラ２０に送信する。

コントローラ２０は、送られたセンサ情報を基に、推奨操作を決定する（ステップＳ４０２）。つまり、推奨処理部２３１は、センサ情報に基づいて、利用者に対して推奨するための推奨情報を決定する。すなわち、推奨処理部２３１は、スマートグラス１０から送られた画像情報、動作情報、生体情報、又は、環境情報から、定義情報２２２（定義情報２２２ａ，２２２ｂ）により定められた推奨操作を決定する。

例えば、推奨処理部２３１は、生体情報（一例として、心拍、脈拍、体温、又は、体表温の値）を基に、定義情報２２２の項目における条件を満たした推奨操作を決定する。また。推奨処理部２３１は、環境情報（一例として、室温や照度の値）を基に、定義情報２２２の項目における条件を満たした推奨操作を決定する。なお、複数人の利用者が在室している場合に、推奨処理部２３１は、定義情報２２２ｂを更に用いて、定義情報２２２ａで決定された推奨操作を調整する。この他にも、データ記憶部２２が、嗜好情報を記憶している場合に、推奨処理部２３１は、この嗜好情報に基づいて、利用者に対して推奨するための推奨情報を決定してもよい。また、データ記憶部２２が、電力情報を記憶している場合に、推奨処理部２３１は、この電力情報と、予め定められた目標電力量又は目標電気料金との比較に基づいて、利用者に対して推奨するための推奨操作を決定してもよい。

コントローラ２０は、表示情報を生成して、スマートグラス１０に送信する（ステップＳ４０３）。つまり、管理部２３２は、ステップＳ４０２にて決定された推奨操作を含めた表示情報を生成する。なお、管理部２３２は、シーケンス管理を行っており、例えば、シーケンスが第１段階であれば、機器選択画面Ｇ１を表す表示情報を生成し、一方、シーケンスが第２段階であれば、操作選択画面Ｇ２を表す表示情報を生成する。そして、通信部２１は、この表示情報をスマートグラス１０に送信する。

スマートグラス１０は、送られた表示情報に基づいた画面を表示する（ステップＳ４０４）。すなわち、表示部１２は、図３Ａに示すような機器選択画面Ｇ１や、図３Ｂに示すような操作選択画面Ｇ２を表示する。

このような画面を視認した利用者が、ジェスチャを行うと、スマートグラス１０は、そのジェスチャを解析する（ステップＳ４０５）。つまり、ジェスチャ解析部１５１は、センサ部１３が検出した画像情報に従って、利用者が行ったジェスチャを解析する。例えば、ジェスチャ解析部１５１は、順次更新される画像情報を基に、利用者の指先の動きをトラッキングし、利用者が行ったジェスチャを特定する。なお、ジェスチャ解析部１５１が、このように画像情報を基にジェスチャを解析するのは、ウェアラブルセンサとして、スマートグラス１０が用いられている場合の一例である。そのため、後述するように、他の種類のウェアラブルセンサが用いられる場合において、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報を基にジェスチャを解析する。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。

ステップＳ４０５にて解析された利用者のジェスチャが、正解モデルと一致する場合に、スマートグラス１０は、指示情報をコントローラ２０に送信する（ステップＳ４０６）。つまり、ジェスチャ解析部１５１は、特定したジェスチャがデータ記憶部１４に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信部１１を通じてコントローラ２０に送信する。

コントローラ２０は、送られた指示情報が操作決定であるか否かを判別する（ステップＳ４０７）。つまり、シーケンス管理を行っている管理部２３２は、シーケンスが第１段階において、指示情報が推奨操作（おすすめ設定ＲＭ）の選択である場合、及び、シーケンスが第２段階において、指示情報が操作の選択や推奨操作の選択である場合に、操作決定であると判別する。

コントローラ２０は、送られた指示情報が操作決定でないと判別すると（ステップＳ４０７；Ｎｏ）、上述したステップＳ４０３に処理を戻す。このステップＳ４０３では、シーケンス管理に応じた表示画像が生成され、再度、スマートグラス１０に送信される。

一方、送られた指示情報が操作決定であると判別した場合に（ステップＳ４０７；Ｙｅｓ）、コントローラ２０は、操作コマンドを生成して家電機器３０に送信する（ステップＳ４０８）。つまり、機器制御部２３３は、管理部２３２から制御情報が通知されると、対象となる家電機器３０に応じた制御コマンドを生成する。そして、通信部２１は、この操作コマンドを対象の家電機器３０に送信する。

家電機器３０は、送られた制御コマンドを実行する（ステップＳ４０９）。つまり、制御実行部３４２は、コントローラ２０から送られた制御コマンドを通信部３１にて受信すると、受信した制御コマンドに基づいた制御を、主機能部３３に実行させる。

このような機器制御処理において、スマートグラス１０の表示部１２には、センサ部１３が検出したセンサ情報に基づいて、利用者に推奨される推奨操作が、機器を選択するための候補群と共に表示される。その際、利用者が推奨操作を選択することで、機器の選択と操作内容の選択とをまとめて行えることとなり、機器の操作を容易に行うことができる。

このような機器制御システム１（より詳細には、スマートグラス１０、及び、コントローラ２０）における主要な構成の関連を図９を参照して説明する。

図９の関連図に示すように、センサ部１３にて検出されたセンサ情報（画像情報、動作情報、生体情報、又は、環境情報）は、管理部２３２に送信される。管理部２３２に送信されたセンサ情報は、推奨処理部２３１に送信される。推奨処理部２３１は、センサ情報を基に推奨情報（推奨操作）を生成して、管理部２３２に送信する。そして、管理部２３２は、推奨情報を含んだ表示情報を表示部１２に送信する。

また、センサ部１３にて検出されたセンサ情報（画像情報や動作情報）は、ジェスチャ解析部１５１にも送信される。ジェスチャ解析部１５１は、センサ情報を基に利用者が行ったジェスチャを解析する。そして、利用者が行ったジェスチャが正解モデルと一致すると、指示情報が管理部２３２に送信される。

送信された指示情報が操作決定であれば、管理部２３２は、制御情報を機器制御部２３３に送信する。なお、機器制御部２３３は、送られた制御情報を基に、制御コマンドを生成して、対象の家電機器３０に送信する。また、機器制御部２３３は、家電機器３０から送られた動作情報を、管理部２３２に送信する。

このように、主要な構成の関連が維持されるのであれば、これら主要な構成がどのデバイスに存在していても、上述した動作が可能となる。そのため、以下に説明するように、機器制御システム１は、異なるデバイス構成によっても実現可能である。

（実施形態２）
図１０は、本発明の実施形態２に係る機器制御システム２の全体構成の一例を示す模式図である。この機器制御システム２は、一例として、指輪型のセンサ端末１６が加えられている点で、図１の機器制御システム１と異なる。

センサ端末１６は、ウェアラブルセンサの一例である。利用者は、ジェスチャを行う指に、センサ端末１６を装着する。このセンサ端末１６は、上述した図９の関連図におけるセンサ部１３を備えている。例えば、センサ部１３は、３軸の加速度センサや３軸のジャイロセンサを備えており、利用者の動作情報（一例として、加速度や角速度の値）を検出する。また、センサ端末１６は、一例として、Bluetooth（登録商標）に代表される近距離無線通信方式が採用された通信ユニットも備えており、センサ部１３が検出した動作情報をスマートグラス１０に送信する。

スマートグラス１０は、図９の関連図におけるジェスチャ解析部１５１を備えており、センサ端末１６から送られた動作情報（つまり、センサ部１３が検出した動作情報）を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャがデータ記憶部１４に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信部１１を通じてコントローラ２０に送信する。

また、スマートグラス１０は、図９の関連図における表示部１２を備えており、コントローラ２０から送られた表示情報に基づいた画面（例えば、機器選択画面Ｇ１や操作選択画面Ｇ２）を表示する。

コントローラ２０は、図１の機器制御システム１におけるコントローラ２０と同様である。つまり、図９の関連図における推奨処理部２３１、管理部２３２、及び、機器制御部２３３を備えている。

すなわち、このような機器制御システム２においても、図９の関連図における主要な構成の関連が維持されており、利用者は、家電機器３０の操作を容易に行うことができる。

（実施形態３）
図１１は、本発明の実施形態３に係る機器制御システム３の全体構成の一例を示す模式図である。この機器制御システム３は、一例として、スマートフォン１７が加えられている点で、図１０の機器制御システム２と異なる。

センサ端末１６は、図１０の機器制御システム２におけるセンサ端末１６と同様である。つまり、図９の関連図におけるセンサ部１３を備えている。なお、機器制御システム３におけるセンサ端末１６は、センサ部１３が検出した動作情報をスマートフォン１７に送信する。

スマートフォン１７は、図９の関連図におけるジェスチャ解析部１５１を備えており、センサ端末１６から送られた動作情報（つまり、センサ部１３が検出した動作情報）を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャが自身のデータ記憶部に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信ユニットを通じてコントローラ２０に送信する。

スマートグラス１０は、図９の関連図における表示部１２を備えており、コントローラ２０から送られた表示情報に基づいた画面（例えば、機器選択画面Ｇ１や操作選択画面Ｇ２）を表示する。

コントローラ２０は、図１の機器制御システム１と同様である。つまり、図９の関連図における推奨処理部２３１、管理部２３２、及び、機器制御部２３３を備えている。

すなわち、このような機器制御システム３においても、図９の関連図における主要な構成の関連が維持されており、利用者は、家電機器３０の操作を容易に行うことができる。

（実施形態４）
図１２は、本発明の実施形態４に係る機器制御システム４の全体構成の一例を示す模式図である。この機器制御システム４は、スマートグラス１０の代わりにスマートフォン１７を備えている点で、図１０の機器制御システム２と異なる。

センサ端末１６は、図１０の機器制御システム２におけるセンサ端末１６と同様である。つまり、図９の関連図におけるセンサ部１３を備えている。なお、機器制御システム４におけるセンサ端末１６は、センサ部１３が検出した動作情報をスマートフォン１７に送信する。

スマートフォン１７は、図９の関連図におけるジェスチャ解析部１５１を備えており、センサ端末１６から送られた動作情報（つまり、センサ部１３が検出した動作情報）を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャが自身のデータ記憶部に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信ユニットを通じてコントローラ２０に送信する。

また、スマートフォン１７は、図９の関連図における表示部１２を備えており、コントローラ２０から送られた表示情報に基づいた画面（例えば、機器選択画面Ｇ１や操作選択画面Ｇ２）を表示する。

コントローラ２０は、図１の機器制御システム１におけるコントローラ２０と同様である。つまり、図９の関連図における推奨処理部２３１、管理部２３２、及び、機器制御部２３３を備えている。なお、管理部２３２は、生成した表示情報を、スマートフォン１７に送信する。

すなわち、このような機器制御システム４においても、図９の関連図における主要な構成の関連が維持されており、利用者は、家電機器３０の操作を容易に行うことができる。

（実施形態５）
図１３は、本発明の実施形態５に係る機器制御システム５の全体構成の一例を示す模式図である。この機器制御システム５は、スマートグラス１０の代わりに一例としてスマートウォッチ１８を備えている点で、図１の機器制御システム１と異なる。

スマートウォッチ１８は、ウェアラブルセンサの一例である。利用者は、スマートウォッチ１８をジェスチャを行う手（腕）に装着する。スマートウォッチ１８は、上述した図９の関連図におけるセンサ部１３を備えている。例えば、センサ部１３は、３軸の加速度センサや３軸のジャイロセンサを備えており、利用者の動作情報（一例として、加速度や角速度の値）を検出する。

また、スマートウォッチ１８は、図９の関連図におけるジェスチャ解析部１５１を備えており、センサ部１３が検出した動作情報を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャが自身のデータ記憶部に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信ユニットを通じてコントローラ２０に送信する。

また、スマートウォッチ１８は、図９の関連図における表示部１２を備えており、コントローラ２０から送られた表示情報に基づいた画面（例えば、機器選択画面Ｇ１や操作選択画面Ｇ２）を表示する。

コントローラ２０は、図１の機器制御システム１におけるコントローラ２０と同様である。つまり、図９の関連図における推奨処理部２３１、管理部２３２、及び、機器制御部２３３を備えている。なお、管理部２３２は、生成した表示情報を、スマートウォッチ１８に送信する。

すなわち、このような機器制御システム５においても、図９の関連図における主要な構成の関連が維持されており、利用者は、家電機器３０の操作を容易に行うことができる。

このように、異なるデバイス構成の機器制御システム１〜５によっても、図９の関連図における主要な構成の関連が維持される。なお、機器制御システム１〜５におけるデバイス構成が同じでも、図９の主要な構成の一部が別のデバイスに備えられていてもよい。

例えば、上述した本発明の実施形態２に係る機器制御システム２では、図９の関連図におけるジェスチャ解析部１５１が、スマートグラス１０に備えられている場合について説明したが、他のデバイスに備えられていてもよい。一例として、ジェスチャ解析部１５１が、コントローラ２０に備えられていても、図９の関連図における主要な構成の関連が維持されるのであれば、同様に、利用者は、家電機器３０の操作を容易に行うことができる。

（実施形態の変形例）
上記の実施形態１〜５に係る機器制御システム１〜５では、住宅Ｈ内にコントローラ２０を配置する場合について説明したが、このコントローラ２０に相当する装置を住宅Ｈ外に配置するようにしてもよい。例えば、インターネット上のサーバ６０をコントローラ２０として機能させてもよい。

一例として、図１４に示す機器制御システム６では、住宅Ｈ内に、コントローラ２０の代わりに、ルータ５０が配置されている。一方、宅外ネットワーク９０上には、上述したコントローラ２０として機能させるサーバ６０が配置されている。この場合、ルータ５０とサーバ６０とが協業してコントローラ２０の役割を果たす。

この場合も、図９の関連図における主要な構成の関連が維持され、利用者は、家電機器３０の操作を容易に行うことができる。

（他の実施形態）
上記の実施形態では、住居Ｈ内における機器制御システム１〜６について説明したが、本願発明は、ビル内や施設内における機器制御システム１〜６においても同様に適用することができる。

また、上記の実施形態では、専用のコントローラ２０を用いる場合について説明したが、コントローラ２０の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器などに適用することで、当該パーソナルコンピュータなどを本発明に係るコントローラ２０として機能させることも可能である。

また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。

本発明は、広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

本発明は、機器の操作を容易に行うことのできる機器制御システムに採用され得る。

１〜６ 機器制御システム、１０ スマートグラス、１１，２１，３１ 通信部、１２ 表示部、１３ センサ部、１４，２２，３２ データ記憶部、１５，２３，３４ 制御部、１５１ ジェスチャ解析部、１６ センサ端末、１７ スマートフォン、１８ スマートウォッチ、２０ コントローラ、２２１ 機器情報、２２２（２２２ａ，２２２ｂ） 定義情報、２３１ 推奨処理部、２３２ 管理部、２３３ 機器制御部、３０ 家電機器、３３ 主機能部、３４１ データ処理部、３４２ 制御実行部、５０ ルータ、６０ サーバ、８０ 宅内ネットワーク、９０ 宅外ネットワーク

Claims (9)

1. 機器の候補群から機器を選択する機器選択と、当該機器選択にて選択された機器への操作の候補群から操作を選択する操作選択とに応じて、機器を制御する機器制御システムであって、
   利用者に装着され、生体情報を含む情報を検出するセンサ部と、
   前記センサ部が検出した情報に基づいた前記利用者に対する推奨操作を、前記機器が未選択の状態で、前記機器の候補群と共に表示する表示部と、
   を備える機器制御システム。
2. 前記センサ部は、画像情報、動作情報、及び、環境情報の何れかを含む情報を更に検出し、
   前記センサ部が検出した情報に基づいて、前記利用者に対して推奨される機器への推奨される操作内容を示す推奨操作を決定する推奨処理部を更に備え、
   前記表示部は、前記推奨処理部が決定した推奨操作を表示する、
   請求項１に記載の機器制御システム。
3. 利用者の人員構成に応じて異なる内容の推奨操作を定めた定義情報を記憶する記憶部を更に備え、
   前記推奨処理部は、前記センサ部が検出した情報に基づいて、在室している人員構成を特定し、特定した人員構成と前記定義情報とに従って、前記センサ部を装着した利用者に対する推奨操作を決定する、
   請求項２に記載の機器制御システム。
4. 前記表示部に表示される前記推奨操作には、予め定められたジェスチャが対応付けられており、
   前記センサ部が検出した画像情報又は動作情報に基づいて、前記利用者が行ったジェスチャを解析するジェスチャ解析部と、
   前記解析されたジェスチャが前記推奨操作に対応付けられているジェスチャと一致した場合に、前記推奨操作に応じた動作を対象となる機器に実行させる機器制御部と、を更に備える、
   請求項２に記載の機器制御システム。
5. 前記センサ部は、前記生体情報として、脈拍、心拍、体温、及び、体表温の何れかを検出し、
   前記推奨処理部は、前記センサ部が検出した脈拍、心拍、体温、及び、体表温の何れかに基づいて、前記利用者に対して推奨される空調機器への操作内容を示す推奨操作を決定する、
   請求項２に記載の機器制御システム。
6. 前記センサ部は、前記環境情報として、照度を検出し、
   前記推奨処理部は、前記センサ部が検出した照度に基づいて、前記利用者に対して推奨される照明機器への操作内容を示す推奨操作を決定する、
   請求項２に記載の機器制御システム。
7. 利用者に応じて異なる嗜好を収集した嗜好情報を記憶する記憶部を更に備え、
   前記推奨処理部は、前記嗜好情報に基づいて、前記センサ部を装着した利用者に対して推奨される推奨操作を決定する、
   請求項２に記載の機器制御システム。
8. 前記機器の動作状況を収集した機器情報を記憶する記憶部を更に備え、
   前記推奨処理部は、前記機器情報に応じた現在の動作状態に基づいて、前記利用者に対する推奨操作を決定する、
   請求項２に記載の機器制御システム。
9. 前記機器が使用した電力量又は電気料金を集計した電力情報を記憶する記憶部を更に備え、
   前記推奨処理部は、前記電力情報と、予め定められた目標電力量又は目標電気料金との比較に基づいて、前記利用者に対する推奨操作を決定する、
   請求項２に記載の機器制御システム。

Images