JP6512086B2 - 機器制御システム、及び、機器制御方法 - Google Patents

Description

本発明は、機械器具、特に家庭用電気機械器具（以下、家電機器とのみ記載する場合がある）の制御システム、及び、制御方法に関する。

従来、家電機器の内部に設けられたセンサを含み、宅内に設置されたセンサから情報を蓄積し、その内容や解析結果に応じて家電機器の制御を行う技術が提案されている。

例えば、センサによって取得される空間情報と人間の行動に関するデータから、空間の雰囲気情報を解析し、解析結果である雰囲気情報に基づいてその行動内容に対する適切な処理を実行することが可能な情報処理装置、情報処理方法、及び、コンピュータプログラムに関する技術がある。（特許文献１参照）。

特開２０１４−１３０４６７号公報（段落０００７〜００１１、図１）

しかしながら、上記特許文献１の機器制御システムでは、空間又はゾーンの中に人が二人以上いることを想定しておらず、一つの空間に対して一つの状態制御を与えようとするため、一つの空間に居る複数名のうちの少なくとも一人に、快適ではない空間を提供する虞がある。

さらに、自動制御できる機器のみを利用しているため、制御できる内容に限界があり、空間にいる人に快適ではない空間を提供する虞がある。

本発明の機器制御システムによれば、所定のセンサを有する家電機器と、携帯端末と、前記家電機器及び前記携帯端末と双方向通信可能な情報処理装置と、を備えた機器制御システムにおいて、前記情報処理装置は、前記センサが取得した情報又は前記携帯端末が有する情報を受信する受信部と、前記受信部が受信した情報を蓄積する蓄積部と、当該蓄積した情報又は前記受信した情報から所定の空間に居る人の位置情報を解析する人位置解析部と、前記蓄積した情報又は前記受信した情報から前記所定の空間の環境を解析する環境解析部と、前記蓄積した情報又は前記受信した情報から前記所定の空間に居る人の状態を解析する人状態解析部と、前記人位置解析部が解析した結果、前記環境解析部が解析した結果、前記人状態解析部が解析した結果、前記人の位置情報、前記空間の環境及び前記人の状態に基づいて前記所定の空間に居る人に対して前記家電機器の動作を各人ごとに決定し、さらに前記所定の空間に居る人の中での優先度を各人について決定する動作仮決定部とを備え、前記動作仮決定部で決定された前記家電機器の動作の間に競合する動作がある場合、前記家電機器の動作が競合する人のうち前記優先度の高い人に対する前記家電機器の動作として前記動作仮決定部が決定した前記家電機器の動作をするように指示しつつ前記優先度が低い人に対して前記情報処理装置と双方向通信を行わない外部機器を動作させるか又は人の行動を促す内容を指示することを特徴とする。

この発明に係る機器制御システムによれば、複数人が同一空間内に存在する場合でも、それぞれの人に対し、快適な環境をもたらすことができる。

この発明の実施の形態１における制御システムの構成を示す概略図である。 この発明の実施の形態１におけるエアコンの構成の一例を示すブロック図である。 この発明の実施の形態１における携帯端末及びバイタルサイン計測機の構成の一例を示すブロック図である。 この発明の実施の形態１における表示機の構成の一例を示すブロック図である。 この発明の実施の形態１における情報処理装置の構成の一例を示すブロック図である。 この発明の実施の形態１における動作競合解消部の競合動作を調整し外部機器の動作決定を行う手順を示すフローチャートである。 この発明の実施の形態２における情報処理装置の構成の一例を示すブロック図である。 この発明の実施の形態３における情報処理装置の構成の一例を示すブロック図である。

実施の形態１．
次に、図面を用いて、この発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきである。したがって、具体的な寸法等は以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

図１は、この発明の実施の形態１における家電機器を用いた制御システムの構成を示す概略図である。

図において、この発明の実施の形態１における家電機器制御システム１は、外部機器である空調を行うエアコン２と、個人情報（性別、年齢）、顔画像、及びバイタルサイン（脈拍、体温、血圧）などのデータを送信する携帯端末３と、映像を表示する表示機４と、風を起こす扇風機５とを備え、更に、室内の家電機器が持つセンサ情報の収集及び家電機器の操作を行う情報処理装置６を備える。携帯端末３は、さらに、バイタルサインを計測するウェアラブル端末、例えばスマートウォッチなどといったバイタルサイン計測機３１０と通信を行う。なお、図１では、各外部機器は１台として示されているが、これらが同じ室内に複数台存在してもよい。

情報処理装置６は、エアコン２、携帯端末３、及び、表示機４とネットワークで接続されており、相互に通信が可能である。

情報処理装置６は、ネットワークで接続された外部機器から情報を取得する。例えば、エアコン２からは、設定温度、室温、風量、赤外線センサ画像、及びカラー画像の情報を、携帯端末３からは、携帯端末所有者情報である携帯端末所有者の年齢、性別、顔情報、及びバイタルサインの情報を受信する。

情報処理装置６は、ネットワークで接続されている外部機器に対し、ネットワークを経由して操作命令を送信し、動作を実行させる機能を持つ。また、情報処理装置６は、ネットワークで接続されていない外部機器、ここでは扇風機５については、表示機４又は／及び携帯端末３に動作内容を表示することで、室内のシステム利用者に対し、当該外部機器の操作を促す機能を持つ。

情報処理装置６は、外部機器の設定に関する情報を予め記憶する。記憶される情報とは、例えば、エアコン２なら設定温度の上限及び下限、並びに動作モード（暖房、冷房、除湿）の種類等が含まれ、例えば、扇風機５なら扇風機の風量、風速の組合せ、並びに扇風機の首ふり動作の有無及び角度等が含まれる。情報処理装置６は、これらの情報を、システムの利用者の入力により入手し記憶してもよいし、インターネット上にアップロードされている機器の仕様表などから取得してもよい。

通信手段は、有線又は無線を問わない。無線である場合は、例えば、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）方式、Ｂｌｕｅｔｏｏｔｈ（登録商標）方式、及びＷｉ−ＳＵＮ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｓｍａｒｔ Ｕｔｉｌｉｔｙ Ｎｅｔｗｏｒｋ）方式などが挙げられる。有線である場合には、Ｅｔｈｅｒｎｅｔ（登録商標）、及び、ＩＥＥＥ１３９４などが挙げられる。

図２は、この発明の実施の形態１におけるエアコンの内部構成の一例を示すブロック図である。図において、エアコン２は、情報処理装置６と通信をする通信部２０１、室温を計測する温度センサ２０２、室内の湿度を計測する湿度センサ２０３、室内の画像を取得するカメラ２０４、室内の赤外線センサ画像を取得する赤外線カメラ２０５、及び、室内の空調を制御する空気調和部２０６を備える。

通信部２０１は、情報処理装置６と通信を行う。通信部２０１は、エアコン２が有する情報取得部である、室内の環境要因である温度及び湿度等の情報を取得するための温度センサ２０２、湿度センサ２０３、カメラ２０４、及び赤外線カメラ２０５を有する。これらのセンサ及びカメラで取得したセンサ情報及び画像情報を情報処理装置６に送信する。また、通信部２０１は、情報処理装置６の動作命令送信部６０７が送信する命令情報を受信し、空気調和部２０６に伝送する。

温度センサ２０２は室温を測る。得られた温度情報は通信部２０１に伝送される。湿度センサ２０３は室内の湿度を測る。得られた湿度情報は通信部２０１に伝送される。

カメラ２０４は、室内のカラー画像を取得する。カメラ２０４は、室内の出来るだけ広い範囲を撮影できるように、広角レンズを用いる方がよいが、室内全体をカバーできる画角を有するレンズを使用すればよい。取得した画像情報は通信部２０１に送られる。カラー画像とは、例えば、ＲＧＢ各色が８ｂｉｔ諧調で表現される画像である。解像度は高画質（１０２４×７６８）が望ましいが、エアコンの主な機能ではないため、コストとの兼ね合いから決めれば良い。超高画質である４Ｋ（３８４０×２１６０）、８Ｋ（７６８０×４３２０）であってもよいし、標準画質（６４０×４８０）であっても構わない。

赤外線カメラ２０５は、室内の赤外線画像を取得する。赤外線カメラ２０５は、室内の出来るだけ広い範囲を撮影できるように、広角レンズを用いる方がよいが、室内全体をカバーできる画角を有するレンズを使用すればよい。取得した画像情報は通信部２０１に送られる。赤外線画像とは、室内に存在する物の表面温度分布を画像としてあらわしたもので、色の濃淡のみで現わした単色画像であっても、温度の違いを色の違いとして示したカラー画像であってもよい。また、画質は特に問わないが、より細かな解像度で温度分布が示されればよりよい。解像度としては、カメラ２０４で示したとおりである。

なお、赤外線カメラ２０５は、特に形状を問わない。市販の赤外線センサを並べることで構築してもよいが、上記示した性能が得られない場合がある。

空気調和部２０６は、室内の空調を制御する。例えば、冷房、暖房及び除湿などの機能を備える。また空気調和部２０６は、通信部２０１からの命令を受けて、空調の制御を行う。

図３は、この発明の実施の形態１における携帯端末及びバイタルサイン計測機の構成の一例を示すブロック図である。図において、携帯端末３は、例えば、スマートフォンがこれに該当する。また、バイタルサイン計測機３１０は、例えば、スマートウォッチなどのウェアラブル端末がこれに該当する。

携帯端末３は、通信部３０１及び提示部３０２を備える。通信部３０１は、情報処理装置６とバイタルサイン計測機３１０との通信を行う。通信部３０１は、バイタルサイン計測機３１０からバイタルサインを受け取り、情報処理装置６に送信する。また、通信部３０１は、情報処理装置６の提示内容送信部６０８が送信する行動提示内容を受信し、提示部３０２に伝送する。

提示部３０２は、情報処理装置６から送られた行動提示内容を利用者に提示する。提示部３０２で行う行動提示内容の通知方法は、文字や映像を表示する方法でもよいし、音声で通知する方法でもよい。

バイタルサイン計測機３１０は、携帯端末３と通信を行う通信部３１１、及び利用者のバイタルサインを取得するバイタルサイン取得部３１２を有する。バイタルサイン取得部３１２で取得できる情報としては、例えば、利用者の体温、血圧、及び脈拍などである。また、バイタルサイン取得部３１２は、これらのバイタルサインの一日の変動傾向を、過去のバイタルサインデータの記録を利用して推定する機能を持つ。

バイタルサインの一日の変動傾向の導出方法として、例えば、スマートウォッチ内のアプリケーションで、一日の各バイタルサインの値の平均値と、1時間毎の平均値を導出し、（1時間毎の平均値―一日の各バイタルサインの値の平均値）を近似するような関数を一日の変動傾向として定める。なお前記関数には周期を２４時間とするサイン関数を用いる。

また、携帯端末３とバイタルサイン計測機３１０を別の機器としているが、一つの機器に情報処理装置６と通信を行う通信部、情報処理装置６から送られた行動提示内容を利用者に提示する提示部、利用者のバイタルサインを取得するバイタルサイン取得部を持つような構成でも良い。

図４は、この発明の実施の形態１における表示機の構造の一例を示すブロック図である。図において、表示機４は、通信部４０１と、提示部４０２を備える。表示機４としては、例えば、デジタルテレビなどがこれに相当する。

通信部４０１は、情報処理装置６が送信し、提示部４０２が提示する行動提示内容に関する情報を受信し、提示部４０２に伝送する。

提示部４０２は、行動提示内容を表示する。提示部４０２で行う行動提示内容の通知方法は、文字や映像を表示する方法でもよいし、音声で通知する方法でもよい。

図５は、この発明の実施の形態１における情報処理装置の構成の一例を示すブロック図である。図において、情報処理装置６は、外部機器が送信する情報を受信及び蓄積する受信部６０１、受信又は／及び蓄積した情報から人の位置を解析する人位置解析部６０２、受信又は／及び蓄積した情報から室内環境を左右する要因の一つである室内の温度分布を解析する温度分布解析部６０３、受信又は／及び蓄積した情報から室内の各人の位置や健康状態などを解析する人の状態解析部６０４、室内の人それぞれに対して外部機器がどの様に動作すべきかを仮決定する動作仮決定部６０５、仮決定された動作のうち競合する動作を解消し適切な動作を決定する動作競合解消部６０６、エアコン２に動作命令を送信する動作命令送信部６０７、及び、扇風機５に関する操作の提示内容を表示機４及び携帯端末３に送信する提示内容送信部６０８を備える。

受信部６０１は、ネットワークで接続された外部機器であるエアコン２と携帯端末３から情報を受信する。具体的には、エアコン２からは設定温度、室温、風量、赤外線画像、及びカラー画像に関する情報を、携帯端末３からは携帯端末所有者の年齢、性別、顔情報、及びバイタルサインを含む情報を受信する。なお、情報はこれに限られず、また、ここに示す情報の一部であっても構わない。

受信部６０１が、各外部機器から情報を受信する方法は、外部機器からの情報発信を待って受信してもよいし、受信部６０１から外部機器に情報要求メッセージを送信して、その返信として情報を受信してもよい。

人位置解析部６０２は、室内のどの位置に人が存在するかの解析処理を行う。人の位置の解析処理において、入力として使用するデータは、受信部６０１で受信したカラー画像及び赤外線画像に関する情報である。

人の位置の解析処理ではまず、取得した情報に基づくカラー画像から予め記憶された背景画像を減算した差分画像を得る。背景画像は、過去に取得したカラー画像の平均画像である。平均画像は特定期間、例えば１日の室内の明るい画像の平均を取った画像である。

次に、差分画像のＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を計算する。例えば、ＨＯＧ特徴量のセルは５×５ピクセルで構成され、正規化は３×３セルで行うとする。なお、ＨＯＧ特徴量におけるセルの構成ピクセル数及びヒストグラムに関する正規化を実施するセルの単位は適宜定めればよい。

続いて、取得したＨＯＧ特徴量に対し、画像中の人の位置領域の検出を行う。画像中の人の位置領域の検出には。事前に収集した、人及び非人の画像のＨＯＧ特徴量を元に生成された、人領域検出のサポートベクタマシン（ＳＶＭ）を利用する。また、画像中の人の位置領域の検出においては、画像の左上部から識別器による判定を行うような走査処理を行う。

最後に、取得した画像中の人の位置領域に対して、赤外線画像を重畳し、人らしい熱源の存在しない領域をフィルタアウトする。人らしい熱源の判定として、体温に対し、極端に温度の高い領域及び極端に温度の低い領域、並びに、所定の領域内の上部付近に存在する頭部を示す熱源及び中央付近に存在する胴体部分を示す熱源が存在しないような領域を除外する。頭部を示す熱源及び胴体部分を示す熱源であるか否かの判定は、予め撮影した人の赤外線画像に基づき行う。なお、人体及び衣服からの輻射熱は季節ごと又は気温及び天候に左右されるため、例えば、季節毎に比較対象とする画像を切り替えてもよい。フィルタアウト後に残った領域に関する情報を、人の位置情報として出力する。

温度分布解析部６０３は、室内環境を左右する要因の一つである室内の温度分布に対応した温度マップを作成する。なお計算の簡略化のため、部屋を直方体とした床壁天井面の温度マップを作成する場合について説明するが、部屋全体に対するマップを作成する場合もこれに準ずることはいうまでもない。

室内の温度マップの計算に使用するデータは、受信部６０１で受信した赤外線画像の情報及び人位置解析部６０２で解析した人の位置情報である。

まず、温度分布解析部６０３では、赤外線画像中で人が存在していると判断された領域についてマスキング処理を行う。続いて、マスキング処理を施した領域の各ピクセルに対して、マスキング処理を施した領域に隣接した非マスク部の画素を用いて、マスキング処理を施した領域を補完する。この場合、隣接する所定画素数の平均値での補完、中間値での補完、及び、その他の統計的手法を用いた近似による補完等が考えられる。

次に、マスキング処理を施した赤外線画像を床壁天井面の温度マップに当てはめる。赤外線画像の各画素と温度マップの座標とは、例えば、ルックアップテーブルとして予め対応関係を定めておく。なお、画像中に含まれない壁面については、室温と同一温度であるとする。

人の状態解析部６０４は、室内にいる人の携帯端末所有者情報と検出した室内にいる人の占有領域との対応関係、快適度、及び健康状態の解析を行う。室内にいる所定の人の“人の状態”を、当人の室内の位置、快適度、及び健康状態により規定する。人の状態解析部６０４は、“人の状態”の解析のために、受信部６０１で取得した室内の画像や携帯端末所有者の情報などと、人位置解析部６０２で解析した人の存在する位置と、温度分布解析部６０３で解析した室内の温度マップとを用いる。

人の状態解析部６０４は、最初に、室内にいる人の携帯端末所有者情報と検出した室内にいる人の占有領域との対応関係を決める。室内にいる人の携帯端末所有者情報と検出した室内にいる人の占有領域との対応付けは、画像中の人の顔が映っているか否かで、そのやり方が異なる。所定の時刻の画像に顔の映っている人については、携帯端末に予め保存されている所有者の顔画像と室内の画像とを用いたＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴量ベクトルの類似度を用いた対応付けにより、携帯端末所有者情報と人位置のデータとの対応付けを行う。また、所定の時刻の画像に顔の映っていない人については、携帯端末３がビーコンを発するなどして位置を通達することで、携帯端末所有者情報と人位置のデータとの対応付けを行う。ここで言うビーコンとは、Ｂｌｕｅｔｏｏｔｈ（登録商標）のビーコンが適応可能である。

次に、室内の各人の快適度を算出する。快適度は、例えば、ＰＭＶ（Ｐｒｅｄｉｃｔｅｄ Ｍｅａｎ Ｖｏｔｅ）などを用いることができる。その導出に必要な情報は、室内環境を左右する要因である室温、湿度、平均輻射温度、及び人的要因である代謝量である。室温は、エアコン２の温度センサの情報から得られる。湿度は、エアコン２の湿度センサの情報から得られる。平均輻射温度は、室内の温度マップで示される壁面温度及び床面温度と、室内の各人の位置情報と、を用いて計算することができる。なお、平均輻射温度の計算において、壁面からの距離は、画像から推定できる。地上からの高さは、予め得られた所有者のデータである伸長に基づいて決めてもよいし、画像から推定してもよい。一律に床から１ｍであるとすれば、計算が簡略化できる。代謝量は、室内の各人のバイタルサインから計算することができる。

次に、室内の各人の健康状態を解析する。また健康状態の指標であるリラックスレベルとして、心拍数変動の周波数分析による低周波成分(０．０４Ｈｚ〜０．１５Ｈｚ)のパワーと、低周波成分のパワーと高周波成分(０．１５Ｈｚ〜０．４０Ｈｚ)のパワーの合計値との比を用いることができる。

動作仮決定部６０５は、室内にいる人に対して、最も快適な空間を提供するための外部機器の動作を各人ごとに決定し、その優先度を決定する。動作仮決定部６０５は、外部機器の動作決定及び優先度を決定するために、人位置解析部６０２で解析した人位置情報、温度分布解析部６０３で解析した室内の温度マップ情報、及び人の状態解析部６０４で解析された室内の人の状態情報を用いる。このとき決定される外部機器の動作は、各個人にとって最適な操作である。

動作仮決定部６０５は、外部機器の動作決定を快適度であるＰＭＶとリラックスレベルとを用いて行う。まず、ある人のＰＭＶの絶対値が１を超えた場合には、当該人に対してエアコン２の動作を割り当てるものとする。モードは、ＰＭＶが正値ならば冷房、負値ならば暖房であるとする。設定温度は、ＰＭＶの値を元に決定する。例えば、下記数式１又は数式２などに基づいて定めることができる。
設定温度＝室温−ｓｉｇｎ（ＰＭＶ）（ＰＭＶ）^２ ［数式１］
設定温度＝室温−ｓｉｇｎ（ＰＭＶ）｜ＰＭＶ｜ ［数式２］
ここで、優先度はリラックスレベルと一致するものとする。

なお、上記記載は一例であり、季節が夏で、室温が高い場合には、ＰＭＶが負値であっても暖房とはせずに冷房を止める措置を取ることも可能である。季節が冬の場合には、その逆の動作制御を行えばよい。

また、ここでは、ある人のＰＭＶの絶対値が１を超えた場合に不快と感じるものとして、エアコン２の動作を開始したが、絶対値が０．５、または、１．５を超えた場合に不快とするように設定してもよい。これらの設定値は、設計値であり、また、各人が自由に決めることができる仕様としても構わない。

なお、上記動作制御は、所定時間毎に順次行なうことが可能であり、この場合には、所定時間毎に収集されるデータにより、設定温度は順次変更され、各人が快適と感じる値に収束することとなる。

動作競合解消部６０６は、動作仮決定部６０５で決定された動作のうち、各人の間で競合する動作に関して、動作仮決定部６０５で算出された優先度に基づき、外部機器に対してどのような動作を行うかを決定する。決定された動作内容は動作命令送信部６０７及び提示内容送信部６０８に伝送される。なお、競合の発生しない操作については、そのまま動作命令送信部６０７と、提示内容送信部６０８に伝送する。

以下では、動作競合解消部６０６の動作概要を示す。詳細な工程については、図６に基づいて説明する。

競合する動作とは、複数人が近接しているため、動作切り替えなどで人それぞれに対して処理の仕分けができない動作である。例えば、ある室内に存在する人であるＡとＢが、その存在する室内において、エアコン２にＡに対しいては体感温度を下げる制御、Ｂに対しては特に制御は行わないことを動作仮決定部６０５により決定したとする。

ＡとＢとの間が十分離れていて、エアコン２の左右の吹き分け機能によりＡに対する動作がＢに影響を及ぼさない場合は、動作は競合していないとみなせる。
動作が競合していない場合には、動作競合解消部６０６は、動作仮決定部６０５により決定されたエアコン２の制御内容に関する情報（データ）を動作命令送信部６０７に伝送する。また、動作競合解消部６０６は、動作命令送信部６０７に送信した動作内容が室内に対して実行される旨を表示機４に提示させるために、該提示内容に関する情報（データ）を提示内容送信部６０８に伝送する。

一方、ＡとＢとが接近しており、エアコン２のＡに対する措置が、Ｂに影響を及ぼす場合は、動作が競合しているとみなす。このとき動作競合解消部６０６は、ＡとＢとの優先度に基づいて動作を決定する。

仮に、Ａの優先度が高い場合には、動作競合解消部６０６は、動作仮決定部６０５が決定したＡに対するエアコン２の措置に関する情報を動作命令送信部６０７に伝送する。また、動作競合解消部６０６は、動作命令送信部６０７に送信した情報に基づく措置が室内に対して実行される旨を表示機４に表示させるために、提示内容送信部６０８に表示内容に関する情報を伝送する。さらに、動作競合解消部６０６は、Ｂに対して体温を保つ動作、例えば、服を着こむなどの動作を促すことを目的に、その内容をＢの携帯端末３に提示させるために、該提示内容に関する情報を提示内容送信部６０８に伝送する。

また、Ｂの優先度が高い場合には、動作競合解消部６０６は、動作仮決定部６０５が決定したＢに対するエアコン２の措置に関する情報を動作命令送信部６０７に伝送する。また、動作競合解消部６０６は、動作命令送信部６０７に送信した情報に基づく措置が室内に対して実行される旨を表示機４に表示させるために、提示内容送信部６０８に表示内容に関する情報を伝送する。さらに、動作競合解消部６０６は、Ａに対して体温を下げる動作、例えば、扇風機５の風を当てるなどの動作を促すことを目的に、その内容をＢの携帯端末３に提示させるために、該提示内容に関する情報を提示内容送信部６０８に伝送する。

さらに、両者の優先度が拮抗する場合、例えば、ＡとＢの優先度にほとんど差が無く、Ａの優先度が、ほんの少しだけＢの優先度を上回る場合には、動作仮決定部６０５が決定したＡに対するエアコン２の制御内容を、設定温度に対し優先度をファクターとして重み付けした値を新たな冷房の設定温度として、その情報を動作命令送信部６０７に伝送する。また、動作競合解消部６０６は、動作命令送信部６０７に送信した情報に基づく措置が室内に対して実行される旨を表示機４に表示させるために、提示内容送信部６０８に表示内容に関する情報を伝送する。さらに、動作競合解消部６０６は、Ｂに対して体温を保つ動作、例えば、服を着こむなどの動作を促すことを目的に、その内容をＢの携帯端末３に提示させるために、該提示内容に関する情報を提示内容送信部６０８に伝送する。

動作命令送信部６０７は、動作競合解消部６０６で決定された外部機器に対する措置のうち、情報処理装置６とネットワークを介してつながっている外部機器に対して、ネットワークを通じて動作命令を送信する。

提示内容送信部６０８は、動作競合解消部６０６で決定された外部機器に対する措置のうち、情報処理装置６とネットワークを介してつながっていない外部機器に関しては、利用者に外部機器の操作についての行動を提案するための情報を携帯端末３や表示機４に送信する。提示内容送信部６０８から送信される情報は、例えば、扇風機５に対しての措置として、その設置位置、風力及び風向などであり、室内の人に対する措置としては、衣服の着脱に関する指示に関する情報である。

例えば、「冷房運転が設定温度２８度でなされます。」という室内全体に関する制御については、提示内容送信部６０８は、表示機４にその旨を表示するための情報を送信する。また、例えば、「冷房運転がなされます。寒いと感じる場合には、上着を羽織るなどしてください。」と個人に提案する場合には、提示内容送信部６０８は、その提示対象となる携帯端末３に当該情報を送信する。

図６は、この発明の実施の形態１における動作競合解消部の動作手順を示すフローチャートである。ここで、競合動作を解消するために使用する情報は、動作仮決定部６０５で決定した、室内の各人に対する外部機器の動作に関する情報及び各動作の優先度に関する情報である。

図において、ステップＳ１０１は、室内にいる全ての人に対し、各人の優先度順に、行う処理のループ始端の工程である。ステップＳ１０２は、動作決定済みの外部機器同士の動作の競合があるかを判定する工程である。ステップＳ１０３は、外部機器に動作を割り当てる工程である。ステップＳ１０４は、競合する動作の対象となる室内の他人に対し、優先度の差が十分小さいかを判定する工程である。ステップＳ１０５は、競合する動作を持つ外部機器に対して、競合する動作の対象となる室内の複数人に対し、それぞれの快適度を所定のレベルで維持しつつ、お互いの人に対して、競合しない動作を設定する工程である。ステップＳ１０６は、競合した動作に関して、同等の効果を持つ別の動作を行動提示内容として設定する工程である。ステップＳ１０７は、ステップＳ１０１を始端とする処理のループ終端の工程である。ステップＳ１０８は、動作命令送信部６０７へと動作命令を伝送する工程である。ステップＳ１０９は、提示内容送信部６０８へと行動提示内容を伝送する工程である。

最初に、動作競合解消部６０６は、室内にいる全ての人に対して優先度の大きい順に、一人ずつを処理の対象とし、ループ処理を進める。ループ処理の対象となる人全体を母集団にとり、Ｘとする。ループ処理は、優先度の高い人（標本）から順に行われる優先処理となる。

ループ処理は、ステップＳ１０１、ステップＳ１０７をループ端とする処理である（ステップＳ１０１〜Ｓ１０７）。ここでは、簡単に総合優先度の一番大きな人、ここでは仮に甲とする、を対象とするループ処理について説明する。なお、その次に続くループ処理では総合優先度がニ番目に大きな人を対象とし、またその次のループ処理では総合優先度が三番目に大きな人を対象とし、以後、順にループ処理を繰り返す。総合優先度の大きな人の順にひとりずつ処理を繰り返し行っていくが、基本的な考え方は同じなので、ここでは説明を省略する。

最初に、動作決定済みの特定の外部機器が、甲を対象に行う動作について競合が起こっているかどうかを判定する（ステップＳ１０２）。動作の競合は、例えば、エアコン２についていえば、異なる動作モードの設定が要求される場合などに生じていると判断する。なお、動作モードは同じで、単なる設定温度に違いがある場合などには、競合は生じていないと判断する。

また、例えば、扇風機５についていえば、室内に存在する台数以上の扇風機５が要求されていると判定した場合などは、動作の競合が生じていると判断する。また、扇風機５を必要とする人としない人とが近接し、一方に風を当てると、必然的に他方にも風が当たる状況であると判定した場合などは、動作の競合が生じていると判断する。

動作決定済みの特定の外部機器が、甲を対象に行う動作について競合が起こっていないと判断した場合は（ステップＳ１０２：ｎｏ）、甲に対して優先的に外部機器の動作を割り当てる（ステップＳ１０３）。

なお、設定温度などのパラメータが異なる場合には、優先度をファクターとした重み付けをした上で重心位置の計算を行う。例えば、室内に存在するＸの内、一方の標本についての設定温度が２５度で優先度が０．４、他方の標本についての設定温度が２８度で優先度が０．６であった場合には、室内全体の設定温度は、下記数式３により２６．８度となる。
［数式３］
２５×０．４／（０．４＋０．６）＋２８×０．６／（０．４＋０．６）＝２６．８
エアコン２の仕様により、１℃単位の設定温度しか取れない場合には、小数第一位で四捨五入し、２７度とすればよい。

動作決定済みの特定の外部機器が、甲を対象に行う動作について競合が起こっている場合は（ステップＳ１０２：ｙｅｓ）、甲と動作が競合する他人との間で優先度の比較をし、優先度の差が十分小さいかどうかを判定する（ステップＳ１０４）。優先度を比較する対象は、母集団Ｘの標本内で競合する人の集合のうち、優先度が最大の人のみとする。

優先度の差が十分に小さいと判断した場合は（ステップＳ１０４：ｙｅｓ）、外部機器に対して、甲と動作が競合する乙との間でお互いの快適度を満たしつつ、当該外部機器が乙に対して行う動作と競合しないよう設定する（ステップＳ１０５）。

例えば、エアコン２の動作については、動作モードについては、優先度が大きい方を優先し、設定温度については、ステップＳ１０３同様、優先度を重みとした重心計算の値を設定温度とする。

また、例えば、扇風機５に関して、Ｘの内の複数人が扇風機を欲する場合は、優先度上位２名間の優先度で重みづけをした内分点列である円状の扇風機位置候補を、動作競合解消部６０６は算出する。動作競合解消部６０６は、その円状の扇風機位置候補において、扇風機５の首振り角や風量などを考慮して、優先度上位２名に扇風機５の発する風が当たる領域を探索する。

前記領域が存在しない場合、優先度が最も大きい人に対して扇風機５の発する風が当たる任意の場所が、扇風機５の位置として決定される。

前記領域が存在する場合、さらに優先度が次に大きい人にも扇風機５の発する風が当たるような新しい領域を探索する。以降、優先度順に新しい領域の探索を行い、新領域が無くなった場合、直前の探索領域のうち任意の場所を扇風機５の位置として決定する。

さらに、扇風機５に関して、動作競合解消部６０６は、扇風機５の送る風を必要とする人と必要としない人が近接している場合においては、扇風機５の風が必要としない人にあたらないように扇風機５の位置を決定する。

また、動作競合解消部６０６は、扇風機５を必要とする人としない人とが近接し、一方に風を当てると、必然的に他方にも風が当たる状況であると判定した場合などは、扇風機の風量を下げるという決定を行う。

優先度の差が大きい場合（ステップＳ１０４：ｎｏ）、動作競合解消部６０６は、優先度の高い人に対する動作を、そのまま機器の動作として決定する。一方、優先度が低いとみなされた人に対しては、競合した動作に関して、同等の効果を持つ別の動作を行動提示内容として設定する（ステップＳ１０６）。

例えば、優先度が低いとみなされた人に対し、優先度が低いために、当該人の快適度に反してエアコンの温度が下がってしまう場合について以下に記す。このような場合、動作競合解消部６０６は、当該人に対し、長袖を羽織る、という行動提示を決定する。また、当該人の快適度に反してエアコンの温度が上がってしまう場合、扇風機５を当該人に近い位置に配置する、または、室内の温度ムラの原因となっている熱源を取り除く、という行動提示を決定する。

母集団Ｘの全ての標本に対してのループ処理が行われた後（ステップＳ１０７）、動作競合解消部６０６は、ループ処理内で決定した動作命令を、動作命令送信部６０７へと伝送する（ステップＳ１０８）。伝送される動作命令は、決定された外部機器の動作処理のうち、情報処理装置６とネットワークを介してつながっている外部機器が行う動作処理についてである。

次に、動作競合解消部６０６は、ループ処理内で決定した行動提示内容に関する情報を、提示内容送信部６０８へと伝送する（ステップＳ１０９）。表示機４に伝送される情報は、室内全体の環境に影響を及ぼすものであり、携帯端末３に伝送される情報は、その所有者の体感に影響を及ぼすものである。

以上説明したように、本実施の形態における機器制御システムによれば、室内に複数の人がいる場合に、各人に対し効率的で、かつ快適な環境をもたらすための家電機器の動作を提供できる。

また、各人の間で、家電機器の動作に競合が生じた場合には、その解消のための情報を、ネットワークを通じて家電機器解に伝送することで、各人に対し効率的で、かつ快適な環境をもたらすための家電機器の動作を提供できる。

また、ネットワークにつながっていない家電機器に対する動作については、ネットワークにつながった家電機器の表示部を利用して、各人に操作提案することで、各人に対し効率的で、かつ快適な環境をもたらすための家電機器の動作を提供できる。

実施の形態２．
図７は、この発明の実施の形態２における情報処理装置の構成の一例を示すブロック図である。図において、上記実施の形態における情報処理装置の構成とは、情報処理装置６が受信データ記憶部６０９を備える点が異なる。受信データ記憶部６０９は、受信部６０１が取得した情報、並びに、人位置解析部６０２及び人の状態解析部６０４が解析した情報を記憶する機能を持つ。また、受信データ記憶部６０９は、人位置解析部６０２、人の状態解析部６０４、及び動作仮決定部６０５からの要請で前記記憶した情報をそれぞれのブロックに伝送する機能を持つ。

この構成によると、人位置解析部６０２、人の状態解析部６０４、及び動作仮決定部６０５が、各々の入力として、受信データ記憶部６０９に記憶されている情報も利用することができる点が上記実施の形態１と異なる。

人位置解析部６０２は、過去の所定の時刻における人位置の検出データを受信データ記憶部６０９から取得することができる。本実施の形態において人位置解析部６０２は、実施の形態１での入力情報に追加して、過去の所定の時刻における人位置の検出データと、ルールベースの処理、例えば「室内に急に人が現れたり消えたりはしない」などといったルール、とを組み合わせることで、より正確な現在時刻における人の位置の解析が可能となる。

また、人位置解析部６０２は、過去の所定の時刻における人の位置情報を受信データ記憶部６０９から取得することで、人の位置情報だけでなく、人の移動経路を人の状態解析部６０４に伝送することができる。

人の状態解析部６０４は、人の移動経路、並びに、過去の所定の時刻において検出した室内の人の携帯端末所有者情報及び人領域の対応関係を受信データ記憶部６０９から取得することができる。

本実施の形態において人の状態解析部６０４は、実施の形態１での入力情報に追加して、人の移動経路、並びに、過去の所定の時刻において検出した人の位置及び携帯端末所有者情報との関連付けデータを利用して、ある時刻の画像において、顔の映っていない人と携帯端末所有者情報との関連付けを行うことができる。

動作仮決定部６０５は、人の移動経路と、人の状態の時系列による変化とを含む、時系列データを受信データ記憶部６０９から取得することができる。

本実施の形態において、動作仮決定部６０５は、実施の形態１での入力情報に追加して、さらに情報処理装置６が、受信データ記憶部６０９をもつことにより、動作仮決定部６０５は、室内の各人の状態の時系列データを新たに入力情報として利用できる。そのため、時系列データを用い、線形回帰などの演算を行うことで、例えば、数分先の人の状態を予測できるようになる。人の状態を予測した結果、人の快適度が大幅に低下した状態になることが判明した場合、前記状態になることを未然に防ぐ外部機器の動作を動作仮決定部６０５が決定することができる。

例えば、ある人のＰＭＶの値が、１を超えないものの上昇傾向にある場合に、暖房の設定温度を低下させることで、ＰＭＶの上昇を抑制することができ、当該人がより快適だと思える環境を効率的に提供することができる。

以上によれば、本実施の形態では、受信データ記憶部が過去に取得した外部機器の情報を蓄積することで、実施の形態１より正確な人の移動経路と、室内の温度マップと、人の状態とを含む、時系列データを取得できる。また時系列データから予測した人の状態を基に各外部機器の動作を決定できるので、室内の複数人に対して、人の快適度が大幅に低下することを未然に防ぐことができ、それぞれの人がより快適だと思える環境を効率的に提供することができる。

実施の形態３．
図８は、この発明の実施の形態３における情報処理装置の構成の一例を示すブロック図である。図において、上記実施の形態における情報処理装置の構成とは、情報処理装置６が室内監視部６１０を備える点が異なる。

室内監視部６１０は、提示内容送信部６０８が提示内容を携帯端末３と表示機４とに送信した後に、前記提示内容に沿った行動を室内の人が実際に行ったかどうかを、受信部６０１が取得した情報を用いて監視する機能を持つ。

また、室内監視部６１０は、室内の人が前記提示内容に沿った行動を行っていない場合には、動作仮決定部６０５に、室内の人に対して、最も快適な空間を提供するための外部機器の動作を室内の各人ごとに決定し、その優先度を算出するという動作を実行させる機能を持つ。なお、前記動作仮決定部６０５の動作においては、室内の人が前記提示内容に沿った行動を行っていない機器については、動作決定の対象外であるとする。提示内容送信部６０８から送信された情報に基づく行動がなされたか否かを検証し、動作仮決定部６０５にフィードバックする処理を行う点が、上記実施の形態とは異なる。

例えば、特定の人に対し、携帯端末３の表示画面を通じて「長袖の着用」という行動を促したとする。所定時間が経過後に、当該人の服装を赤外線センサ画像に基づいて検証する。この場合、例えば、体温に近い温度を示す温度分布が両腕でどの程度の面積を占めているか等を基準に検証すればよい。

また、例えば、室内におかれた表示機４に、扇風機５の位置を変えるように促す表示を行ったとする。この場合、例えば、所定時間が経過後に、変えるよう促した位置に扇風機があるかどうかを画像情報に基づいて検証する。この場合、予め扇風機５の形状を情報処理装置６の記憶部に記憶しておき、その形状に沿った画像が画面のどこに存在するかに基づいて、扇風機５の位置を判断すればよい。

以上説明したように、本実施の形態では、行動提示の後に、その行動が行われたか否かを検証し、その結果を動作仮決定部にフィードバックすることで、提示した行動内容が室内にいる人に対し受け入れられなかった場合であっても、当該行動を行動提示対象から除外したうえで、室内の人に対して、最も快適な空間を提供するための外部機器の動作を決定することができる。

１ 家電機器制御システム
２ エアコン
２０１ 通信部
２０２ 温度センサ
２０３ 湿度センサ
２０４ カメラ
２０５ 赤外線カメラ
２０６ 空気調和部
３ 携帯端末
３０１ 通信部
３０２ 提示部
３１０ バイタルサイン計測機
３１１ 通信部
３１２ バイタルサイン取得部
４ 表示機
４０１ 通信部
４０２ 提示部
５ 扇風機
６ 情報処理装置
６０１ 受信部
６０２ 人位置解析部
６０３ 温度分布解析部
６０４ 人の状態解析部
６０５ 動作仮決定部
６０６ 動作競合解消部
６０７ 動作命令送信部
６０８ 提示内容送信部
６０９ 受信データ記憶部
６１０ 室内監視部

Claims (5)

1. 所定のセンサを有する家電機器と、
   携帯端末と、
   前記家電機器及び前記携帯端末と双方向通信可能な情報処理装置と、
   を備えた機器制御システムにおいて、
   前記情報処理装置は、
   前記センサが取得した情報又は前記携帯端末が有する情報を受信する受信部と、
   前記受信部が受信した情報を蓄積する蓄積部と、
   当該蓄積した情報又は前記受信した情報から所定の空間に居る人の位置情報を解析する人位置解析部と、
   前記蓄積した情報又は前記受信した情報から前記所定の空間の環境を解析する環境解析部と、
   前記蓄積した情報又は前記受信した情報から前記所定の空間に居る人の状態を解析する人状態解析部と、
   前記人位置解析部が解析した結果、前記環境解析部が解析した結果、前記人状態解析部が解析した結果、前記人の位置情報、前記空間の環境及び前記人の状態に基づいて前記所定の空間に居る人に対して前記家電機器の動作を各人ごとに決定し、さらに前記所定の空間に居る人の中での優先度を各人について決定する動作仮決定部と
   を備え、
   前記動作仮決定部で決定された前記家電機器の動作の間に競合する動作がある場合、前記家電機器の動作が競合する人のうち前記優先度の高い人に対する前記家電機器の動作として前記動作仮決定部が決定した前記家電機器の動作をするように指示しつつ前記優先度が低い人に対して前記情報処理装置と双方向通信を行わない外部機器を動作させるか又は人の行動を促す内容を指示することを特徴とする機器制御システム。
2. 前記情報処理装置と双方向通信可能な表示装置又は前記携帯端末の表示部に対し、双方向通信を行わない前記外部機器の制御に関する情報を表示することを特徴とする請求項１に記載の機器制御システム。
3. 前記情報処理装置と双方向通信可能な表示装置又は前記携帯端末の表示部に対し、前記人の行動に関する情報を表示することを特徴とする請求項１に記載の機器制御システム。
4. 前記情報処理装置と双方向通信可能な表示装置又は前記携帯端末の表示部に表示された情報の実施状況を検証し、検証した結果に基づいて双方向通信を行わない前記外部機器を制御することを特徴とする請求項２又は請求項３に記載の機器制御システム。
5. 所定のセンサを有する家電機器及び携帯端末と双方向通信可能な情報処理装置が、前記家電機器を制御する機器制御方法であって、
   前記センサが取得した情報又は前記携帯端末が有する情報を受信し、
   当該受信した情報を蓄積し、
   当該蓄積した情報又は前記受信した情報から所定の空間に居る人の位置情報を解析し、
   前記蓄積した情報又は前記受信した情報から前記所定の空間の環境を解析し、
   前記蓄積した情報又は前記受信した情報から前記所定の空間に居る人の状態を解析し、
   これらの解析結果、前記人の位置情報、前記空間の環境及び前記人の状態に基づいて前記所定の空間に居る人に対して前記家電機器の動作を各人ごとに決定し、
   さらに前記所定の空間に居る人の中での優先度を各人について決定し、
   各人ごとに決定された前記家電機器の動作の間に競合する動作がある場合、前記家電機器の動作が競合する人のうち前記優先度の高い人に対する前記家電機器の動作として決定した前記家電機器の動作をするように指示しつつ前記優先度が低い人に対して前記情報処理装置と双方向通信を行わない外部機器を動作させるか又は人の行動を促す内容を指示することを特徴とする機器制御方法。

Images