JP6987314B2 - 室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機 - Google Patents

Description

この発明は、対象領域の中で、窓が在る領域を判定する室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機に関するものである。

以下の特許文献１には、画像情報に含まれている複数の画素におけるそれぞれの輝度と輝度閾値とを比較し、輝度閾値よりも大きな輝度を有する画素を含む領域を、窓領域として検出する窓検出方法が開示されている。
特許文献１に開示されている窓検出方法では、例えば、太陽光によって空調室の全体が明るく照らされているときには、空調室の壁面と窓との区別ができるように輝度閾値が高めに設定される。また、例えば、窓にカーテンがかけられて、空調室の全体が暗いときには、輝度閾値が低めに設定される。

特開２０１７−４４３７３号公報

画像情報に含まれている複数の画素における輝度は、外気温に応じても変動する。しかし、特許文献１に開示されている窓検出方法では、外気温とは無関係に輝度閾値が設定されるため、窓領域も外気温と無関係に検出される。したがって、当該窓検出方法では、外気温が変化すると、窓領域の誤検出を生じることがあるという課題があった。

この発明は上記のような課題を解決するためになされたもので、外気温が変化しても、窓領域の誤検出を防ぐことができる室内レイアウト推定装置を得ることを目的とする。

この発明に係る室内レイアウト推定装置は、対象領域を撮像している赤外線カメラから出力された画像に含まれている複数の画素のそれぞれの評価値として、複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部と、画像に含まれている複数の画素のうち、類似度算出部により算出された評価値が第１の閾値よりも大きい画素を含む領域が、画像の中で、窓が在る領域であると判定する窓領域判定部とを備えるようにしたものである。

この発明によれば、外気温が変化しても、窓領域の誤検出を防ぐことができる。

実施の形態１に係る室内レイアウト推定装置２を含む空気調和機を示す構成図である。 実施の形態１に係る室内レイアウト推定装置２を示す構成図である。 実施の形態１に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。 実施の形態１に係る標準偏差算出部１４の内部を示す構成図である。 室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 室内レイアウト推定装置２の処理手順である室内レイアウト推定方法を示すフローチャートである。 過去１２時間分の画像Ｇ_ｍのそれぞれに含まれている複数の画素ｐ_１〜ｐ_Ｎのうち、窓領域Ｗ_ｍに含まれている或る１つの画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍの時間的な推移の一例を示す説明図である。 類似度算出部１２による評価値Ｓ_１〜Ｓ_Ｎの算出結果の一例を示す説明図である。 窓領域判定部１３による窓領域Ｗ_ｍの判定結果の一例を示す説明図である。 Ｍ個の撮像画像Ｇ_１〜Ｇ_Ｍのうち、ある１つの画像Ｇ_ｍの一例を示す説明図である。 Ｍ個の撮像画像Ｇ_１〜Ｇ_Ｍのうち、ある１つの画像Ｇ_ｍにおける背景領域Ｂ_ｍと前景領域Ｆ_ｍとを示す説明図である。 Ｍ個の画像Ｇ_１〜Ｇ_Ｍにおける前景領域Ｆ_１〜Ｆ_Ｍ内の下端の画素を示す説明図である。 床領域判定部１６による床領域Ｙ_ｍの判定結果の一例を示す説明図である。 床面と壁面との境界線、床領域Ｙ_ｍ、及び窓領域Ｗ_ｍを示す説明図である。 実施の形態３に係る室内レイアウト推定装置２を示す構成図である。 実施の形態３に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る室内レイアウト推定装置２を含む空気調和機を示す構成図である。
図１において、赤外線カメラ１は、一定の時間間隔Δｔで、対象領域を繰り返し撮像し、対象領域を撮像した画像として、撮像時刻ｔが互いに異なるＭ個の画像Ｇ_１〜Ｇ_Ｍを室内レイアウト推定装置２に出力する。Ｍは、２以上の整数である。
一定の時間間隔Δｔは、例えば、１秒間に１０フレーム〜１秒間に６０フレームのうちの、いずれかのフレームレートでの撮像を可能とする時間間隔である。

対象領域は、後述するエアコン４により空気が調整される部屋の一部又は全体であり、対象領域には、窓、床、壁及び人間のほか、机、パソコン等が存在している。
対象領域は、固定されているため、Ｍ個の画像Ｇ_１〜Ｇ_Ｍは、同一の対象領域が撮像されている画像である。
画像Ｇ_ｍ（ｍ＝１，・・・，Ｍ）は、ｘ軸と平行な方向（以下、「ｘ方向」と称する）と、ｙ軸と平行な方向（以下、「ｙ方向」と称する）とで表される２次元平面の画像である。例えば、画像Ｇ_ｍのｘ方向は、対象領域が存在している空間の任意の水平方向に相当し、画像Ｇ_ｍのｙ方向は、対象領域が存在している空間の鉛直方向に相当する。なお、本明細書において、「平行」は、厳密な意味での平行に限らず、略平行を含んでいる。
画像Ｇ_ｍは、Ｎ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍを含んでおり、画素ｐ_１，ｍ〜ｐ_Ｎ，ｍにおけるそれぞれの画素値ｐｄ_１，ｍ〜ｐｄ_Ｎ，ｍは、温度を示すものである。Ｎは、２以上の整数である。
例えば、Ｍ個の画像Ｇ_１〜Ｇ_Ｍのそれぞれに含まれている画素ｐ_１，１〜ｐ_１，Ｍは、画素位置が互いに同一の画素であり、画像Ｇ_１〜Ｇ_Ｍのそれぞれに含まれている画素ｐ_２，１〜ｐ_２，Ｍは、画素位置が互いに同一の画素である。同様に、例えば、画像Ｇ_１〜Ｇ_Ｍのそれぞれに含まれている画素ｐ_Ｎ，１〜ｐ_Ｎ，Ｍは、画素位置が互いに同一の画素である。

室内レイアウト推定装置２は、赤外線カメラ１から出力されたＭ個の画像Ｇ_１〜Ｇ_Ｍに基づいて、対象領域の中で、窓が在る領域（以下、「窓領域」と称する）、床が在る領域（以下、「床領域」と称する）及び壁が在る領域（以下、「壁領域」と称する）のそれぞれを判定する。
室内レイアウト推定装置２は、窓領域の判定結果、床領域の判定結果及び壁領域の判定結果のそれぞれを制御部３に出力する。

制御部３は、室内レイアウト推定装置２から出力された判定結果に基づいて、例えば、エアコン４を制御することで、対象領域内の空気を調整する。
エアコン４は、対象領域内の空気を調整する機器である。
図１に示す空気調和機では、制御部３が、エアコン４を制御することで、対象領域内の空気を調整している。しかし、これは一例に過ぎず、制御部３が、扇風機、床暖房機又はパネルヒータ等の機器を制御することで、対象領域内の空気を調整するようにしてもよい。

図２は、実施の形態１に係る室内レイアウト推定装置２を示す構成図である。
図３は、実施の形態１に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。
室内レイアウト推定装置２は、画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、床領域判定部１６及び壁領域判定部１７を備えている。

画像記憶部１０は、例えば、図３に示す画像記憶回路２０によって実現される。
画像記憶部１０は、赤外線カメラ１から出力されたＭ個の画像Ｇ_１〜Ｇ_Ｍを記憶する。
外気温記憶部１１は、例えば、図３に示す外気温記憶回路２１によって実現される。
外気温記憶部１１は、例えば、温度計によって、一定の時間間隔Δｔ’で測定された、測定時刻ｔが互いに異なるＭ個の外気温Ｔ_１〜Ｔ_Ｍを記憶する。
外気温Ｔ_ｍ（ｍ＝１，・・・，Ｍ）は、対象領域を含む建物の外部の気温であり、対象領域と、建物の外部との間には、窓が存在している。
図２に示す室内レイアウト推定装置２では、外気温記憶部１１が、温度計によって測定された外気温Ｔ_１〜Ｔ_Ｍを記憶している。しかし、これは一例に過ぎず、室内レイアウト推定装置２の図示せぬ通信部が、例えば、気象データを配信しているインターネット上のサイトから、対象領域を含む建物付近の気温のデータをダウンロードし、外気温記憶部１１が、当該気温のデータを外気温Ｔ_１〜Ｔ_Ｍとして記憶するようにしてもよい。

Ｍ個の外気温Ｔ_１〜Ｔ_Ｍにおける測定の時間間隔Δｔ’と、Ｍ個の画像Ｇ_１〜Ｇ_Ｍにおける撮像の時間間隔Δｔとは、同一である。したがって、ｍ番目の外気温Ｔ_ｍの測定時刻ｔ’と、ｍ番目の画像Ｇ_ｍの撮像時刻ｔとは、同一時刻である。
ただし、測定の時間間隔Δｔ’と撮像の時間間隔Δｔとは、厳密に同一であるものに限るものではなく、実用上問題のない範囲で、測定の時間間隔Δｔ’と撮像の時間間隔Δｔとが互いに異なっていてもよい。また、ｍ番目の測定時刻ｔ’と、ｍ番目の撮像時刻ｔとは、厳密に同一であるものに限るものではなく、実用上問題のない範囲で、ｍ番目の測定時刻ｔ’と、ｍ番目の撮像時刻ｔとが互いに異なっていてもよい。

類似度算出部１２は、例えば、図３に示す類似度算出回路２２によって実現される。
類似度算出部１２は、画像記憶部１０に記憶されているＭ個の画像Ｇ_１〜Ｇ_Ｍを取得する。
類似度算出部１２は、画像Ｇ_ｍに含まれているＮ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍのそれぞれの評価値Ｓ_１〜Ｓ_Ｎとして、Ｎ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍにおけるそれぞれの画素値ｐｄ_１，ｍ〜ｐｄ_Ｎ，ｍの時間的な推移と、外気温記憶部１１に記憶されている外気温Ｔ_ｍの時間的な推移との類似度を算出する。
類似度算出部１２は、算出したそれぞれの評価値Ｓ_１〜Ｓ_Ｎを窓領域判定部１３に出力する。

窓領域判定部１３は、例えば、図３に示す窓領域判定回路２３によって実現される。
窓領域判定部１３は、画像記憶部１０に記憶されているＭ個の画像Ｇ_１〜Ｇ_Ｍのうち、いずれか１つの画像Ｇ_ｍを取得する。
窓領域判定部１３は、取得した画像Ｇ_ｍに含まれているＮ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍのうち、類似度算出部１２により算出された評価値Ｓ_ｎ（ｎ＝１，・・・，Ｎ）が第１の閾値Ｔｈ_１よりも大きい画素を含む領域が、画像Ｇ_ｍの中の窓領域Ｗ_ｍであると判定する。外気温Ｔ_ｍの時間的な推移との類似度が高いほど、窓領域Ｗ_ｍの可能性が高いため、評価値Ｓ_ｎが第１の閾値Ｔｈ_１よりも大きい画素を含む領域は、画像Ｇ_ｍの中の窓領域Ｗ_ｍであると判定される。第１の閾値Ｔｈ_１は、例えば、窓領域判定部１３の内部メモリに格納されていてもよいし、図２に示す室内レイアウト推定装置２の外部から与えられるものであってもよい。
窓領域判定部１３は、窓領域Ｗ_ｍの判定結果として、例えば、窓領域Ｗ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。

標準偏差算出部１４は、図４に示すように、画素群特定部１４ａ及び偏差算出処理部１４ｂを備えている。
標準偏差算出部１４は、例えば、図３に示す標準偏差算出回路２４によって実現される。
標準偏差算出部１４は、画像記憶部１０に記憶されているＭ個の画像Ｇ_１〜Ｇ_Ｍを取得する。
標準偏差算出部１４は、Ｍ個の画像Ｇ_１〜Ｇ_Ｍのそれぞれに含まれている画素ｐ_１，１〜ｐ_Ｎ，１、ｐ_１，２〜ｐ_Ｎ，２、・・・、ｐ_１，Ｍ〜ｐ_Ｎ，Ｍの中で、画素位置が同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれの評価値ｖ_１〜ｖ_Ｎを算出する。
画素群（１）は、画素ｐ_１，１、ｐ_１，２、・・・、ｐ_１，Ｍを含んでおり、画素群（２）は、画素ｐ_２，１、ｐ_２，２、・・・、ｐ_２，Ｍを含んでいる。また、画素群（Ｎ）は、画素ｐ_Ｎ，１、ｐ_Ｎ，２、・・・、ｐ_Ｎ，Ｍを含んでいる。
標準偏差算出部１４は、画素群（ｎ）（ｎ＝１，・・・，Ｎ）の評価値ｖ_ｎとして、例えば、画素群（ｎ）に含まれているＭ個の画素ｐ_ｎ，１〜ｐ_ｎ，Ｍにおける画素値ｐｄ_ｎ，１〜ｐｄ_ｎ，Ｍの標準偏差を算出する。
標準偏差算出部１４は、算出したそれぞれの評価値ｖ_１〜ｖ_Ｎを前景領域判定部１５に出力する。

図４は、実施の形態１に係る標準偏差算出部１４の内部を示す構成図である。
画素群特定部１４ａは、画像記憶部１０に記憶されているＭ個の画像Ｇ_１〜Ｇ_Ｍを取得する。
画素群特定部１４ａは、Ｍ個の画像Ｇ_１〜Ｇ_Ｍのそれぞれに含まれている画素ｐ_１，１〜ｐ_Ｎ，１、ｐ_１，２〜ｐ_Ｎ，２、・・・、ｐ_１，Ｍ〜ｐ_Ｎ，Ｍの中で、画素位置が互いに同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する。
偏差算出処理部１４ｂは、画素群特定部１４ａにより特定されたそれぞれの画素群（１）〜（Ｎ）の評価値ｖ_１〜ｖ_Ｎとして、それぞれの画素群（１）〜（Ｎ）に含まれているＭ個の画素ｐ_ｎ，１〜ｐ_ｎ，Ｍにおける画素値ｐｄ_ｎ，１〜ｐｄ_ｎ，Ｍの標準偏差を算出する。
偏差算出処理部１４ｂは、算出したそれぞれの評価値ｖ_１〜ｖ_Ｎを前景領域判定部１５に出力する。

前景領域判定部１５は、例えば、図３に示す前景領域判定回路２５によって実現される。
前景領域判定部１５は、Ｎ個の画素群（１）〜（Ｎ）の中で、標準偏差算出部１４により算出された評価値ｖ_ｎ（ｎ＝１，・・・，Ｎ）が第２の閾値Ｔｈ_２よりも大きい画素群（ｎ）を特定する。
第２の閾値Ｔｈ_２は、例えば、前景領域判定部１５の内部メモリに格納されていてもよいし、図２に示す室内レイアウト推定装置２の外部から与えられるものであってもよい。
前景領域判定部１５は、それぞれの画像Ｇ_ｍに含まれているＮ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍのうち、特定した画素群（ｎ）に含まれている画素ｐ_ｎ，ｍを含む領域が、それぞれの画像Ｇ_ｍの中の前景領域Ｆ_ｍであると判定する。
前景領域判定部１５は、前景領域Ｆ_ｍの判定結果として、例えば、前景領域Ｆ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを床領域判定部１６に出力する。
前景領域は、人間又は動物等の移動体が在る領域である。

前景領域Ｆ_ｍは、画像Ｇ_ｍの中で、背景領域Ｂ_ｍ以外の領域である。したがって、前景領域判定部１５は、先に背景領域Ｂ_ｍを判定し、その後、前景領域Ｆ_ｍを判定するようにしてもよい。この場合、前景領域判定部１５は、まず、Ｎ個の画素群（１）〜（Ｎ）の中で、標準偏差算出部１４により算出された評価値ｖ_ｎが第２の閾値Ｔｈ_２以下の画素群（ｎ）を特定する。そして、前景領域判定部１５は、それぞれの撮像画像Ｇ_ｍに含まれている画素ｐ_１，ｍ〜ｐ_Ｎ，ｍのうち、特定した画素群（ｎ）に含まれている画素ｐ_ｎ，ｍを含む領域が、それぞれの撮像画像Ｇ_ｍの中の背景領域Ｂ_ｍであると判定する。そして、前景領域判定部１５は、撮像画像Ｇ_ｍの中で、背景領域Ｂ_ｍ以外の領域が、前景領域Ｆ_ｍであると判定するようにしてもよい。

床領域判定部１６は、例えば、図３に示す床領域判定回路２６によって実現される。
床領域判定部１６は、前景領域判定部１５により判定されたそれぞれの前景領域Ｆ_ｍに含まれている複数の画素ｐ_ｎ，ｍの中で、画像Ｇ_ｍのｙ方向で下端の位置に存在している画素を床領域画素として特定する。前景領域Ｆ_ｍが、例えば、人間が在る領域であれば、前景領域Ｆ_ｍ内の下端の位置は、人間の足元の位置に対応し、人間の足元の位置は、床の位置に対応する。
床領域判定部１６は、それぞれの前景領域Ｆ_ｍに含まれている床領域画素の全てを含む領域が、それぞれの画像Ｇ_ｍの中の床領域Ｙ_ｍであると判定する。
前景領域Ｆ_ｍに含まれている複数の画素ｐ_ｎ，ｍのうち、画像Ｇ_ｍのｙ方向で下端の位置に存在している画素は、前景領域Ｆ_ｍに含まれている複数の画素ｐ_ｎ，ｍのうち、ｘ座標が同一の複数の画素の中で、ｙ座標が最も小さい画素である。
床領域判定部１６は、床領域Ｙ_ｍの判定結果として、例えば、床領域Ｙ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。

壁領域判定部１７は、例えば、図３に示す壁領域判定回路２７によって実現される。
壁領域判定部１７は、窓領域判定部１３により判定された窓領域Ｗ_ｍと、床領域判定部１６により判定された床領域Ｙ_ｍとに基づいて、対象領域の中の壁領域Ｋ_ｍを判定する。壁領域Ｋ_ｍの判定方法は、後述する。
壁領域判定部１７は、壁領域Ｋ_ｍの判定結果として、例えば、壁領域Ｋ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを制御部３に出力する。

図２では、室内レイアウト推定装置２の構成要素である画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、床領域判定部１６及び壁領域判定部１７のそれぞれが、図３に示すような専用のハードウェアによって実現されるものを想定している。即ち、室内レイアウト推定装置２が、画像記憶回路２０、外気温記憶回路２１、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、床領域判定回路２６及び壁領域判定回路２７によって実現されるものを想定している。

ここで、画像記憶回路２０及び外気温記憶回路２１のそれぞれは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）が該当する。
また、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、床領域判定回路２６及び壁領域判定回路２７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。

室内レイアウト推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、室内レイアウト推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。
図５は、室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、画像記憶部１０及び外気温記憶部１１のそれぞれがコンピュータのメモリ３１上に構成される。類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、床領域判定部１６及び壁領域判定部１７の処理手順をコンピュータに実行させるためのプログラムがメモリ３１に格納される。そして、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行する。

また、図３では、室内レイアウト推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図５では、室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、室内レイアウト推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。

次に、図１に示す空気調和機の動作について説明する。
赤外線カメラ１は、一定の時間間隔Δｔで、対象領域を繰り返し撮像し、対象領域の画像として、撮像時刻ｔが互いに異なるＭ個の画像Ｇ_１〜Ｇ_Ｍを室内レイアウト推定装置２に出力する。
赤外線カメラ１から出力されたＭ個の画像Ｇ_１〜Ｇ_Ｍは、室内レイアウト推定装置２の画像記憶部１０に記憶される。画像記憶部１０には、例えば、過去２４時間分の画像Ｇ_ｍが記憶される。

図６は、室内レイアウト推定装置２の処理手順である室内レイアウト推定方法を示すフローチャートである。
類似度算出部１２は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ_１〜Ｇ_Ｍを取得する。
現在の時刻が例えば１９時００分であれば、類似度算出部１２は、画像記憶部１０から、１９時００分を起点として、例えば過去１２時間分の画像Ｇ_ｍを取得する。
図７は、過去１２時間分の画像Ｇ_ｍのそれぞれに含まれているＮ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍのうち、窓領域Ｗ_ｍに含まれている或る１つの画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍの時間的な推移の一例を示す説明図である。

また、類似度算出部１２は、外気温記憶部１１から、測定時刻ｔ’が互いに異なるＭ個の外気温Ｔ_１〜Ｔ_Ｍを取得する。
現在の時刻が１９時００分であれば、類似度算出部１２は、外気温記憶部１１から、１９時００分を起点として、過去１２時間分の外気温Ｔ_ｍを取得する。
ここでは、類似度算出部１２が、過去１２時間分の画像Ｇ_ｍを取得し、過去１２時間分の外気温Ｔ_ｍを取得している。しかし、これは一例に過ぎず、類似度算出部１２が、例えば、過去２４時間分の画像Ｇ_ｍを取得し、過去２４時間分の外気温Ｔ_ｍを取得するようにしてもよい。

類似度算出部１２は、画像Ｇ_ｍに含まれているＮ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍのそれぞれの評価値Ｓ_１〜Ｓ_Ｎとして、Ｎ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍにおけるそれぞれの画素値ｐｄ_１，ｍ〜ｐｄ_Ｎ，ｍの時間的な推移と、外気温Ｔ_ｍの時間的な推移との類似度を算出する（図６のステップＳＴ１）。
例えば、画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍの時間的な推移と、外気温Ｔ_ｍの時間的な推移との類似度である評価値Ｓ_ｎは、例えば、以下の式（１）のように表される。

図２に示す室内レイアウト推定装置２では、類似度算出部１２が、画素ｐ_ｎ，ｍの評価値Ｓ_ｎとして、式（１）で表される類似度を算出している。しかし、画素ｐ_ｎ，ｍの評価値Ｓ_ｎとして、画素値ｐｄ_ｎ，ｍの時間的な推移と、外気温Ｔ_ｍの時間的な推移との類似度を算出することができればよく、式（１）で表される類似度に限るものではない。
図８は、類似度算出部１２による評価値Ｓ_１〜Ｓ_Ｎの算出結果の一例を示す説明図である。図８において、黒色に近い領域ほど、類似度である評価値Ｓ_ｎが高い領域であることを示している。
類似度算出部１２は、算出したそれぞれの評価値Ｓ_１〜Ｓ_Ｎを窓領域判定部１３に出力する。

窓領域判定部１３は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ_１〜Ｇ_Ｍのうち、いずれか１つの画像Ｇ_ｍを取得する。窓領域判定部１３が取得する１つの画像Ｇ_ｍは、Ｍ個の画像Ｇ_１〜Ｇ_Ｍのうちのいずれの画像であってもよい。窓領域判定部１３は、例えば、撮像時刻ｔが最新の時刻の画像Ｇ_Ｍを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像Ｇ_Ｍ−１を取得してもよい。
窓領域判定部１３は、類似度算出部１２により算出されたそれぞれの評価値Ｓ_１〜Ｓ_Ｎと、第１の閾値Ｔｈ_１とを比較する。
窓領域判定部１３は、取得した画像Ｇ_ｍに含まれている画素ｐ_ｎ，ｍの評価値Ｓ_ｎが第１の閾値Ｔｈ_１よりも大きければ（図６のステップＳＴ２：ＹＥＳの場合）、画素ｐ_ｎ，ｍが、窓領域Ｗ_ｍ内の画素であると判定する（図６のステップＳＴ３）。
画素ｐ_ｎ，ｍの評価値Ｓ_ｎが第１の閾値Ｔｈ_１以下であれば（図６のステップＳＴ２：ＮＯの場合）、画素ｐ_ｎ，ｍは、窓領域Ｗ_ｍ外の画素である。

窓領域判定部１３は、取得した画像Ｇ_ｍに含まれているＮ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍの中で、窓領域Ｗ_ｍ内の画素であると判定した全ての画素ｐ_ｎ，ｍを含む領域が、画像Ｇ_ｍの中の窓領域Ｗ_ｍであると判定する（図６のステップＳＴ４）。
図９は、窓領域判定部１３による窓領域Ｗ_ｍの判定結果の一例を示す説明図である。図９において、斜線が施されている領域は、窓領域Ｗ_ｍである。なお、図９では、白色に近い領域ほど、温度が高い領域である。
窓領域判定部１３は、窓領域Ｗ_ｍの判定結果として、例えば、窓領域Ｗ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。

標準偏差算出部１４の画素群特定部１４ａは、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ_１〜Ｇ_Ｍを取得する。
画素群特定部１４ａは、Ｍ個の画像Ｇ_１〜Ｇ_Ｍのそれぞれに含まれている画素ｐ_１，１〜ｐ_Ｎ，１、ｐ_１，２〜ｐ_Ｎ，２、・・・、ｐ_１，Ｍ〜ｐ_Ｎ，Ｍの中で、画素位置が互いに同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する。
Ｍ個の画像Ｇ_１〜Ｇ_Ｍのそれぞれに含まれている画素ｐ_１，１〜ｐ_Ｎ，１、ｐ_１，２〜ｐ_Ｎ，２、・・・、ｐ_１，Ｍ〜ｐ_Ｎ，Ｍの中で、例えば、Ｍ個の画素ｐ_ｎ，１〜ｐ_ｎ，Ｍは、画素位置が互いに同一の画素であり、画素群（ｎ）に含まれている。

標準偏差算出部１４の偏差算出処理部１４ｂは、以下の式（２）に示すように、画素群特定部１４ａにより特定された画素群（ｎ）の評価値ｖ_ｎとして、画素群（ｎ）に含まれているＭ個の画素ｐ_ｎ，１〜ｐ_ｎ，Ｍにおける画素値ｐｄ_ｎ，１〜ｐｄ_ｎ，Ｍの標準偏差を算出する（図６のステップＳＴ５）。

偏差算出処理部１４ｂは、算出したそれぞれの評価値ｖ_１〜ｖ_Ｎを前景領域判定部１５に出力する。

前景領域判定部１５は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ_１〜Ｇ_Ｍを取得する。
前景領域判定部１５は、標準偏差算出部１４により算出されたそれぞれの評価値ｖ_１〜ｖ_Ｎと第２の閾値Ｔｈ_２とを比較する。
前景領域判定部１５は、Ｎ個の画素群（１）〜（Ｎ）の中で、評価値ｖ_ｎ（ｎ＝１，・・・，Ｎ）が第２の閾値Ｔｈ_２よりも大きければ（図６のステップＳＴ６：ＹＥＳの場合）、画素群（ｎ）に含まれている画素ｐ_ｎ，ｍが、前景領域Ｆ_ｍ内の画素であると判定する（図６のステップＳＴ７）。
複数の画素群（１）〜（Ｎ）の中で、評価値ｖ_ｎが第２の閾値Ｔｈ_２以下であれば（図６のステップＳＴ６：ＮＯの場合）、画素群（ｎ）に含まれている画素ｐ_ｎ，ｍは、背景領域Ｂ_ｍ内の画素である。
背景領域Ｂ_ｍ内の画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍは、時間が経過しても、ほとんど変化しないため、背景領域Ｂ_ｍ内の画素ｐ_ｎ，ｍを含む画素群（ｎ）の評価値ｖ_ｎは、第２の閾値Ｔｈ_２以下となる可能性が高い。
一方、前景領域Ｆ_ｍ内の画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍは、時間の経過に伴って変化するため、前景領域Ｆ_ｍ内の画素ｐ_ｎ，ｍを含む画素群（ｎ）の評価値ｖ_ｎは、第２の閾値Ｔｈ_２よりも大きくなる可能性が高い。
なお、窓領域Ｗ_ｍ内の画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍについても、時間の経過に伴って変化する。しかし、窓領域Ｗ_ｍ内の画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍの変化は、人間等の移動に伴う画素値ｐｄ_ｎ，ｍの変化と比べると、極めて小さい。したがって、窓領域Ｗ_ｍ内の画素ｐ_ｎ，ｍを含む画素群（ｎ）の評価値ｖ_ｎは、第２の閾値Ｔｈ_２以下となる可能性が高い。

前景領域判定部１５は、Ｍ個の画像Ｇ_１〜Ｇ_Ｍのそれぞれに含まれている画素ｐ_１，１〜ｐ_Ｎ，１、ｐ_１，２〜ｐ_Ｎ，２、・・・、ｐ_１，Ｍ〜ｐ_Ｎ，Ｍのうち、前景領域Ｆ_ｍ内の画素であると判定した全ての画素ｐ_ｎ，ｍを含む領域が、それぞれの画像Ｇ_ｍの中の前景領域Ｆ_ｍであると判定する（図６のステップＳＴ８）。
前景領域判定部１５は、前景領域Ｆ_ｍの判定結果として、例えば、前景領域Ｆ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを床領域判定部１６に出力する。

図１０は、Ｍ個の撮像画像Ｇ_１〜Ｇ_Ｍのうち、ある１つの画像Ｇ_ｍの一例を示す説明図である。
図１１は、Ｍ個の撮像画像Ｇ_１〜Ｇ_Ｍのうち、ある１つの画像Ｇ_ｍにおける背景領域Ｂ_ｍと前景領域Ｆ_ｍとを示す説明図である。図１１において、黒色の領域は、背景領域Ｂ_ｍと判定された領域であり、白色の領域は、前景領域Ｆ_ｍと判定された領域である。
図１１の例では、前景領域Ｆ_ｍが、人間が存在している領域（以下、「人間領域Ｈ_ｍ」と称する）と概ね一致している。なお、図１１では、人間領域Ｈ_ｍの表記は省略されている。
図２に示す室内レイアウト推定装置２では、前景領域Ｆ_ｍが人間領域Ｈ_ｍと一致しているとして、後述する床領域判定部１６が、前景領域Ｆ_ｍに基づいて、床領域Ｙ_ｍを判定する。

床領域判定部１６は、前景領域判定部１５から、前景領域Ｆ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを取得する。
床領域判定部１６は、取得した座標を示すデータに基づいて、Ｍ個の画像Ｇ_１〜Ｇ_Ｍにおけるそれぞれの前景領域Ｆ_ｍに含まれている複数の画素ｐ_ｎ，ｍを特定する。
床領域判定部１６は、それぞれの前景領域Ｆ_ｍに含まれている複数の画素ｐ_ｎ，ｍの中で、画像Ｇ_ｍのｙ方向で、下端の位置に存在している画素を床領域画素として特定する。
前景領域Ｆ_ｍが人間領域Ｈ_ｍと一致していれば、前景領域Ｆ_ｍ内の下端の位置は、人間の足元の位置に対応し、人間の足元の位置は、床の位置に対応する。通常、人間は、時間とともに移動する。これは、撮像時刻ｔが互いに異なるＭ個の撮像画像Ｇ_１〜Ｇ_Ｍのそれぞれにおける人間の位置、つまり、前景領域Ｆ_１〜Ｆ_Ｍの位置は互いに異なるものとなり、床の位置に対応する前景領域Ｆ_１〜Ｆ_Ｍ内の下端の位置も互いに異なるものとなることを意味する。したがって、撮像時刻ｔが互いに異なるＭ個の撮像画像Ｇ_１〜Ｇ_Ｍにおける前景領域Ｆ_１〜Ｆ_Ｍ内の下端の位置を総合することにより、床領域Ｙ_ｍを推定することができる。

床領域判定部１６は、前景領域Ｆ_１〜Ｆ_Ｍのそれぞれに含まれている床領域画素の全てを含む領域が、床領域Ｙ_ｍであると判定する（図６のステップＳＴ９）。
床領域判定部１６は、床領域Ｙ_ｍの判定結果として、例えば、床領域Ｙ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。
ここでは、床領域判定部１６が、鉛直方向で下端の位置に存在している画素を床領域画素として特定している。しかし、これは一例に過ぎず、床領域判定部１６が、鉛直方向で下端の位置に存在している画素のほかに、下端の画素の周囲に存在している複数の画素を床領域画素として特定するようにしてもよい。

図１２は、Ｍ個の画像Ｇ_１〜Ｇ_Ｍにおける前景領域Ｆ_１〜Ｆ_Ｍ内の下端の画素を示す説明図である。図１２において、白色の領域は、それぞれの前景領域Ｆ_ｍ内の下端の画素を含む領域である。
図１２が示している画像は、Ｍ個の画像Ｇ_１〜Ｇ_Ｍにおけるそれぞれの前景領域Ｆ_ｍ内の下端の画素が集められている画像である。
図１２では、前景領域Ｆ_１内の下端の画素、前景領域Ｆ_２内の下端の画素、前景領域Ｆ_３内の下端の画素、前景領域Ｆ_４内の下端の画素、前景領域Ｆ_５内の下端の画素、前景領域Ｆ_Ｍ−１内の下端の画素、及び、前景領域Ｆ_Ｍ内の下端の画素を例示している。
図１３は、床領域判定部１６による床領域Ｙ_ｍの判定結果の一例を示す説明図である。図１３において、横線が施されている領域は、床領域Ｙ_ｍである。
図１２が示す白色の領域と、図１３が示す床領域Ｙ_ｍとは、記載の都合上、若干のずれがあるが、概ね一致している。

壁領域判定部１７は、窓領域判定部１３により判定された窓領域Ｗ_ｍと、床領域判定部１６により判定された床領域Ｙ_ｍとに基づいて、対象領域の中の壁領域Ｋ_ｍを判定する（図６のステップＳＴ１０）。
壁領域判定部１７は、壁領域Ｋ_ｍの判定結果として、例えば、壁領域Ｋ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを制御部３に出力する。

以下、壁領域判定部１７による壁領域Ｋ_ｍの判定処理を具体的に説明する。
壁領域判定部１７は、画像記憶部１０から、撮像時刻ｔが異なるＭ個の画像Ｇ_１〜Ｇ_Ｍのうち、いずれか１つの画像Ｇ_ｍを取得する。壁領域判定部１７が取得する１つの撮像画像Ｇ_ｍは、Ｍ個の撮像画像Ｇ_１〜Ｇ_Ｍのうちのいずれの撮像画像であってもよい。壁領域判定部１７は、例えば、撮像時刻ｔが最新の時刻の画像Ｇ_Ｍを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像Ｇ_Ｍ−１を取得してもよい。
また、壁領域判定部１７は、床領域判定部１６から、床領域Ｙ_ｍが存在している座標を示すデータを取得する。

壁領域判定部１７は、床領域Ｙ_ｍが存在している座標を示すデータに基づいて、床領域Ｙ_ｍに含まれている複数の画素ｐ_ｎ，ｍを特定する。
壁領域判定部１７は、図１３に示すように、床領域Ｙ_ｍに含まれている複数の画素ｐ_ｎ，ｍのうち、画像Ｇ_ｍのｙ方向で上端の画素をそれぞれ特定する。床領域Ｙ_ｍ内の上端の画素は、床領域Ｙ_ｍに含まれている複数の画素ｐ_ｎ，ｍのうち、ｘ座標が同一の複数の画素の中で、ｙ座標が最も大きい画素である。図１３では、床領域Ｙ_ｍ内の上端の画素を９つ例示している。
壁領域判定部１７は、図１４に示すように、床領域Ｙ_ｍ内の上端のそれぞれの画素を結ぶ線を含む線を、床面と壁面との境界線に決定する。
図１４は、床面と壁面との境界線、床領域Ｙ_ｍ、及び窓領域Ｗ_ｍを示す説明図である。
図１４において、横線が施されている領域は、床領域Ｙ_ｍであり、斜線が施されている領域は、窓領域Ｗ_ｍである。

壁領域判定部１７は、窓領域判定部１３から、窓領域Ｗ_ｍが存在している座標を示すデータを取得する。
壁領域判定部１７は、窓領域Ｗ_ｍが存在している座標を示すデータに基づいて、窓領域Ｗ_ｍを特定する。
壁領域判定部１７は、画像Ｇ_ｍの中で、床面と壁面との境界線よりも、画像Ｇ_ｍのｙ方向でｙ座標が大きい領域のうち、窓領域Ｗ_ｍ以外の領域が、壁領域Ｋ_ｍであると判定する。床面と壁面との境界線よりも、画像Ｇ_ｍのｙ方向でｙ座標が大きい領域は、図中、床面と壁面との境界線よりも上側の領域である。
壁領域判定部１７は、壁領域Ｋ_ｍの判定結果として、例えば、壁領域Ｋ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを制御部３に出力する。

制御部３は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ_１〜Ｇ_Ｍのうち、いずれか１つの画像Ｇ_ｍを取得する。制御部３が取得する１つの撮像画像Ｇ_ｍは、Ｍ個の撮像画像Ｇ_１〜Ｇ_Ｍのうちのいずれの撮像画像であってもよい。制御部３は、例えば、撮像時刻ｔが最新の時刻の画像Ｇ_Ｍを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像Ｇ_Ｍ−１を取得してもよい。
制御部３は、窓領域判定部１３から窓領域Ｗ_ｍの判定結果を取得し、床領域判定部１６から床領域Ｙ_ｍの判定結果を取得し、壁領域判定部１７から壁領域Ｋ_ｍの判定結果を取得する。
制御部３は、取得したそれぞれの判定結果に基づいて、例えば、エアコン４を制御することで、対象領域内の空気を調整する。

以下、制御部３による空気の調整例を具体的に説明する。
例えば、窓領域Ｗ_ｍの設定温度がＴｅｍｐ_１、床領域Ｙ_ｍの設定温度がＴｅｍｐ_２、及び、壁領域Ｋ_ｍの設定温度がＴｅｍｐ_３であるとする。設定温度Ｔｅｍｐ_１、設定温度Ｔｅｍｐ_２、及び、設定温度Ｔｅｍｐ_３のそれぞれは、制御部３の内部メモリに格納されていてもよいし、図１に示す空気調和機の外部から与えられるものであってもよい。
制御部３は、窓領域Ｗ_ｍの判定結果に基づいて、画像Ｇ_ｍに含まれているＮ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍの中から、窓領域Ｗ_ｍに含まれている複数の画素ｐ_ｎ，ｍを特定する。
制御部３は、窓領域Ｗ_ｍに含まれている複数の画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍが示す温度から、例えば、窓領域Ｗ_ｍの平均温度を算出する。
制御部３は、窓領域Ｗ_ｍの平均温度が、窓領域Ｗ_ｍの設定温度Ｔｅｍｐ_１と一致するように、エアコン４を制御する。

制御部３は、床領域Ｙ_ｍの判定結果に基づいて、画像Ｇ_ｍに含まれているＮ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍの中から、床領域Ｙ_ｍに含まれている複数の画素ｐ_ｎ，ｍを特定する。
制御部３は、床領域Ｙ_ｍに含まれている複数の画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍが示す温度から、例えば、床領域Ｙ_ｍの平均温度を算出する。
制御部３は、床領域Ｙ_ｍの平均温度が、床領域Ｙ_ｍの設定温度Ｔｅｍｐ_２と一致するように、エアコン４を制御する。

制御部３は、壁領域Ｋ_ｍの判定結果に基づいて、画像Ｇ_ｍに含まれている複数の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍの中から、壁領域Ｋ_ｍに含まれている複数の画素ｐ_ｎ，ｍを特定する。
制御部３は、壁領域Ｋ_ｍに含まれている複数の画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍが示す温度から、例えば、壁領域Ｋ_ｍの平均温度を算出する。
制御部３は、壁領域Ｋ_ｍの平均温度が、壁領域Ｋ_ｍの設定温度Ｔｅｍｐ_３と一致するように、エアコン４を制御する。

ここでは、制御部３が、窓領域Ｗ_ｍ、床領域Ｙ_ｍ及び壁領域Ｋ_ｍにおけるそれぞれの平均温度を算出している。しかし、これは一例に過ぎず、制御部３が、例えば、窓領域Ｗ_ｍ、床領域Ｙ_ｍ及び壁領域Ｋ_ｍにおけるそれぞれの中間温度を算出するようにしてもよい。この場合、制御部３は、窓領域Ｗ_ｍ等の中間温度が、窓領域Ｗ_ｍ等の設定温度と一致するように、エアコン４を制御する。

以上の実施の形態１では、対象領域を撮像している赤外線カメラ１から出力された画像に含まれている複数の画素のそれぞれの評価値として、複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部１２と、画像に含まれている複数の画素のうち、類似度算出部１２により算出された評価値が第１の閾値よりも大きい画素を含む領域が、画像の中で、窓が在る領域であると判定する窓領域判定部１３とを備えるように、室内レイアウト推定装置２を構成した。したがって、室内レイアウト推定装置２は、外気温が変化しても、窓領域の誤検出を防ぐことができる。

実施の形態２．
図２に示す室内レイアウト推定装置２では、標準偏差算出部１４が、Ｍ個の画像Ｇ_１〜Ｇ_Ｍのそれぞれに含まれている画素ｐ_１，１〜ｐ_Ｎ，１、ｐ_１，２〜ｐ_Ｎ，２、・・・、ｐ_１，Ｍ〜ｐ_Ｎ，Ｍの中で、画素位置が互いに同一の画素を含む複数の画素群（１）〜（Ｎ）のそれぞれの評価値ｖ_１〜ｖ_Ｎを算出している。
実施の形態２では、Ｍ個の画像Ｇ_１〜Ｇ_Ｍと撮像時刻ｔが異なる新たな画像が画像記憶部１０に記憶される毎に、複数の画素群（１）〜（Ｎ）のそれぞれの評価値ｖ_１〜ｖ_Ｎを算出する室内レイアウト推定装置２について説明する。ここでは、説明の便宜上、新たな画像がＧ_Ｍ＋１であるとする。

以下、実施の形態２に係る室内レイアウト推定装置２について説明する。
実施の形態２に係る室内レイアウト推定装置２の構成は、実施の形態１に係る室内レイアウト推定装置２の構成と同様であり、実施の形態２に係る室内レイアウト推定装置２を示す構成図は、図２である。

赤外線カメラ１は、Ｍ個の画像Ｇ_１〜Ｇ_Ｍと撮像時刻ｔが異なる新たな画像Ｇ_Ｍ＋１を室内レイアウト推定装置２に出力する。
室内レイアウト推定装置２の画像記憶部１０は、新たな画像Ｇ_Ｍ＋１を記憶する。
標準偏差算出部１４の画素群特定部１４ａは、新たな画像Ｇ_Ｍ＋１が画像記憶部１０に記憶されると、画像記憶部１０から、新たな画像Ｇ_Ｍ＋１を取得する。
画素群特定部１４ａは、先に取得したＭ個の画像Ｇ_１〜Ｇ_Ｍのうち、例えば、最も撮像時刻ｔが古い画像Ｇ_１を破棄する。
画素群特定部１４ａは、Ｍ個の画像Ｇ_１〜Ｇ_Ｍの一部である画像、即ち、破棄していない（Ｍ−１）個の画像Ｇ_２〜Ｇ_Ｍと新たな画像Ｇ_Ｍ＋１とを含むＭ個の画像Ｇ_２〜Ｇ_Ｍ＋１のそれぞれに含まれている画素ｐ_１，２〜ｐ_Ｎ，２、ｐ_１，３〜ｐ_Ｎ，３、・・・、ｐ_{１，Ｍ＋１}〜ｐ_{Ｎ，Ｍ＋１}のうち、画素位置が互いに同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する。

ここでは、画素群特定部１４ａが、先に取得したＭ個の画像Ｇ_１〜Ｇ_Ｍのうち、最も撮像時刻ｔが古い画像Ｇ_１を破棄している。しかし、これは一例に過ぎず、画素群特定部１４ａが、最も撮像時刻ｔが古い画像Ｇ_１以外の画像を破棄するようにしてもよい。
また、画素群特定部１４ａが、先に取得したＭ個の画像Ｇ_１〜Ｇ_Ｍのうち、２つ以上の画像を破棄するようにしてもよい。画素群特定部１４ａは、２つの画像を破棄した場合、破棄していない（Ｍ−２）個の画像と新たな画像Ｇ_Ｍ＋１とを含む（Ｍ−１）個の画像として、画像Ｇ_３〜Ｇ_Ｍ＋１のそれぞれに含まれているＮ個の画素ｐ_１，３〜ｐ_Ｎ，３、ｐ_１，４〜ｐ_Ｎ，４、・・・、ｐ_{１，Ｍ＋１}〜ｐ_{Ｎ，Ｍ＋１}のうち、画素位置が互いに同一の画素を含むＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する。

標準偏差算出部１４の偏差算出処理部１４ｂは、画素群特定部１４ａがＮ個の画素群（１）〜（Ｎ）のそれぞれを特定する毎に、実施の形態１と同様に、それぞれの画素群（１）〜（Ｎ）の評価値ｖ_１〜ｖ_Ｎとして、それぞれの画素群（１）〜（Ｎ）に含まれているＭ個の画素ｐ_ｎ，１〜ｐ_ｎ，Ｍにおける画素値ｐｄ_ｎ，１〜ｐｄ_ｎ，Ｍの標準偏差を算出する。
偏差算出処理部１４ｂは、算出したそれぞれの評価値ｖ_１〜ｖ_Ｎを前景領域判定部１５に出力する。
したがって、実施の形態２に係る室内レイアウト推定装置２では、Ｍ個の画像Ｇ_１〜Ｇ_Ｍと撮像時刻ｔが異なる新たな画像Ｇ_Ｍ＋１が画像記憶部１０に記憶される毎に、Ｎ個の画素群（１）〜（Ｎ）のそれぞれの評価値ｖ_１〜ｖ_Ｎが更新される。

前景領域判定部１５は、標準偏差算出部１４によりそれぞれの評価値ｖ_１〜ｖ_Ｎが更新される毎に、それぞれの評価値ｖ_１〜ｖ_Ｎと第２の閾値Ｔｈ_２とを比較する。
前景領域判定部１５は、実施の形態１と同様に、評価値ｖ_ｎ（ｎ＝１，・・・，Ｎ）が第２の閾値Ｔｈ_２よりも大きければ、画素群（ｎ）に含まれている画素ｐ_ｎ，ｍが、前景領域Ｆ_ｍ内の画素であると判定する
前景領域判定部１５は、Ｍ個の画像Ｇ_２〜Ｇ_Ｍ＋１のそれぞれに含まれているＮ個の画素ｐ_１，２〜ｐ_Ｎ，２、ｐ_１，３〜ｐ_Ｎ，３、・・・、ｐ_{１，Ｍ＋１}〜ｐ_{Ｎ，Ｍ＋１}のうち、前景領域Ｆ_ｍ内の画素であると判定した全ての画素ｐ_ｎ，ｍを含む領域が、画像Ｇ_ｍの中の前景領域Ｆ_ｍであると判定する。
前景領域判定部１５は、前景領域Ｆ_ｍの判定結果として、例えば、前景領域Ｆ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを床領域判定部１６に出力する。

以上の実施の形態２では、画素群特定部１４ａが、赤外線カメラ１から、複数の画像と撮像時刻が異なる新たな画像が出力される毎に、複数の画像の中の一部の画像と新たな画像とを含む複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の画素を含む複数の画素群のそれぞれを特定し、偏差算出処理部１４ｂが、画素群特定部１４ａによりそれぞれの画素群が特定される毎に、画素群特定部１４ａにより特定されたそれぞれの画素群の評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出するように、室内レイアウト推定装置２を構成した。したがって、室内レイアウト推定装置２は、外気温が変化しても、窓領域の誤検出を防ぐことができるほか、新たな画像に基づいて、前景領域を判定することができる。

実施の形態３．
実施の形態３では、前景領域判定部１５により判定された前景領域Ｆ_ｍの中で、人間が存在している領域を判定する人間領域判定部１８を備えている室内レイアウト推定装置２について説明する。

図１５は、実施の形態３に係る室内レイアウト推定装置２を示す構成図である。
図１６は、実施の形態３に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。
図１５及び図１６において、図２及び図３と同一符号は同一又は相当部分を示すので詳細な説明を省略する。
室内レイアウト推定装置２は、画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、人間領域判定部１８、床領域判定部１６及び壁領域判定部１７を備えている。

図１６に示す室内レイアウト推定装置２では、前景領域判定部１５が、前景領域の判定結果として、前景領域Ｆ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを人間領域判定部１８に出力する。
人間領域判定部１８は、例えば、図１６に示す人間領域判定回路２８によって実現される。
人間領域判定部１８は、前景領域判定部１５により判定されたそれぞれの前景領域Ｆ_ｍの中で、人間が存在している領域である人間領域Ｈ_ｍを判定する。
人間領域判定部１８は、人間領域Ｈ_ｍの判定結果として、例えば、人間領域Ｈ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを制御部３及び床領域判定部１６のそれぞれに出力する。

図１５では、室内レイアウト推定装置２の構成要素である画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、人間領域判定部１８、床領域判定部１６及び壁領域判定部１７のそれぞれが、図１６に示すような専用のハードウェアによって実現されるものを想定している。即ち、室内レイアウト推定装置２が、画像記憶回路２０、外気温記憶回路２１、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、人間領域判定回路２８、床領域判定回路２６及び壁領域判定回路２７によって実現されるものを想定している。

ここで、画像記憶回路２０及び外気温記憶回路２１のそれぞれは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤが該当する。
また、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、人間領域判定回路２８、床領域判定回路２６及び壁領域判定回路２７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。

室内レイアウト推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、室内レイアウト推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、画像記憶部１０及び外気温記憶部１１のそれぞれが、図５に示すコンピュータのメモリ３１上に構成される。類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、人間領域判定部１８、床領域判定部１６及び壁領域判定部１７の処理手順をコンピュータに実行させるためのプログラムがメモリ３１に格納される。そして、図５に示すコンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行する。

また、図１６では、室内レイアウト推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図５では、室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、室内レイアウト推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。

次に、図１５に示す室内レイアウト推定装置２の動作について説明する。ただし、人間領域判定部１８以外は、図２に示す室内レイアウト推定装置２と同様であるため、ここでは、主に、人間領域判定部１８の動作について説明する。
前景領域判定部１５は、実施の形態１と同様に、前景領域Ｆ_ｍを判定すると、前景領域Ｆ_ｍの判定結果として、前景領域Ｆ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを人間領域判定部１８に出力する。

図２に示す室内レイアウト推定装置２では、床領域判定部１６が、前景領域Ｆ_ｍが人間領域Ｈ_ｍと一致しているとして、前景領域Ｆ_ｍに基づいて、床領域Ｙ_ｍを判定している。しかし、前景領域Ｆ_ｍと人間領域Ｈ_ｍとが厳密に一致しているとは限らないため、前景領域Ｆ_ｍに基づく床領域Ｙ_ｍの判定では、床領域Ｙ_ｍを誤検出する可能性がある。
人間領域判定部１８は、前景領域判定部１５から前景領域Ｆ_ｍの判定結果を受けると、公知の人体検出方法を用いて、前景領域Ｆ_ｍの中で、人間が存在している領域である人間領域Ｈ_ｍを判定する。
公知の人体検出方法として、例えば、ＨＯＧとＳＶＭとを用いる方法が考えられる。ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）は、局所領域の輝度の勾配方向をヒストグラム化している特徴量である。ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）は、教師あり学習を用いるパターン識別モデルである。
人間領域判定部１８は、人間領域Ｈ_ｍの判定結果として、例えば、人間領域Ｈ_ｍが存在している、画像Ｇ_ｍ内の座標を示すデータを制御部３及び床領域判定部１６のそれぞれに出力する。

制御部３は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ_１〜Ｇ_Ｍのうち、いずれか１つの画像Ｇ_ｍを取得する。制御部３が取得する１つの撮像画像Ｇ_ｍは、Ｍ個の撮像画像Ｇ_１〜Ｇ_Ｍのうちのいずれの撮像画像であってもよい。制御部３は、例えば、撮像時刻ｔが最新の時刻の画像Ｇ_Ｍを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像Ｇ_Ｍ−１を取得してもよい。
制御部３は、窓領域判定部１３から窓領域Ｗ_ｍの判定結果を取得し、床領域判定部１６から床領域Ｙ_ｍの判定結果を取得し、壁領域判定部１７から壁領域Ｋ_ｍの判定結果を取得し、人間領域判定部１８から人間領域Ｈ_ｍの判定結果を取得する。

制御部３は、取得したそれぞれの判定結果に基づいて、例えば、エアコン４を制御することで、対象領域内の空気を調整する。
例えば、人間領域Ｈ_ｍの設定温度がＴｅｍｐ_４であるとする。設定温度Ｔｅｍｐ_４は、制御部３の内部メモリに格納されていてもよいし、図１に示す空気調和機の外部から与えられるものであってもよい。
制御部３は、人間領域Ｈ_ｍの判定結果に基づいて、画像Ｇ_ｍに含まれているＮ個の画素ｐ_１，ｍ〜ｐ_Ｎ，ｍの中から、人間領域Ｈ_ｍに含まれている複数の画素ｐ_ｎ，ｍを特定する。
制御部３は、人間領域Ｈ_ｍに含まれている複数の画素ｐ_ｎ，ｍの画素値ｐｄ_ｎ，ｍが示す温度から、例えば、人間領域Ｈ_ｍの平均温度を算出する。
制御部３は、人間領域Ｈ_ｍの平均温度が、人間領域Ｈ_ｍの設定温度Ｔｅｍｐ_４と一致するように、エアコン４を制御する。

ここでは、制御部３が、人間領域Ｈ_ｍの平均温度を算出している。しかし、これは一例に過ぎず、制御部３が、例えば、人間領域Ｈ_ｍの中間温度を算出するようにしてもよい。この場合、制御部３は、人間領域Ｈ_ｍの中間温度が、人間領域Ｈ_ｍの設定温度Ｔｅｍｐ_４と一致するように、エアコン４を制御する。

以上の実施の形態３では、前景領域判定部１５により判定された前景領域の中で、人間が存在している領域を判定する人間領域判定部１８を備えるように、室内レイアウト推定装置２を構成した。したがって、室内レイアウト推定装置２は、外気温が変化しても、窓領域の誤検出を防ぐことができるほか、人間が存在している領域内の空気を調整することが可能になる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明は、対象領域の中で、窓が在る領域を判定する室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機に適している。

１ 赤外線カメラ、２ 室内レイアウト推定装置、３ 制御部、４ エアコン、１０ 画像記憶部、１１ 外気温記憶部、１２ 類似度算出部、１３ 窓領域判定部、１４ 標準偏差算出部、１４ａ 画素群特定部、１４ｂ 偏差算出処理部、１５ 前景領域判定部、１６ 床領域判定部、１７ 壁領域判定部、１８ 人間領域判定部、２０ 画像記憶回路、２１ 外気温記憶回路、２２ 類似度算出回路、２３ 窓領域判定回路、２４ 標準偏差算出回路、２５ 前景領域判定回路、２６ 床領域判定回路、２７ 壁領域判定回路、２８ 人間領域判定回路、３１ メモリ、３２ プロセッサ。

Claims (11)

1. 対象領域を撮像している赤外線カメラから出力された画像に含まれている複数の画素のそれぞれの評価値として、前記複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部と、
   前記画像に含まれている複数の画素のうち、前記類似度算出部により算出された評価値が第１の閾値よりも大きい画素を含む領域が、前記画像の中で、窓が在る領域であると判定する窓領域判定部と
   を備えた室内レイアウト推定装置。
2. 前記赤外線カメラから出力された複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の複数の画素を含む複数の画素群のそれぞれの評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出する標準偏差算出部と、
   前記複数の画素群の中で、前記標準偏差算出部により算出された評価値が第２の閾値よりも大きい画素群を特定し、それぞれの画像に含まれている複数の画素のうち、特定した画素群に含まれている画素を含む領域が、それぞれの画像の中の前景領域であると判定する前景領域判定部と
   を備えたことを特徴とする請求項１記載の室内レイアウト推定装置。
3. 前記標準偏差算出部は、
   前記赤外線カメラから撮像時刻が互いに異なる複数の画像が出力されると、前記複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の画素を含む複数の画素群のそれぞれを特定する画素群特定部と、
   前記画素群特定部により特定されたそれぞれの画素群の評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出する偏差算出処理部とを備えていることを特徴とする請求項２記載の室内レイアウト推定装置。
4. 前記画素群特定部は、前記赤外線カメラから、前記複数の画像と撮像時刻が異なる新たな画像が出力される毎に、前記複数の画像の中の一部の画像と前記新たな画像とを含む複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の画素を含む複数の画素群のそれぞれを特定し、
   前記偏差算出処理部は、前記画素群特定部によりそれぞれの画素群が特定される毎に、前記画素群特定部により特定されたそれぞれの画素群の評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出することを特徴とする請求項３記載の室内レイアウト推定装置。
5. 前記前景領域判定部により判定されたそれぞれの前景領域に含まれている複数の画素の中で、前記対象領域が存在している空間の鉛直方向に相当する方向で下端の位置に存在している画素を床領域画素として特定し、それぞれの前景領域に含まれている床領域画素の全てを含む領域が、それぞれの画像の中で、床が在る領域であると判定する床領域判定部を備えたことを特徴とする請求項２記載の室内レイアウト推定装置。
6. 前記窓領域判定部により判定された窓が在る領域と、前記床領域判定部により判定された床が在る領域とに基づいて、それぞれの画像の中で、壁が在る領域を判定する壁領域判定部を備えたことを特徴とする請求項５記載の室内レイアウト推定装置。
7. 前記前景領域判定部により判定されたそれぞれの前景領域の中で、人間が存在している領域として人間領域を判定する人間領域判定部を備えたことを特徴とする請求項２記載の室内レイアウト推定装置。
8. 前記人間領域判定部により判定されたそれぞれの人間領域に含まれている複数の画素の中で、前記対象領域が存在している空間の鉛直方向に相当する方向で下端の位置に存在している画素を床領域画素として特定し、それぞれの人間領域に含まれている床領域画素の全てを含む領域が、それぞれの画像の中で、床が在る領域であると判定する床領域判定部を備えたことを特徴とする請求項７記載の室内レイアウト推定装置。
9. 前記窓領域判定部により判定された窓が在る領域と、前記床領域判定部により判定された床が在る領域とに基づいて、それぞれの画像の中で、壁が在る領域を判定する壁領域判定部を備えたことを特徴とする請求項８記載の室内レイアウト推定装置。
10. 類似度算出部が、対象領域を撮像している赤外線カメラから出力された画像に含まれている複数の画素のそれぞれの評価値として、前記複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出し、
    窓領域判定部が、前記画像に含まれている複数の画素のうち、前記類似度算出部により算出された評価値が第１の閾値よりも大きい画素を含む領域が、前記画像の中で、窓が在る領域であると判定する
    室内レイアウト推定方法。
11. 請求項１から請求項９のうちのいずれか１項記載の室内レイアウト推定装置と、
    前記室内レイアウト推定装置における領域の判定結果に基づいて、前記対象領域内の空気を調整する制御部と
    を備えた空気調和機。

Images