JP6495696B2 - 画像収集装置、画像収集方法及びコンピュータプログラム - Google Patents

Description

本発明の実施形態は、画像収集装置、画像収集方法及びコンピュータプログラムに関する。

画像から動体を検出する一般的な手法の一つとして、画像の輝度変化に基づいて動体を検出するフレーム間差分法がある。フレーム間差分法は、連続して取得される画像間の差分を取得し、変化があった領域の被写体を動体として検出する手法である。このような動体検出の結果に基づいて、人を検出する技術が提案されている。
しかしながら、オフィスなどにカメラを設置した場合、人の動きだけでなく、外光や照明による空間の明るさの変化によって画像の輝度変化が生じる場合がある。そのため、実際には人が存在しないにも関わらず、人を誤検出する可能性がある。この問題を解決するため、検出対象の空間の背景画像を予め記憶し、取得された画像と背景画像との比較により輝度変化のあった領域が背景か否かを識別する技術が提案されている。しかしながら、このような従来技術を、明るさが変化するオフィスなどの空間に適用する場合、基準となる背景画像を明るさの変化に応じて随時更新する必要がある。

しかしながら、明るさの変化に応じて適切な背景画像に随時更新することは技術的に困難である。そのため、背景画像の特徴を示す辞書情報に基づいて、動体が背景か否かを識別する手法が検討されている。明るさが異なる状況で撮像された背景画像に基づいて生成された辞書情報を用いれば、輝度の変化が明るさの変化によるものか否かを識別することが可能になる。

辞書情報を用いた背景識別の精度は、辞書情報の質によって左右される。辞書情報の質とは、辞書情報がどれだけ多くのパターンの背景画像に基づいて生成されたかによって決まる。そのため、質の高い辞書情報の生成には、非常に多くの背景画像が必要となり、背景画像の収集に多くの労力を要する場合があった。

特許第４６１９０８２号公報 特許第４８５２１５９号公報 特許第５３４９６２２号公報

本発明が解決しようとする課題は、辞書情報の生成に必要な背景画像を効率良く収集することができる画像収集装置、画像収集方法及びコンピュータプログラムを提供することである。

実施形態の画像収集装置は、画像記憶部と、撮像制御部と、属性付与部と、を持つ。画像記憶部は、人を検出する対象の空間が撮像された画像を記憶する。撮像制御部は、前記空間を撮像し前記空間の画像を取得する撮像部が前記空間を撮像するタイミングを制御する。属性付与部は、前記撮像部から前記空間の画像を取得し、取得した前記画像を、前記画像の取得に関する属性情報と対応づけて前記画像記憶部に記憶させる。

画像センサ１の利用例を示す図。 第１の実施形態の調整用端末７を備える機器制御システムの構成を示すシステム構成図。 画像センサ１の機能構成を示す機能ブロック図。 画像センサ１が画像から人を検出する処理の流れを示すフローチャート。 第１の実施形態の調整用端末７の機能構成を示す機能ブロック図。 第２の実施形態の調整用端末７ａの機能構成を示す機能ブロック図。 第３の実施形態の調整用端末７ｂの機能構成を示す機能ブロック図。 タスク照明及びアンビエント照明の具体例を示す図。 タスク・アンビエント制御の具体例を示す図。 第４の実施形態の調整用端末７ｃの機能構成を示す機能ブロック図。 撮像制御部７５ｃの機能構成の詳細を示す機能ブロック図。 人が不在となったエリアごとに背景画像を取得する例を示す図。

以下、実施形態の画像収集装置、画像収集方法及びコンピュータプログラムを、図面を参照して説明する。

（第１の実施形態）
図１は、画像センサ１の利用例を示す図である。
図１は、画像センサ１が、オフィスフロアの機器の制御に用いられた例を示す。図１の例の場合、照明機器２０及び空調機器３０が制御対象の機器である。画像センサ１は、オフィスフロアの天井１０に設置され、オフィスフロアを撮像する。画像センサ１は、撮像した画像から環境情報や人物情報を取得する。環境情報は、撮像対象の空間（以下、「対象空間」という。）の環境に関する情報である。例えば、環境情報は、オフィスの照度や温度などを示す情報である。人物情報は、対象空間における人に関する情報である。例えば、人物情報は、人の在又は不在や人数、人の行動、人の活動量などを示す情報である。人物情報を取得するため、画像センサ１は、取得した画像を解析して人を検出する。画像センサ１は、取得した環境情報や人物情報を、照明機器２０及び空調機器３０を制御する制御装置に送信する。制御装置は、画像センサ１によって取得された環境情報や人物情報に基づいて、照明機器２０及び空調機器３０を制御するための制御情報を生成する。制御装置は、生成した制御情報を照明機器２０及び空調機器３０に送信する。照明機器２０及び空調機器３０が、制御装置から送信された制御情報に基づいて自装置を動作させる。このような制御によって、環境情報や人物情報に基づく機器の制御が実現される。

例えば、人物情報として人の在又は不在を示す情報が取得される場合、制御装置は、人が居るエリアでは空調及び照明をＯＮにし、人が居ないエリアでは空調及び照明をＯＦＦにする、又は出力を下げるように空調及び照明を制御することができる。また、人が存在する場合には、タスク照明をＯＮにするような制御も考えられる。また、デスクや通路など、人が検出された場所に応じてアンビエント照明の調光率を変化させるような制御も考えられる。

また、例えば、人物情報として人の活動量を示す情報が取得される場合、制御装置は、活動量が小さい場合にはデスクワークをしている人が多いと判断して空調の出力を弱め、活動量が大きい場合には人が活発に活動していると判断して空調の出力を強めるように空調を制御することができる。また、例えば、人物情報として人の分布を示す情報が取得される場合、人の分布に応じてフロア内の照明の調光率を変化させるように照明を制御することができる。

上記のように画像センサを用いて人物情報を取得する場合、画像から人を検出することが必要となる。従来、フレーム間差分法により抽出された領域の画像と、予め取得された背景画像とを比較することにより画像から人を検出する技術が提案されている。しかしながら、検出対象の明るさが変化するオフィスなどの空間である場合、照明のＯＮ又はＯＦＦや、外光の入射等の影響により背景画像が大きく変化する。そのため、このような空間に従来技術を適用しようとした場合、検出対象の空間の明るさの変化に応じて背景画像を随時更新する必要があり、技術的な困難を伴う。そこで、背景画像の特徴を示す辞書情報に基づいて、動体が背景か否かを識別する手法が検討されている。明るさが異なる状況で撮像された背景画像に基づいて生成された辞書情報を用いれば、輝度の変化が明るさの変化によるものか否かを識別することが可能になる。

辞書情報を用いた背景識別の精度は、辞書情報の質によって左右される。辞書情報の質とは、辞書情報がどれだけ多くのパターンの背景画像に基づいて生成されたかによって決まる。そのため、質の高い辞書情報の生成には、非常に多くの背景画像が必要となり、背景画像の収集に多くの労力を要する場合があった。そのため、実施形態の機器制御システムは、所定の条件に基づいて背景画像の収集を制御する調整用端末を備える。

図２は、第１の実施形態の調整用端末７を備える機器制御システムの構成を示すシステム構成図である。
図２の機器制御システムは、複数の画像センサ１−１〜１−３を備える。画像センサ１−１〜１−３は、画像から取得した人物情報や環境情報（以下、「検知情報」という。）をネットワークハブ２を介して、ゲートウェイサーバ３に送信する。ゲートウェイサーバ３は、各画像センサ１から送信された人物情報や環境情報を、ＢＥＭＳ（Building Energy Management System）４や機器制御装置５、可視化装置６、調整用端末７などに送信する。

ＢＥＭＳ４は、センサなどから建物の使用エネルギーや室内環境を示す情報を取得し、これを省エネルギーに役立てるための分析や診断を行う。

機器制御装置５は、検知情報に基づいて、制御対象の機器を最適に制御するための制御情報を生成する。機器制御装置５は、生成した制御情報を送信することで、制御対象の機器を制御する。機器制御装置５の制御対象となる機器は、例えば、空調機器や、照明機器、エレベータなどの機器である。

可視化装置６は、機器制御システムの情報を可視化する装置である。例えば、可視化装置６は、ＢＥＭＳ４による分析や診断の結果を取得して、建物の使用エネルギーや室内環境などを可視化する。

調整用端末７（画像収集装置）は、画像センサ１と通信し、画像センサ１の各種設定や調整を行うための調整プログラムがインストールされた端末である。例えば、調整用端末７は、ＰＣ（Personal Computer）やスマートフォン、タブレットなどの情報端末である。なお、調整プログラムは、画像センサ１と通信可能であれば、調整用端末７以外の他の装置にインストールされてもよい。

ネットワークハブ２及び調整用端末７は機器ネットワーク４０に接続され、ＢＥＭＳ４、機器制御装置５及び可視化装置６は制御ネットワーク５０に接続される。例えば、制御ネットワーク５０はＥｔｈｅｒｎｅｔ（登録商標）などのネットワークであり、制御ネットワーク５０は、ＢＡＣｎｅｔＩＰネットワークである。機器ネットワーク４０に接続された装置と、制御ネットワーク５０に接続された装置との通信は、ゲートウェイサーバ３のプロトコル変換により中継される。

なお、機器ネットワーク４０及び制御ネットワーク５０は、各ネットワーク間の通信が可能であれば、上記と異なるネットワークであってもよい。例えば、機器ネットワーク４０及び制御ネットワーク５０は、特定用途に規格化された産業用Ｅｔｈｅｒｎｅｔ（登録商標）などのネットワークであってもよいし、独自プロトコルのネットワークであってもよい。また、機器ネットワーク４０及び制御ネットワーク５０は、同一のネットワークであってもよい。

図３は、画像センサ１の機能構成を示す機能ブロック図である。
画像センサ１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像センサプログラムを実行する。画像センサ１は、画像センサプログラムの実行によって通信部１１、撮像部１２、画像記憶部１３、辞書情報記憶部１４、動体検出部１５、動体判定部１６及び人判定部１７を備える装置として機能する。なお、画像センサ１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像センサプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像センサプログラムは、電気通信回線を介して送信されてもよい。

通信部１１は、自装置をネットワークハブ２に接続するための通信インターフェースを用いて構成される。通信部１１は、ネットワークハブ２を介して、機器ネットワーク４０及び制御ネットワーク５０に接続された各種装置と通信する。

撮像部１２は、カメラ等の撮像装置を用いて構成される。撮像部１２は、制御対象の機器についての検知情報が取得可能な位置及び向きに設置される。撮像部１２は、設置位置と向きに応じた空間を撮像し、画像データを取得する。撮像部１２は、取得した画像データを画像記憶部１３に保存する。

画像記憶部１３及び辞書情報記憶部１４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。画像記憶部１３は、撮像部１２によって取得された画像データを記憶する。辞書情報記憶部１４は、動体判定に用いられる辞書情報を記憶する。辞書情報とは、背景画像から抽出された特徴量と、背景の各種特徴との対応を示す情報である。辞書情報は、予め撮像された画像（以下、「事前画像」という。）に基づいて生成され、予め辞書情報記憶部１４に記憶される。以下、この辞書情報の生成及び記憶を学習と呼ぶ。

動体検出部１５は、検出対象の空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する。動体候補を検出する手法には、フレーム間差分、オプティカルフロー、テンプレートマッチングなどを用いることができる。

動体判定部１６は、辞書情報に基づいて、動体検出部１５によって検出された動体候補が動体であるか否かを判定する。具体的には、動体判定部１６は、辞書情報が示す背景画像の特徴に基づいて、動体候補が背景であるか否かを判定する。動体判定部１６は、動体候補が背景でないと判定された場合に、動体候補は動体であると判定する。動体候補が背景であるか否かを判定する手法には、ニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ｋ近傍識別器、ベイズ分類などを用いることができる。

人判定部１７（人検出部）は、動体判定部によって判定された動体が人であるか否かを判定する。

図４は、画像センサ１が画像から人を検出する処理の流れを示すフローチャートである。
まず、撮像部１２が検出対象の空間を撮像して画像データを取得する（ステップＳ１０１）。撮像部１２は、取得した画像データと、画像データを取得したタイミングを示す情報とを対応づけて画像記憶部１３に保存する。

動体検出部１５は、画像記憶部１３から画像データを取得する。このとき、動体検出部１５は、取得されたタイミングの順に画像データを取得する。動体検出部１５は、取得した画像データに基づいて、動体候補を検出する（ステップＳ１０２）。例えば、動体検出部１５は、取得した画像のフレーム間差分に基づいて動体候補を検出する。そして、動体検出部１５は、動体候補が検出された領域（以下、「動体候補領域」という。）を示す情報を動体判定部１６に出力する（ステップＳ１０３）。

動体判定部１６は、動体検出部１５から出力された動体候補領域の画像の特徴量を算出する。ここで抽出する特徴量には、特許文献２に記載された累積差分などの輝度変化に関する特徴量や、特許文献３に記載されたＣｏＨＯＧ（Co-occurrence Histograms of Oriented Gradients）などの輝度分布に関する特徴量が用いられてもよい。動体判定部１６は、算出した特徴量と辞書情報とに基づいて、動体候補領域の画像と背景画像との類似度を算出する（ステップＳ１０４）。動体判定部１６は、算出した類似度に基づいて、動体候補が動体であるか否かを判定する。動体候補が動体であると判定された場合、動体判定部１６は、動体候補領域を、動体が検出された領域（以下、「動体領域」という。）とし、動体領域を示す情報を人判定部１７に出力する（ステップＳ１０５）。

人判定部１７は、動体判定部１６から出力された動体領域の画像に基づいて、動体が人であるか否かを判定する（ステップＳ１０６）。

なお、特徴量の抽出や、背景と動体との識別処理は、各画素を単位として行われてもよいし、画像から抽出される領域を単位として行われてもよい。この場合、特徴量の抽出や識別処理は、外接矩形など、抽出された領域を包含する領域を単位として行われてもよい。

図５は、第１の実施形態の調整用端末７の機能構成を示す機能ブロック図である。
調整用端末７は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、調整プログラムを実行する。調整用端末は、調整プログラムの実行によって通信部７１、記憶部７２、画像データ取得部７３、属性付与部７４及び撮像制御部７５を備える装置として機能する。なお、調整用端末７の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。調整プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。調整プログラムは、電気通信回線を介して送信されてもよい。

通信部７１は、自装置を機器ネットワーク４０に接続するための通信インターフェースを用いて構成される。通信部７１は、ネットワークハブ２又はゲートウェイサーバ３を介して、機器ネットワーク４０及び制御ネットワーク５０に接続された各種装置と通信する。

記憶部７２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成され、画像情報を記憶する。画像情報は、撮像部１２により取得された画像データと、その画像データの取得に関する属性情報とが対応付けられた情報である。画像情報は、属性付与部７４が画像データに属性情報を付与することによって対応づけられる。

画像データ取得部７３は、画像センサ１に対する背景画像の撮像指示がなされたことの通知（以下、「撮像指示通知」という。）を受け、画像センサ１から背景画像を取得する。この通知は、撮像制御部７５によって行われる。画像データ取得部７３は、取得した画像データを記憶部７２に保存する。

属性付与部７４は、撮像制御部７５から撮像指示通知を受け、その撮像指示に基づいて（すなわち、撮像部１２の撮像に同期して）、取得された画像データに付与する属性情報を取得する。具体的には、属性情報は、背景画像の撮像動作に関する撮像部１２の設定を示す撮像設定情報、又は撮像対象の空間の撮像時の状態に関する情報を示す空間状態情報である。例えば、撮像設定情報は、シャッタースピードやゲイン、ホワイトバランス等のカメラパラメータである。また、空間状態情報は、上記の人物情報や環境情報、人物情報又は環境情報の取得において生成された中間データなどの情報である。属性付与部７４は、これらの属性情報を画像センサ１から取得する。属性付与部７４は、記憶部７２に記憶された背景画像の画像データに、取得した属性情報を対応付けて画像情報を生成する。属性付与部７４は、生成した画像情報を記憶部７２に保存する。

撮像制御部７５は、画像センサ１に背景画像の撮像を指示する。例えば、撮像制御部７５は、他の装置から送信される指示や、キーボードやマウスなどの入力装置からの入力される指示に応じて、画像センサ１に背景画像の撮像指示を行う。撮像制御部７５は、画像センサ１に撮像指示を行ったことを、撮像指示通知によって画像データ取得部７３及び属性付与部７４に通知する。

このように構成された第１の実施形態の調整用端末７は、画像センサ１に背景画像の取得を指示するとともに、指示に応じて撮像された背景画像を画像センサ１から取得する。そして、調整用端末７は、取得した背景画像に属性情報を付与して蓄積する。このような機能を備えることにより、調整用端末７は、画像センサ１が用いる辞書情報の生成に必要な大量の事前画像の収集にかかる労力を削減することができる。また、このように、背景画像と、属性情報とが対応づけて取得されることによって、辞書情報の生成に必要な情報をまとめて取得することができる。

（第２の実施形態）
背景画像を収集するタイミングは、背景画像が変化する要因となりうる人が不在であるタイミングが望ましい。そのため、例えばビルなどの背景画像を収集する場合、人が入居する前の調整時に行われるのが一般的である。しかしながら、大規模ビルであれば数千台の画像センサが設置される場合もあり、調整員が各画像センサに対して、それぞれ画像取得の指示をしていると作業効率が低下する。そのため、第２の実施形態の調整用端末７ａは、背景画像の取得に関して予め設定された条件に基づいて、背景画像を自動的に収集する構成を備える。

図６は、第２の実施形態の調整用端末７ａの機能構成を示す機能ブロック図である。
第２の実施形態の調整用端末７ａは、記憶部７２に代えて記憶部７２ａを備える点、撮像制御部７５に代えて撮像制御部７５ａを備える点で第１の実施形態の調整用端末７と異なる。他の機能部は、調整用端末７と同様である。そのため、図６では、記憶部７２ａ及び撮像制御部７５ａ以外の機能部については、図５と同様の符号を付すことにより説明を省略する。

記憶部７２ａは、画像情報に加えて、背景画像の撮像に関する条件を示す撮像条件情報（取得条件情報）を記憶する点で第１の実施形態における記憶部７２と異なる。例えば、撮像条件情報は、画像収集の開始時刻、画像収集に要する所要時間、対象とする画像センサ１などを示す情報である。
撮像制御部７５ａは、撮像条件情報に基づいて、画像センサ１に背景画像の撮像を行わせるタイミングを制御する。

このように構成された第２の実施形態の調整用端末７ａは、予め設定された撮像条件に基づいて画像センサ１を制御することで、背景画像の収集を自動的に実行することができる。そのため、大量の背景画像の収集作業を効率化することが出来る。

なお、上記の撮像条件情報の設定は、どのような態様で行われてもよい。例えば、撮像制御部７５ａは、撮像条件情報を含むファイルを他の装置や記憶媒体から取得してもよい。また、撮像制御部７５ａは、撮像条件を入力する設定画面を自装置の表示部に表示させ、ユーザの入力に基づいて撮像条件情報を生成してもよい。また、設定画面は、背景画像の収集に関する指示をユーザが直接入力可能なように構成されてもよい。

調整用端末７ａがこのような機能を備えることにより、ユーザは、画像センサ１を用いた背景画像の収集作業を遠隔制御することも可能となる。例えば、ユーザは、対象の画像センサ１を目視で確認しつつ、背景画像の撮像指示を行うことが可能となる。

（第３の実施形態）
画像センサ１による動体と背景との識別の精度は、識別に用いられる辞書情報の質に左右される。そのため、動体と背景とを精度良く識別するためには、質の高い辞書情報が必要である。辞書情報の質は、辞書情報がどれだけ多くのパターンの背景画像に基づいて生成されているかによって決まる。そのため、背景画像に対する明るさの影響を考慮する場合、質の高い辞書情報を生成するには、明るさの異なる状況で撮像された背景画像が必要になる。しかしながら、このような撮像条件で背景画像を取得するのには多くの労力がかかる。そのため、第３の実施形態の調整用端末７ｂは、照明機器など空間の明るさに影響を与える機器を制御して、撮像対象の空間を撮像条件に応じた状態に変化させる構成を備える。

図７は、第３の実施形態の調整用端末７ｂの機能構成を示す機能ブロック図である。
第３の実施形態の調整用端末７ｂは、記憶部７２ａに代えて記憶部７２ｂを備える点、撮像制御部７５ａに代えて撮像制御部７５ｂを備える点、状態取得部７６及び制御信号生成部７７をさらに備える点で第２の実施形態の調整用端末７ａと異なる。他の機能部は、調整用端末７ａと同様である。そのため、図７では、記憶部７２ｂ、撮像制御部７５ｂ、状態取得部７６及び制御信号生成部７７以外の機能部については、図６と同様の符号を付すことにより説明を省略する。

記憶部７２ｂは、画像情報及び撮像条件情報に加え、検出対象の空間に関する各種設備の状態を示す設備状態情報を記憶する。

状態取得部７６（設備状態取得部）は、設備状態情報を定期的に取得して記憶部７２ｂに保存する。例えば、状態取得部７６は、ＢＥＭＳ４０から設備状態情報を取得する。

撮像制御部７５ｂは、撮像条件情報に基づいて、画像センサ１による背景画像の撮像を制御する。なお、本実施形態の撮像条件情報は、背景画像を取得する際の各設備の状態（以下、「撮像時状態」という。）に関する条件を含む。撮像制御部７５ｂは、撮像条件情報に基づいて各設備の撮像時状態を決定する。撮像制御部７５ｂは、決定した各設備の撮像時状態を制御信号生成部７７に通知することで、撮像対象の空間を撮像条件に応じた状態に変化させる。撮像制御部７５ｂは、設備状態情報に基づいて各設備の現在の状態を判断し、各設備の状態が撮像時状態となったタイミングで画像センサ１に背景画像の撮像を指示する。

制御信号生成部７７（機器制御部）は、検出対象の空間に関する各設備の動作を制御する制御信号を生成する。具体的には、制御信号生成部７７は、撮像制御部７５ｂから制御対象の設備の撮像時状態を取得し、各設備の状態を撮像時状態に変更する制御信号を生成する。制御信号生成部７７は、生成した制御信号を制御対象の各設備に送信する。

以下、撮像対象の空間に関する各種設備の制御について、タスク照明及びアンビエント照明の制御を例に説明する。

図８は、タスク照明及びアンビエント照明の具体例を示す図である。
ビルの照明機器には、例えば、天井に設置されたアンビエント照明と、作業者が必要に応じて机上に設置するタスク照明とがある。タスク照明は、視作業用の照度を確保するための照明機器であり、アンビエント照明は、視作業が行われる領域全体の照度を確保するための照明機器である。これらのアンビエント照明及びタスク照明の制御は「タスク・アンビエント制御」と呼ばれる。タスク・アンビエント制御は、制御対象の空間を、人が存在する空間であるタスク領域と、それ以外の空間であるアンビエント領域とに分けて、異なる照明機器を異なる条件で制御する方法である。タスク・アンビエント制御では、タスク領域には必要な照度を与え、その他の周辺領域には、これより低い照度を与えるのが一般的である。

図８の例の場合、人の在又は不在を検知するセンサ１００の検知結果に応じて、照明機器のタスク・アンビエント制御が行われる。符号１０１−１〜１０１−４が示す天井に設置された照明機器がアンビエント照明であり、符号１０２−１及び１０２−２が示す各机に設置された照明機器がタスク照明である。例えば、この場合、作業中の人がいる机のタスク照明１０２−１は、作業に必要な照度が確保されるように制御され、人がいない机のタスク照明１０２−２は消灯される。また、アンビエント照明１０１−１〜１０１−４は、周辺環境の明るさが確保されるように制御される。一般に、アンビエント照明は、タスク照明の１／２〜１／３の照度となるように制御される。

図９は、タスク・アンビエント制御の具体例を示す図である。
図９は、オフィスのレイアウトを示す図である。図９のオフィス天井には、アンビエント照明２００−１〜２００−４が設置されており、フロアには机２０１−１〜２０１−８が設置されている。この場合、画像センサ１によって、例えば、机２０１−３及び２０１−６に人がいることが判定された場合、タスク・アンビエント制御によって、机２０１−３及び２０１−６のタスク照明と、アンビエント照明２００−２及び２００−３が点灯される。

このようなタスク・アンビエント制御が行われる環境では、点灯する照明の箇所、点灯する照明の数、それぞれの照明の調光率などの影響により背景画像の映り方が大きく異なってくる。そのため、調整用端末７ｂは、タスク・アンビエント制御において発生しうる照明機器の状態（以下、「制御パターン」という。）を実現するように照明機器を制御した上で画像センサ１に背景画像を取得させる。例えば、調整用端末７ｂは、図９のように一部の照明機器が点灯した状態や、全ての照明機器が点灯した状態を実現して、それぞれの状態で撮像された背景画像を取得する。また、撮像対象の空間に複数の画像センサ１が設置される場合、調整用端末７ｂは、各画像センサ１に対応する設備で制御パターンを実現してもよいし、隣接する複数の画像センサ１に対応する設備で制御パターンを実現してもよい。各制御パターンにおける各機器の状態は予め撮像条件情報に設定されており、制御信号生成部７７によって各制御パターンが実現される。

このように構成された第３の実施形態の調整用端末７ｂは、撮像対象の空間の明るさに関する設備を撮像条件情報が示す状態となるように制御した後、画像センサ１に背景画像の取得を指示する。調整用端末７ｂがこのような機能を持つことによって、背景画像の収集をより柔軟に制御することが可能となり、背景画像の収集作業をより効率的に行うことが可能となる。

なお、撮像対象の空間の明るさの強度が強すぎる場合、取得される背景画像において白とびや黒潰れなどの撮像不良が発生する可能性がある。そのため、調整用端末７ｂは、撮像不良が発生した場合には、必要に応じて背景画像の再取得を行うように構成されてもよい。この場合、例えば、画像データ取得部７３は、取得した画像データに撮像不良が発生していないかを確認する。撮像不良が発生している場合、画像データ取得部７３は、撮像制御部７５ｂに、撮像不良が発生した画像データを通知する。撮像制御部７５ｂは、通知された画像データの撮像設定情報に基づいて、撮像不良が抑制されるようなカメラパラメータを算出する。撮像制御部７５ｂは、算出したカメラパラメータを画像センサ１に送信するとともに、背景画像の再取得を指示する。

以下、第３の実施形態の調整用端末７ｂの変形例について説明する。

動体と背景との識別を精度良く行うためには、照明による明るさの影響に加え、外光による明るさの影響を考慮する必要がある。そのため、質の高い辞書情報の生成には、外光が入射している状態で撮像された背景画像が必要になる。そのため、調整用端末７ｂは、太陽の位置と天候とに応じてブラインドを制御することで、外光が入射する状況を作り出すことが可能な構成を備えてもよい。

この場合、撮像条件情報は、撮像対象の空間におけるブラインドの状態に関する条件を示す。例えば、撮像条件情報は、太陽の位置や天候に応じて、ブラインドをどの程度開くかの条件を示す。撮像制御部７５ｂは、その日の天候を示す天候情報を外部のシステムや装置から取得する。また、撮像制御部７５ｂは、撮像対象の空間の位置や高さなどの位置情報と、太陽位置の予測モデルとに基づいて、撮像対象の空間から観察した任意の日時における太陽の位置を算出する。そして、撮像制御部７５ｂは、算出した太陽の位置情報と取得した天候情報とに基づいて、ブラインド装置の撮像時状態を決定する。撮像制御部７５ｂは、決定したブラインドの撮像時状態を制御信号生成部７７に通知することで、ブラインドの状態を撮像時状態に変更させる。

例えば、ビル内の空間が撮像対象の空間である場合、撮像制御部７５ｂは、その時点での太陽位置と当日の天候とに基づいて、ビルにおいて太陽光が当たっている場所を推定し、太陽光が当たっている場所のブラインドを開くように制御信号生成部７７に指示する。撮像制御部７５ｂは、ブラインドが開かれた後に、画像センサ１に背景画像の取得を指示する。

このような機能を備えることにより、調整用端末７ｂは、太陽の位置と当日の天候とに基づいて太陽位置を算出し、太陽位置に応じた場所のブラインド装置を制御して、太陽光が入射する状態の背景画像を取得する。このような機能を備えることにより、調整用端末７ｂは、太陽光が入射した状況における背景画像の取得を効率良く行うことができる。

なお、この場合、撮像制御部７５ｂは、太陽光の入射角度に応じて、ブラインドの開閉量や、開閉角度を変更してもよい。このような制御を行うことにより、調整用端末７ｂは、様々なパターンで外光が入射する状況で撮像された背景画像を取得することができる。

なお、このような制御は、明るさによって異なるパターンで撮像される背景画像をより多く取得することである。そのため、天候情報や太陽の位置情報に基づいてどのようにブラインドを制御するかは、任意の基準によって定められてよい。上記では空間に外光が入射する状況を作り出すためにブラインドを開ける制御を行う例を示したが、例えば、これとは逆に、外光が入射しない状況を作り出すためにブラインドを閉じる制御が行われてもよい。また、外光があまりない状況であってもブラインドを開放する制御が行われてもよい。

また、撮像制御部７５ｂは、撮像条件や太陽位置、当日や週間の天候などに基づいて、背景画像を取得するスケジュールを生成し、生成したスケジュールに基づいてブラインド装置を制御して背景画像を取得するように構成されてもよい。このような制御を行うことにより、調整用端末７ｂは、ビルの現地調整などの時間の制約がある状況において、効率的に背景画像を収集することができる。

（第４の実施形態）
上述したとおり、質の高い辞書情報の生成には、様々な条件下で撮像された背景画像が必要となる。しかしながら、このような背景画像を取得できる時間には制約があることも多い。例えば、ビルの工事中に行う現地調整では、他の工事との兼ね合いで十分な時間が確保できない可能性がある。また、ビルの完成後、人が入居した後では、このような調整時間を十分に確保することはより困難となる。そのため、第４の実施形態の調整用端末７ｃは、背景画像の取得に関する優先度を決定し、優先度に基づいて背景画像を収集する構成を備える。

図１０は、第４の実施形態の調整用端末７ｃの機能構成を示す機能ブロック図である。
第４の実施形態の調整用端末７ｃは、撮像制御部７５ｂに変えて撮像制御部７５ｃを備える点で、第３の実施形態の調整用端末７ｂと異なる。他の機能部は、調整用端末７ｂと同様である。そのため、図１０では、撮像制御部７５ｃ以外の機能部については、図７と同様の符号を付すことにより説明を省略する。

図１１は、撮像制御部７５ｃの機能構成の詳細を示す機能ブロック図である。
撮像制御部７５ｃは、所要時間算出部７５１及び優先度決定部７５２を備える。
所要時間算出部７５１は、撮像条件情報に基づいて、各撮像条件における背景画像の収集に要する所要時間を算出する。例えば、所要時間算出部７５１は、背景画像を取得する対象となる画像センサ１の台数と、１台の画像センサ１による背景画像の取得に要する時間とに基づいて、所定数の背景画像の取得に要する所要時間を算出する。また、例えば、所要時間算出部７５１は、制御信号生成部７７の制御対象となる各設備の台数や、制御信号の送受信に要する時間、各制御に要する時間等に基づいて、各設備の制御に必要となる時間を算出してもよい。所要時間算出部７５１は、このような各所要時間を算出することにより、各撮像条件における背景画像の収集に要する所要時間を算出する。所要時間算出部７５１は、算出した各撮像条件における所要時間を示す情報を優先度決定部７５２に出力する。

優先度決定部７５２は、所要時間算出部７５１から各撮像条件の背景画像収集における所要時間を示す情報を取得する。優先度決定部７５２は、取得した各撮像条件の所要時間に基づいて、各撮像条件の優先度を決定する。例えば、優先度決定部７５２は、制限時間内に取得可能な撮像条件について優先度を高く設定し、制限時間を超える撮像条件について優先度を低く設定する。また、例えば、優先度決定部７５２は、各設備の状態変更に要する所要時間が短い撮像条件について優先度を高く設定し、各設備の状態変更に要する所要時間が長い撮像条件について優先度を低く設定してもよい。また、例えば、優先度決定部７５２は、各撮像条件の所要時間が短い順に優先度を高く設定してもよい。

このように構成された第４の実施形態の調整用端末７ｃは、各撮像条件での背景画像の取得に要する各種の所要時間に基づいて、背景画像を取得する際の優先度を決定し、決定した優先度の順に背景画像を収集する。このような機能を備えることによって、調整用端末７ｃは、様々な条件下での背景画像の撮像を効率良く行うことができる。

以上説明した少なくともひとつの実施形態によれば、人を検出する対象の空間が撮像された画像を記憶する画像記憶部と、前記空間を撮像し前記空間の画像を取得する撮像部が前記空間を撮像するタイミングを制御する撮像制御部と、前記撮像部から前記空間の画像を取得し、取得した前記画像を、前記画像の取得に関する属性情報と対応づけて前記画像記憶部に記憶させる属性付与部と、を持つことにより、辞書情報の生成に必要な背景画像を効率良く収集することができる。

以下、上記の実施形態の調整用端末の変形例について説明する。

背景画像の撮像条件には、撮像対象の空間の場所に応じて異なる条件が設定されてもよい。例えば、ビルにおいて、執務室と廊下、エレベータホールなどの場所に応じた撮像条件が設定されてもよい。

また、画像センサに必要な辞書情報は、撮像対象の空間の使用用途、レイアウト、求められる検出精度などに応じて異なる場合がある。例えば、執務室と比較して、廊下は歩行者が多く、エレベータホールは立って待っている人が多い。このような場合、画像から検出される動体領域の面積や、動体の動きの時間間隔が異なる。そのため、調整用端末は、識別対象の空間の性質に応じて、背景画像の量を調整してもよい。

また、撮像対象の空間の使用用途によっては照明装置の制御パターンや、外光の取り入れ方が異なる。例えば、会議室であればプロジェクタの使用に応じて、エントランスホールでれば電光掲示板や大型テレビに撮像される映像に応じて、空間の明るさが変化する。このような場合、背景画像の撮像条件には、個々の空間の特性に応じた条件が設定されてもよい。この場合、撮像制御部は、制御信号生成部にプロジェクタや電光掲示板、大型テレビの制御を指示し、これらの機器によって異なる明るさとなった空間について背景画像を取得する。

また、背景画像は、人が不在の環境で取得することが望ましい。そのため、調整用端末は、画像センサ１による検知情報を取得して、人が不在のタイミングで画像取得を行うように構成されてもよい。また、複数の画像センサが設置された大きな部屋などでは、調整用端末は、部屋単位での制御ではなく、次の図１２のように、人が不在となったエリアごとに背景画像を取得するように制御してもよい。このような制御による背景画像の収集は、例えば、ビル引き渡し前の現地調整時だけでなく、ビル引き渡し後の運用時にも適用できる。このような背景画像の取得を行えば、ビルの運用中の背景画像を随時画像センサ１に学習させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１、１−１、１−２、１−３…画像センサ，１１…通信部，１２…撮像部，１３…画像記憶部，１４…辞書情報記憶部，１５…動体検出部，１６…動体判定部，１７…人判定部，２…ネットワークハブ，３…ゲートウェイサーバ，４…ＢＥＭＳ（Building Energy Management System），５…機器制御装置，６…可視化装置，７、７ａ、７ｂ、７ｃ…調整用端末，７１…通信部，７２、７２ａ、７２ｂ…記憶部，７３…画像データ取得部，７４…属性付与部，７５、７５ａ、７５ｂ、７５ｃ…撮像制御部，７５１…所要時間算出部，７５２…優先度算出部，７６…状態取得部，７７…制御信号生成部，１０…天井，２０…照明機器，３０…空調機器，４０…機器ネットワーク，５０…制御ネットワーク，１００…センサ，１０１−１〜１０１−４…アンビエント照明，１０２−１、１０２−２…タスク照明，２００−１〜２００−４…アンビエント照明，２０１−１〜２０１−８…机

Claims (12)

1. 画像から動体を検出する動体検出装置で利用される前記動体の背景画像を収集する画像収集装置であって、
   対象の空間が撮像された画像を記憶する画像記憶部と、
   前記空間の画像に基づいて前記空間に存在する人を検出する検出部と、
   前記検出部から前記空間における人の検出結果を取得し、前記検出結果に基づいて人が不在であるタイミングで前記空間を撮像するように撮像部を制御する撮像制御部と、
   前記撮像部から前記空間の画像を取得し、取得した前記画像を、前記画像に関する属性情報と対応づけて前記画像記憶部に記憶させる属性付与部と、
   を備える画像収集装置。
2. 前記属性情報は、前記撮像部が前記画像を取得した時の撮像動作に関して設定された情報を示す撮像設定情報を含む、
   請求項１に記載の画像収集装置。
3. 前記属性情報は、前記画像が取得された時の前記空間の状態を示す空間状態情報を含む、
   請求項１又は２に記載の画像収集装置。
4. 前記属性付与部は、前記タイミングに同期して前記撮像部から前記撮像設定情報を取得する、
   請求項２に記載の画像収集装置。
5. 前記撮像制御部は、前記撮像部による前記画像の取得に関する条件を示す取得条件情報に基づいて前記タイミングを制御する、
   請求項１から４のいずれか一項に記載の画像収集装置。
6. 前記空間の明るさを変化させる設備を制御する機器制御部と、
   前記設備の現在の状態を示す設備状態情報を取得する設備状態取得部と、
   をさらに備え、
   前記取得条件情報は、前記撮像部が前記画像を取得する際の前記設備の状態に関する条件を示し、
   前記撮像制御部は、前記取得条件情報によって示される条件が満たされるような前記設備の状態を前記設備の撮像時状態として決定し、前記設備状態情報に基づいて現在の前記設備の状態を判断し、現在の前記設備の状態が前記撮像時状態となったタイミングで前記撮像部に前記空間の撮像を指示し、
   前記機器制御部は、前記設備の状態が前記撮像時状態となるように前記設備を制御する、
   請求項５に記載の画像収集装置。
7. 前記取得条件情報は、前記撮像部が前記画像を取得する際の前記空間のブラインドの状態に関する条件を示し、
   前記設備状態情報は、前記ブラインドの現在の状態を示し、
   前記撮像制御部は、前記取得条件情報とその日の天候を示す天候情報とに基づいて、前記ブラインドの撮像時状態を決定し、現在の前記ブラインドの状態が前記撮像時状態となったタイミングで前記撮像部に前記空間の撮像を指示し、
   前記機器制御部は、前記ブラインドの状態が前記撮像時状態となるように前記ブラインドを制御する、
   請求項６に記載の画像収集装置。
8. 前記取得条件情報は、前記撮像部が前記画像を取得する際の前記空間のブラインドの状態に関する条件を示し、
   前記設備状態情報は、前記ブラインドの現在の状態を示し、
   前記撮像制御部は、前記取得条件情報と太陽の位置を示す太陽位置情報とに基づいて、前記ブラインドの撮像時状態を決定し、現在の前記ブラインドの状態が前記撮像時状態となったタイミングで前記撮像部に前記空間の撮像を指示し、
   前記機器制御部は、前記ブラインドの状態が前記撮像時状態となるように前記ブラインドを制御する、
   請求項６に記載の画像収集装置。
9. 前記取得条件情報は、前記画像の取得に関する複数の条件を示し、
   各条件での前記空間の画像の取得に要する所要時間を算出する所要時間算出部と、
   前記所要時間に基づいて、各条件の前記画像の取得に関する優先度を決定する優先度決定部と、
   をさらに備える、
   請求項５から８のいずれか一項に記載の画像収集装置。
10. 前記取得条件情報は、場所に応じた前記画像の取得条件を示し、
    前記撮像制御部は、前記取得条件情報に基づいて、撮像対象の空間の場所に応じた取得条件で前記撮像部に前記空間の撮像を指示する、
    請求項５から９のいずれか一項に記載の画像収集装置。
11. 画像から動体を検出する動体検出装置で利用される前記動体の背景画像を収集する画像収集方法であって、
    対象の空間が撮像された画像を画像記憶部に記憶させる画像記憶ステップと、
    前記空間の画像に基づいて前記空間に存在する人を検出する検出ステップと、
    前記検出ステップによる前記空間における人の検出結果を取得し、前記検出結果に基づいて人が不在であるタイミングで前記空間を撮像するように撮像部を制御する撮像制御ステップと、
    前記撮像部から前記空間の画像を取得し、取得した前記画像を、前記画像に関する属性情報と対応づけて前記画像記憶部に記憶させる属性付与ステップと、
    を有する画像収集方法。
12. 画像から動体を検出する動体検出装置で利用される前記動体の背景画像を収集する画像収集装置として機能するコンピュータに、
    対象の空間が撮像された画像を画像記憶部に記憶させる画像記憶ステップと、
    前記空間の画像に基づいて前記空間に存在する人を検出する検出ステップと、
    前記検出ステップによる前記空間における人の検出結果を取得し、前記検出結果に基づいて人が不在であるタイミングで前記空間を撮像するように撮像部を制御する撮像制御ステップと、
    前記撮像部から前記空間の画像を取得し、取得した前記画像を、前記画像に関する属性情報と対応づけて前記画像記憶部に記憶させる属性付与ステップと、
    をコンピュータに実行させるためのコンピュータプログラム。

Images