JP7254570B2 - 画像センサシステム、計算装置、センシング方法、およびプログラム - Google Patents

Description

本発明の実施形態は、画像センサシステム、計算装置、センシング方法、およびプログラムに関する。

近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在不在、あるいは人数などを計算することができる。この種の画像センサは、ビル管理システムと組み合わせて、快適性、居住性の向上や省エネルギー化の促進などに活用されようとしている。

再公表ＷＯ２０１３／１８７０４７号公報 特許第５９０３６３４号明細書 特開２０１７－２１５６９４号公報 再公表ＷＯ２０１０／０１３５７２号公報 特開２０１１－１９３１８７号公報

既存のセンサは、特定の場所の明るさや、人間の在不在などを検知できるに留まっているので、照明制御や空調などの用途ごとにセンサを設置する必要があった。このため配線が煩雑になったり、その都度、工事が必要になったりしてエンジニアリング作業の増大を招いていた。画像センサの能力を活かし、可用性を高めたシステムが要望されている。

そこで、目的は、可用性を高めた画像センサシステム、計算装置、センシング方法、およびプログラムを提供することにある。

実施形態によれば、画像センサシステムは、対象をセンシングする複数の画像センサと、画像センサと通信可能な計算装置とを具備する。各画像センサは、撮像部と画像処理部を備える。撮像部は、割り当てられたエリアを撮像して画像データを取得する。画像処理部は、画像データを画像処理してエリアにおける動き情報を検知する。計算装置は、取得部、記憶部、および統合処理部を備える。取得部は、画像センサごとに検知された動き情報を取得する。記憶部は、画像センサごとに割り当てられたエリアと、対象空間のマップとの対応関係を示すマップデータを記憶する。統合処理部は、取得された動き情報をマップデータに基づいて統合して、対象空間における動き情報を計算する。

図１は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。 図２は、ビルのフロア内の一例を示す図である。 図３は、図１に示される画像センサシステムの一例を示すブロック図である。 図４は、実施形態に係る画像センサの一例を示すブロック図である。 図５は、画像センサ３の基本的な処理手順を示すフローチャートである。 図６は、画像センサ３におけるデータの流れの一例を示す図である。 図７は、実施形態に係る管理端末２００の一例を示すブロック図である。 図８は、センサ座標系と基準座標系との関係の一例を示す図である。 図９は、管理端末２００の基本的な処理手順を示すフローチャートである。 図１０は、管理端末２００における動きベクトルのマッピング処理について説明するための図である。 図１１は、エリアに重複がある場合の動きベクトルの合成について説明するための図である。 図１２は、時系列で検知された動きベクトルの接続について説明するための図である。 図１３は、動きベクトルの補間について説明するための図である。 図１４は、動きベクトルの補正について説明するための図である。 図１５は、動きベクトル基づいて人の位置が予測可能であることを説明するための図である。 図１６は、動きベクトルの解析結果に基づくヒートマップの一例を示す図である。 図１７は、動きベクトルの解析結果に基づくカラーマップの一例を示す図である。 図１８は、管理端末２００におけるデータの流れの一例を示す図である。

画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば１台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。

［構成］
図１は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。図１において、照明機器１、空調機器２、および画像センサ３は、ビル１０の例えばフロアごとに設けられ、コントローラ４と通信可能に接続される。各階のコントローラ４は、ビル内ネットワーク５００を介して、例えばビル管理センタのＢＥＭＳ（Building Energy Management System）サーバ５と通信可能に接続される。ビル内ネットワーク５００の通信プロトコルとしてはBuilding Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））が代表的である。このほかＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等のプロトコルも知られている。

ＢＥＭＳサーバ５は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワーク３００経由で、クラウドコンピューティングシステム（クラウド）６００に接続されることができる。クラウド６００は、データベース７０およびサーバ８０を備え、ビル管理等に関するサービスを提供する。

図２に示されるように、照明機器１、空調機器２の吹き出し口、および画像センサ３は各フロアの例えば天井に配設される。画像センサ３には、それぞれのセンシング対象とするエリアが割り当てられる。図２において、エリアＡ１，Ａ２がそれぞれフロアのおよそ半分をカバーしていることが示される。すべてのエリアを合わせれば、対象空間のフロアをカバーすることができる。図中ハッチングで示すように、異なる画像センサ３の割り当てエリアの一部が重なっていてもよい（重複部分）。

画像センサ３は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ３において処理され、人物情報、あるいは環境情報などが計算される。すなわち画像センサ３は、対象空間における対象を検知（センシング）して、この対象に係わる特徴量を算出する。

環境情報は、対象とする空間（ゾーン）の環境に関する情報であり、例えば、フロアの照度や温度等である。人物情報は、対象空間における人間に関する情報である。例えばエリア内の人数、人の行動、人の活動量、人の存在または不在を示す在不在、あるいは、人が歩いているか、または１つの場所に留まっているかを示す歩行滞留などが人物情報の例である。

近年では、人の居住環境においてこれらの情報に基づき照明機器１や空調機器２を制御することで、人の快適性や安全性等を確保することが検討されている。環境情報および人物情報を、ゾーンを複数に分割した小領域ごとに算出することも可能である。この小領域を、画像センサ３ごとの割り当てエリアに対応付けてもよい。

実施形態では、対象の動きを示す動き情報に着目する。動き情報としては、対象の動きの大きさおよび方向を表す、動きベクトルが代表的である。これに代えて、対象の動きの大きさを示す量や、対象の動きの方向を示す量等のスカラー値も、動き情報として理解されることが可能である。

図３は、図１に示される画像センサシステムの一例を示すブロック図である。図３において、ＢＥＭＳサーバ５の配下に、空調機器２を制御する空調コントローラ４１、エレベータを制御するエレベーターコントローラ４２、防犯システムを制御する防犯コントローラ４３、防災システムを制御する防災コントローラ４４、および、照明機器１（１－１、１－２）を制御する照明コントローラ４５が、ビル内ネットワーク５００経由で接続される。

また、ビル内ネットワーク５００に、管理端末２００、およびゲートウェイ７１，７２がＢＥＭＳサーバ５と通信可能に接続される。ゲートウェイ７１は、複数の画像センサ３（３－１～３－ｎ）を配下として収容する。画像センサ３－１～３－ｎは、センサネットワーク１０１により、一筆書き状に接続される（渡り配線）。同様に、画像センサ３－１～３－ｍが、センサネットワーク１０２を介してゲートウェイ７２の配下に収容される。

センサネットワーク１０１，１０２のプロトコルとしては、例えばＥｔｈｅｒＣＡＴ（登録商標）が知られている。センサネットワーク１０１は、画像センサ３－１～３－ｎとゲートウェイ７１とを通信可能に接続する。センサネットワーク１０２は、画像センサ３－１～３－ｍとゲートウェイ７２とを通信可能に接続する。各ゲートウェイ７１，７２は、それぞれセンサネットワーク１０１，１０２とビル内ネットワーク５００との間でのプロトコル変換機能を有する。これにより、ＢＥＭＳサーバ５および管理端末２００も、ゲートウェイ７１，７２経由で画像センサ３－１～３－ｎ、３－１～３－ｍと相互通信することが可能である。

図４は、実施形態に係る画像センサ３の一例を示すブロック図である。画像センサ３は、撮像部としてのカメラ部３１と、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。メモリ３２とプロセッサ３３を備えることで、画像センサ３はコンピュータとして機能する。

カメラ部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、イメージセンサ３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、エリアを天井から見下ろす形で視野に捕え、イメージセンサ３１ｃに結像する。魚眼レンズ３１ａからの光量は絞り機構３１ｂにより調節される。イメージセンサ３１ｃは例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。
例えば、上記フレームレート、イメージセンサ３１ｃのゲインの値、露光時間など、センシングの感度や精度に影響を及ぼすパラメータは、プロセッサ３３により制御される。

メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、またはＮＡＮＤフラッシュメモリやＥＰＲＯＭ（Erasable Programmable ROM）などの不揮発性メモリであり、実施形態に係わる各種の機能をプロセッサ３３に実行させるためのプログラム３２ａと、カメラ部３１により取得された画像データ３２ｂを記憶する。さらにメモリ３２は、辞書データ３２ｃ、および動きベクトルデータ３２ｄを記憶する。

辞書データ３２ｃは、センシング項目と特徴量とを対応づけたテーブル形式のデータであり、例えば機械学習（Machine-Learning）等の手法により生成することが可能である。辞書データ３２ｃを用いた例えばパターンマッチング処理により、エリアにおける検出対象（人など）を識別することが可能である。

動きベクトルデータ３２ｄは、プロセッサ３３の画像処理部３３ａにより生成された、エリアにおける動きベクトルを示すデータである。動きベクトルデータ３２ｄは、例えば予め定められた期間（一日、一週間、あるいは一ヶ月など）にわたってメモリ３２に蓄積される。

このほか、メモリ３２には、マスク設定データなどが記憶されてもよい。マスク設定データは、カメラ部３１に捕えられた視野のうち、画像処理する領域（画像処理の対象領域）と、画像処理しない領域（画像処理の非対象領域）とを区別するために用いられる。

プロセッサ３３は、メモリ３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。

通信部３４は、センサネットワーク１０１（１０２）に接続可能で、通信相手先（ＢＥＭＳサーバ５、管理端末２００、または他の画像センサ３等）とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはスター型、リング型など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。

特に、通信部３４は、画像センサ３によるセンシングデータや、プロセッサ３３の処理結果、処理データ、パラメータ、画像データ、動きベクトルデータ、蓄積された過去の動きベクトルデータ、加工された動きベクトルデータ、統計解析データ、出力データ、パラメータ、辞書データ、ファームウェアなどを、通信ネットワークとしてのセンサネットワーク１０１（１０２）経由で送受信する。これにより、上記データや情報は、他の画像センサ３、ＢＥＭＳサーバ５、および管理端末２００等と、ビル内ネットワーク５００等を経由して共有されることが可能である。

ところで、プロセッサ３３は、実施形態に係る処理機能として、画像処理部３３ａ、および制御部３３ｂを備える。画像処理部３３ａ、および制御部３３ｂは、メモリ３２に記憶されたプログラム３２ａがプロセッサ３３のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム３２ａは、画像処理プログラム、および制御プログラムを含む。

画像処理部３３ａは、画像データ３２ｂを画像処理して、対象エリアにおける動きベクトル（オプティカルフロー）を検知する。これにより得られた動きベクトルデータは、メモリ３２に蓄積される（動きベクトルデータ３２ｄ）。

動きベクトルの解析に際して、画像データに特有の特徴量を利用することも可能である。特徴量としては、輝度勾配方向ヒストグラム（Histograms of Oriented Gradients：ＨＯＧ）、コントラスト、解像度、Ｓ／Ｎ比、および色調などがある。輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ－ＨＯＧ）特徴量、Haar-Like特徴量なども特徴量として知られている。

また、画像処理部３３ａは、在不在、人数、活動量、照度、歩行滞留、および前記動きベクトルを含むセンシング項目のうち、いずれかまたは複数のセンシング項目をセンシングする。エリアごとに、これらの複数のセンシング項目を設定することもできる。画像処理部３３ａは、エリアをさらに複数に分割したブロックごとに各センシング項目をセンシングし、ブロックごとのセンシング結果を統合して、エリアごとのセンシング結果を得ることも可能である。

制御部３３ｂは、管理端末２００からの通知に応じてセンシングの感度を可変する。例えば、他の画像センサのエリアから自らのエリアへと人が移動してくることを通知されると、制御部３３ｂはカメラ部３１に制御信号を与えて、デフォルトの状態よりもセンシング感度を高める。センシング感度を高めるには、イメージセンサのゲインを上げたり、物体検知に係わるしきい値を低下させたり、フレームレートを高速化したりするなどの手法がある。

図５は、図４に示される画像処理部３３ａの基本的な処理手順を示すフローチャートである。図５において、カメラ部３１で取得（ステップＳ１）された画像データ３２ｂは、メモリ３２に一時的に記憶されたのち（ステップＳ２）、画像処理部３３ａに送られる。画像処理部３３ａは、画像データ３２ｂを画像処理して、在不在判定（ステップＳ３）、人数推定（ステップＳ４）、活動量推定（ステップＳ５）、照度推定（ステップＳ６）、歩行滞留判定（ステップＳ７）、および動きベクトル算出（ステップＳ８）の各処理を実行し、これらの項目を画像データ３２ｂからセンシングする。

これらのセンシング項目の全てを常時、同時にセンシングしても良い。または、必要に応じて個別にセンシングしてもよい。項目ごとの処理の周期は、例えばフレーム周期に同期して全ての項目で同じであっても良いし、項目ごとに異なっていても良い。

在不在については、例えば背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、在不在を判定することができる。ゾーンがエリアに分割されていれば（エリア分割）、エリアごとに人物領域があるか否かを判定し、エリアごとの在不在を推定することができる。さらに、照明変動判定などによる誤検知抑制機能を持たせることも可能である。

人数については、例えば背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、人物領域から個人を検知して人数を推定することができる。エリア分割がある場合には、個人の位置を推定し、エリアごとに人数を推定することができる。

活動量については、フレーム間差分などを用いて動き領域を抽出し、活動量を推定することができる。活動量を、例えば、無／小／中／大などのように複数の段階に分類しても良い。あるいはＭＥＴｓ（Metabolic equivalents）等の指標で活動量を表してもよい。さらに、エリア分割の設定があれば、エリアごとに動き領域を抽出し、エリアごとの活動量を推定することができる。

照度については、画像データ３２ｂと、ゲイン、露光時間などのカメラ情報に基づいて推定することができる。カメラ情報（３０ａ）は、カメラ部３１のレジスタ３０から取得することができる。エリア分割の設定があれば、エリアごとに画像を分割し、分割した画像とカメラ情報からエリアごとの照度を推定することができる。

歩行滞留については、フレーム間差分などを用いて動き領域を抽出し、歩行滞留を判定することができる。エリア分割の設定があれば、エリアごとに動き領域を抽出し、エリアごとの歩行滞留を推定することができる。

動きベクトルについては、画像データ３２ｂを画像処理して、例えばブロックマッチング法、あるいは勾配法などのアルゴリズムにより、動きベクトルを算出することができる。算出された動きベクトルは、メモリ３２に蓄積される（動きベクトルデータ３２ｄ）。

以上のようにして、各センシング項目のセンシングデータを得ることができる。通信部３４は、これらのセンシングデータや項目の算出に係る各種のパラメータなどをセンサネットワーク１０１（１０２）経由で管理端末２００に通信する（ステップＳ１０）。

図６は、画像センサにおけるデータの流れの一例を示す図である。図６において、カメラ部３１で取得された画像データ３２ｂはメモリ３２に一時的に記憶されたのち、プロセッサ３３の画像処理部３３ａに送られる。画像処理部３３ａは、画像データ３２ｂを画像処理して、動きベクトルデータを生成する。得られた動きベクトルデータ３２ｄは、メモリ３２に蓄積される。

通信部３４は、生成された動きベクトルデータ３２ｄを含む各種のデータを、センサネットワーク１０１（１０２）、ゲートウェイ７１（または７２）、ビル内ネットワーク５００経由で管理端末２００やＢＥＭＳサーバ５に送信する。

図７は、図３に示される管理端末２００の一例を示す機能ブロック図である。計算装置の一例としての管理端末２００は、ＣＰＵやＭＰＵ（Micro Processing Unit）等のプロセッサ２５０と、ＲＯＭ（Read Only Memory）２２０およびＲＡＭ（Random Access Memory）２３０を備えるコンピュータである。管理端末２００は、さらに、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）などの記憶部２４０、光学メディアドライブ２６０、通信部２７０、および、種々の情報を表示するモニタ２１０を備える。

ＲＯＭ２２０は、ＢＩＯＳ（Basic Input Output System）やＵＥＦＩ（Unified Extensible Firmware Interface）などの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ２３０は、記憶部２４０からロードされたプログラムやデータを一時的に記憶する。

光学メディアドライブ２６０は、ＣＤ－ＲＯＭ２８０などの記録媒体に記録されたディジタルデータを読み取る。管理端末２００で実行される各種プログラムは、例えばＣＤ－ＲＯＭ２８０に記録されて頒布される。このＣＤ－ＲＯＭ２８０に格納されたプログラムは光学メディアドライブ２６０により読み取られ、記憶部２４０にインストールされる。

通信部２７０は、ビル内ネットワーク５００経由で画像センサ３、ＢＥＭＳサーバ５等と通信するための機能を備える。管理端末２００で実行される各種プログラムを、例えば通信部２７０を介してサーバからダウンロードし、記憶部２４０にインストールすることもできる。通信部２７０を介してクラウド６００（図１）から最新のプログラムをダウンロードし、インストール済みのプログラムをアップデートすることもできる。また、管理端末２００は、ビル内ネットワーク５００およびゲートウェイ７１，７２経由で、画像センサ３に辞書データをダウンロード送信することができる。

記憶部２４０は、プロセッサ２５０により実行されるプログラム２４０ａに加えて、動きベクトルデータ２４０ｂ、統計解析データ２４０ｃ、設計データ２４０ｄ、および、マップデータ２４０ｅを記憶する。

動きベクトルデータ２４０ｂは、画像センサ３－１～３－ｎ、３－１～３－ｍから収集された動きベクトルである。画像センサ３－１～３－ｎ、３－１～３－ｍは、当該画像センサごとの座標系（センサ座標系と称する）で検知した動きベクトルを送信する。これを収集した管理端末２００は、各センサの動きベクトルを、基準座標系における動きベクトルに変換する。基準座標系としては、例えばフロアマップ上の位置を定めるＸＹ座標系を採ることができる。収集直後の動きベクトルデータと、変換後の動きベクトルデータの双方を、動きベクトルデータ２４０ｂに含めてもよい。

常時生成される動きベクトルデータを記憶部２４０に蓄積してもよいし、時間や期間を指定し、その期間だけの動きベクトルデータを蓄積してもよい。また、全ての画像データからの動きベクトルデータを蓄積してもよいし、選択された何れかのの画像データからの動きベクトルデータを蓄積してもよい。

統計解析データ２４０ｃは、記憶部２４０に蓄積された動きベクトルデータ２４０ｂを統計的に解析して生成される。

設計データ２４０ｄは、画像センサ３－１～３－ｎ、３－１～３－ｍのそれぞれの、対象空間における設置位置と、カメラ部３１（あるいは魚眼レンズ３１ａ）の指向方向等を含むデータである。つまり設計データ２４０ｄは、フロアマップ上の各位置座標と、それぞれの画像センサ３の画像データを構成する画素との対応関係を一意に決定するために用いられるデータである。
マップデータ２４０ｅは、画像センサ３ごとの割り当てエリアと、対象空間のマップとの対応関係を示すデータである。

プロセッサ２５０は、ＯＳ（Operating System）および各種のプログラムを実行する。また、プロセッサ２５０は、実施形態に係る処理機能として、取得部２５０ａ、マップ作成部２５０ｂ、統合処理部２５０ｃ、解析部２５０ｄ、動きベクトル加工部２５０ｅ、予測部２５０ｆ、通知部２５０ｇ、および、データ加工部２５０ｈを備える。

これらの機能ブロックは、プログラム２４０ａがＲＡＭ２３０にロードされ、当該プログラムの実行の過程で生成されるプロセスとして、理解され得る。つまりプログラム２４０ａはコンピュータである管理端末２００を、取得部２５０ａ、マップ作成部２５０ｂ、統合処理部２５０ｃ、解析部２５０ｄ、動きベクトル加工部２５０ｅ、予測部２５０ｆ、通知部２５０ｇ、および、データ加工部２５０ｈとして動作させる。

取得部２５０ａは、画像センサ３－１～３－ｎ、３－１～３－ｍのそれぞれで検知された動きベクトルデータを取得する。取得された動きベクトルデータは、記憶部２４０に記憶される（動きベクトルデータ２４０ｂ）。
マップ作成部２５０ｂは、設計データ２４０ｄに基づいてマップデータ２４０ｅを作成する。すなわちマップ作成部２５０ｂは、各画像センサ３の設置位置や向き、さらには、配線や通信順などのデータに基づいて、マップデータ２４０ｅを生成する。

図８は、センサ座標系と基準座標系との関係の一例を示す図である。画像センサ３Ａ，３Ｂ，３Ｃ，３Ｄを例にとり、それぞれの割り当てエリアは４×４の１６個のブロックで構成されるとする。図８おいて、広さ順にフロア＞エリア＞ブロックの関係があるとする。

図８において、画像センサ３Ａ，３Ｂ，３Ｃ，３Ｄは、自らの割り当てエリアにおける動きベクトルをそれぞれのセンサ座標系で検知し、管理端末２００に通知する。管理端末２００は、通知された動きベクトルを統合し、全てのエリアを合わせた４×４×４＝６ブロック分のフロアマップ上での動きベクトルを算出する。この算出された動きベクトルが、すなわち基準座標系で表されるものになる。

画像センサ３Ａ，３Ｂ，３Ｃ，３Ｄの基準座標系における位置（Ｘ，Ｙ）、および取り付け向きθは設計データ２４０ｄに記録されているので、これらの情報に基づいて座標変換を行うことができる。画像センサ３で撮像された画像データの各画素は、各画像センサ３において、画像中心からの距離と角度で表現できる。そして、基準座標系におけるマップ上の画像センサ３の設置位置と設置向きとが分かれば、画像センサ３の各画素の位置とマップ上の位置との対応付けを行うことができる。各画素の対応位置をマップデータ２４０ｅに格納しても良いし、都度、計算しても良い。

統合処理部２５０ｃは、画像センサ３ごとの動きベクトルデータをマップデータ２４０ｅに基づいて統合して、対象空間における動きベクトルを計算する。すなわち統合処理部２５０ｃは、マップデータ２４０ｅに基づいて、複数の画像センサ３の動きベクトルデータをフロアマップに対応付けたマップ対応データを作成する。なお、動きベクトルの統合とは、複数の動きベクトルを単に接続するだけでなく、統計的な処理に基づく補間、あるいは補正などの処理を含んでもよい。

また、統合処理部２５０ｃは、画像センサ同士の割り当てエリアの重複部分においては、各画像センサでそれぞれ検知された動きベクトルを互いに整合させるための処理を行う。例えば、二つの動きベクトルを１：１で均等に合成してもよいし、何れかに重みをつけてもよい。統合処理部２５０ｃは、個々の画像センサによる動きベクトルを全体として最適となるように合成し、マップ全体を対象として接続する。これにより、フロアマップ全体で整合を取りつつ、動きベクトルを合成することができる。

解析部２５０ｄは、記憶部２４０に蓄積された動きベクトルデータ２４０ｂを統計的に解析し、統計解析データ２４０ｃを生成する。統計解析により、局所での動きベクトルからフロア全体での各種事象を判定することができる。統計解析にはリアルタイムデータ、または蓄積データのいずれを用いてもよい。解析方法としては、動きベクトルの分布を解析したり、重ね合わせてヒートマップ解析したり、動きベクトルを重ね合わせて軌跡推定したりする。例えば混雑度、群衆行動、レイアウト推定、待ち行列推定、オフィスの使用率、工場の稼働状況などの事象を定量的に求めることができる。また、対象の移動速度やその変化、移動距離などを推定し、解析することもできる。さらに、工場の設備など、稼働状況を推定してもよい。

動きベクトル加工部２５０ｅは、例えば統計解析データ２４０ｃを参照し、フロアマップ上での動きベクトルを補完、あるいは補正する。例えば、魚眼レンズを使用することに伴って生じる画像の歪みに対応するため、動きベクトル加工部２５０ｅは、動きベクトルを補正する。

予測部２５０ｆは、統計解析データ２４０ｃに基づいて、フロアにおける対象（人（ＨＵＭＡＮ）など：図８）の動きを予測する。
通知部２５０ｇは、予測部２５０ｆによる予測の結果、エリアを跨いでの人の移動が発生することが予測されると、移動先のエリアを受け持つ画像センサにそのことを通知する。例えば図８において、画像センサ３Ｄのエリアにいる人が画像センサ３Ｂのエリアに移動することが予測されると、通知部２５０ｇは、『画像センサ３Ｄのエリアから人が移動してくる』ことを、画像センサ３Ｂに通知する。つまり、移動元エリア（画像センサ３Ｄのエリア）から人が移動してくることが、移動先のエリア（画像センサ３Ｂのエリア）を受け持つ画像センサ３Ｂに通知される。通知を受けた画像センサ３Ｂは、必要に応じて、センシング感度を可変する等の制御を行う。

このほか通知部２５０ｇは、算出された動きベクトルデータ２４０ｂをビル内ネットワーク５００経由でＢＥＭＳサーバ５に送信し、例えばシステム管理者に各種の情報を通知する。また、対象空間に混雑が発生したり、人流が乱れたり、設備の動きが異常になったなどの事象が検知されると、通知部２５０ｇは、その旨を通信ネットワーク経由で管理者に通知する。

データ加工部２５０ｈは、動きベクトルデータ２４０ｂおよび統計解析データ２４０ｃのいずれか、またはその両方を加工し、出力用データを生成する。例えば、フロアにおける人の移動の様子や混雑度、あるいは動線などをカラーマップで表示するためのデータ（表示画像など）をデータ加工部２５０ｈは生成する。生成されたデータはビル内ネットワーク５００経由でＢＥＭＳサーバ５等に送信される。

［作用］
図９は、管理端末２００の基本的な処理手順を示すフローチャートである。図９において、管理端末２００は、各画像センサ３から、それぞれの画像センサ３において個別に検知された動きベクトルデータを取得し（ステップＳ２０）、記憶部２４０に蓄積する（ステップＳ２１）。次に管理端末２００は、統合処理部２５０ｃにより、上記蓄積された動きベクトルを共通の座標系にマッピングする（ステップＳ２２）。

図１０（ａ）、および図１０（ｂ）を、それぞれ異なる画像センサにおいて検知された動きベクトルとする。これらの動きベクトルを、管理端末２００はマップデータ２４０ｅに基づいて統合し、フロアマップに対応する動きベクトルデータ（図１０（ｃ））を算出する。

図１１（ａ），（ｂ）に示されるように、異なる画像センサの割り当てエリアに重複部分がある場合には、統合処理部２５０ｃはそれぞれの画像センサで検知された動きベクトルを互いに整合させて合成する（図１１（ｃ））。

図１２（ａ），（ｂ），（ｃ）は、時系列的に変化する動きベクトルがこの順で検知されたことを示す。このような動きベクトルが観測された場合、管理端末２００は、複数の画像センサの時間軸上での動きベクトルを統計的に解析し、図１２（ｄ）に示されるように、マップ全体を対象として動きベクトルを接続する。

さらに管理端末２００は、図９のフローチャートにおいて、統計解析データ２４０ｃに基づき、マップ全体での動きベクトルから局所的な動きベクトルを補完および／または補正する（ステップＳ２３）。
図１３（ａ）および（ｃ）の間の動きベクトルが図１３（ｃ）のように欠損していたとしても、例えば統計解析データ２４０ｃを用いることで、図１３（ｄ）に示されるように動きベクトルを補完することができる。

図１４（ａ）および（ｃ）に着目すると、図１４（ｂ）の動きベクトルは、時系列的な関係を満たさないので誤差を含むことがわかる。そこで管理端末２００は、例えば統計解析データ２４０ｃを用いて動きベクトルを補正し、図１４（ｄ）に示される補正後の動きベクトルを算出する。

補間および補正を経たマップ全体での動きベクトルが得られると、管理端末２００は、マップ全体での動きベクトルを統計的に解析し、統計解析データを作成する。この統計解析データに基づき、管理端末２００は、フロア上で発生する各種の事象を判定する（ステップＳ２４）。

図１５に示されるように、管理端末２００は、マップ全体での動きベクトルに基づいて人の移動先の位置（またはエリア）を予測する。判定された事象および予測位置は、ビル内ネットワーク５００および通信ネットワーク経由で、ＢＥＭＳサーバ５や管理者等に通知される。さらに管理端末２００は、図１６に示されるような、マップ全体での動きベクトルの見える化画像を作成する（ステップＳ２５）。

図１６は、動きベクトルの分布、方向、密度などを色分けして示す画像（ヒートマップ）の一例を示す図である。例えば、人が良く通るエリア（動きベクトルが密）を赤色、人があまり通らないエリア（動きベクトルが疎）を黄色、その中間をオレンジなどの色分けで示すことにより（カラーマップ）、例えばフロアにおける混雑度や動線を一目で把握することができる。もちろん、動きベクトルの長さ（大きさ）や方向に応じて色分けしてもよい。この種のヒートマップは、例えばオフィスフロア、空港、あるいは駅のコンコースなどに適用することが可能である。

動きベクトルの解析結果を活用することで、オフィスや店舗、公共施設や工場などの現状を把握し、改善を図ることができる。例えば以下の２例が代表的である。
（１） オフィス改善の例
会議室などの利用率を分析し、利用率の低い領域を別の用途に変更する。フリーアドレスのオフィスや兼務者の領域などの在席率を推定し、不要な領域を別の用途に変更する。動線がスマートなレイアウトに変更する。
（２） 店舗改善の例
人通りの多いところに広告を表示する。動線に合わせて関連商品を配置する。

あるいは、食堂などの混雑上状況をほぼリアルタイムで把握し、利用者のスマートフォンに表示する、などのアプリケーションも考えられる。
図１７に示されるように、所定の空間（食堂など）のエリアごとに混雑状況を色分けし、Ｗｅｂ経由でアクセス可能なヒートマップとして公開すれば、利用者への便宜を図ることができる。

図１８は、管理端末２００におけるデータの流れの一例を示す図である。図１８において、統合処理部２５０ｃは、記憶部２４０に蓄積されたマップデータ２４０ｅを読み出し、統合して、マップ上での動きベクトルデータ２４０ｂを生成する。解析部２５０ｄはこの動きベクトルデータ２４０ｂを解析し、動きベクトル加工部２５０ｅによって動きベクトルの補完、補正処理が行われる。また、データ加工部２５０ｈにより、動きベクトルに基づくヒートマップ、カラーマップ、人の移動の様子や混雑状況、動線などのデータが作成され、通信部２７０経由でＢＥＭＳサーバ５などに送信される。

［効果］
以上説明したようにこの実施形態では、複数の画像センサ３でセンシングされた動きベクトルを管理端末２００に収集／蓄積し、基準座標系における統合された動きベクトルを算出するようにした。また、このようにして得たフロアマップ上での動きベクトルを統計的に解析し、対象空間における統計解析データを生成するようにした。これにより空間全体での動線や利用率、混雑度などを推定することが可能になる。

また実施形態では、動きベクトルの解析により得られる情報を管理者などに通知するようにした。例えば、混雑が発生した、人流が乱れた、設備の動きが異常になったなどの情報を管理者に通知することができる。
また、解析の結果から制御指示を生成し、各種機器を制御してもよい。例えば、在不在／歩行滞留／推定照度による照明制御／空調制御、推定人数／活動量による空調制御、指定人数によるエレベータ運行制御、あるいはセキュリティドアの開閉制御などに適用可能である。
これらのことから、実施形態によれば、可用性を高めた画像センサシステム、計算装置、センシング方法およびプログラムを提供することが可能になる。

なお、この発明は上記実施形態に限定されるものではない。例えば、計算装置としての管理端末２００に実装した各種機能を、ゲートウェイ７１，７２、あるいはＢＥＭＳサーバ５に実装してもよい。

また、人の移動が予測されると、移動先エリアを受け持つ画像センサにそのことを通知し、画像センサ側でセンシング感度などの制御量を決めるようにした。これに代えて、通知先の画像センサにおける制御量を管理端末２００の側で計算し、得られた制御量を画像センサ側に通知するようにしてもよい。

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…照明機器、２…空調機器、３，３－１～３－ｍ，３－１～３－ｎ…画像センサ、３Ａ，３Ｂ，３Ｃ，３Ｄ…画像センサ、４…コントローラ、５…ＢＥＭＳサーバ、１０…ビル、１５…プロセッサ、３０…レジスタ、３０ａ…カメラ情報、３１…カメラ部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…イメージセンサ、３２…メモリ、３２ａ…プログラム、３２ｂ…画像データ、３２ｃ…辞書データ、３２ｄ…動きベクトルデータ、３３…プロセッサ、３３ａ…画像処理部、３３ｂ…制御部、３４…通信部、３５…内部バス、４１…空調コントローラ、４２…エレベーターコントローラ、４３…防犯コントローラ、４４…防災コントローラ、４５…照明コントローラ、７０…データベース、７１，７２…ゲートウェイ、８０…サーバ、１０１，１０２…センサネットワーク、２００…管理端末、２１０…モニタ、２２０…ＲＯＭ、２３０…ＲＡＭ、２４０…記憶部、２４０ａ…プログラム、２４０ｂ…動きベクトルデータ、２４０ｃ…統計解析データ、２４０ｄ…設計データ、２４０ｅ…マップデータ、２５０…プロセッサ、２５０ａ…取得部、２５０ｂ…マップ作成部、２５０ｃ…統合処理部、２５０ｄ…解析部、２５０ｅ…動きベクトル加工部、２５０ｆ…予測部、２５０ｇ…通知部、２５０ｈ…データ加工部、２６０…光学メディアドライブ、２７０…通信部、３００…通信ネットワーク、５００…ビル内ネットワーク、６００…クラウド。

Claims (17)

1. 対象をセンシングする複数の画像センサと、
   前記画像センサと通信可能な計算装置とを具備し、
   前記画像センサは、
   割り当てられたエリアを撮像して画像データを取得する撮像部と、
   前記画像データを画像処理して前記エリアにおける動き情報を検知する画像処理部と、
   前記センシングの感度を可変する制御部とを備え、
   前記計算装置は、
   前記画像センサごとに検知された動き情報を取得する取得部と、
   前記画像センサごとに割り当てられたエリアと、対象空間のマップとの対応関係を示すマップデータを記憶する記憶部と、
   前記取得された動き情報を前記マップデータに基づいて統合して、前記対象空間における動き情報を計算する統合処理部と、
   前記取得された動き情報を蓄積する蓄積部と、
   前記蓄積された動き情報を統計的に解析して統計解析データを生成する解析部と、
   前記統計解析データに基づいて前記対象の動きを予測する予測部と、
   前記対象の移動先エリアを割り当てられた画像センサに、前記予測の結果に基づいて当該対象の移動を通知する通知部とを備え、
   前記制御部は、
   前記通知に応じて前記センシングの感度を可変する、画像センサシステム。
2. 前記制御部は、フレームレート、前記撮像部のゲインの値、および露光時間の少なくともいずれかを制御して、前記センシングの感度を可変する、請求項１に記載の画像センサシステム。
3. 前記計算装置は、前記統計解析データに基づいて前記動き情報を補完および／または補正する動き情報加工部をさらに備える、請求項１に記載の画像センサシステム。
4. 前記解析部は、前記統計解析データに基づいて、前記対象空間における動線、利用率、混雑度、群衆行動、レイアウト推定、待ち行列推定、オフィスの使用率、および、工場の稼働状況の少なくともいずれかを推定する、請求項１に記載の画像センサシステム。
5. 前記解析部は、前記動き情報の解析結果に基づいて、前記動き情報の分布、方向、および密度の少なくともいずれかを色分けして示すカラーマップを作成する、請求項１に記載の画像センサシステム。
6. 前記計算装置は、前記動き情報または前記統計解析データの少なくともいずれか一方を加工して出力用データを生成するデータ加工部をさらに備える、請求項１に記載の画像センサシステム。
7. 前記記憶部は、
   前記複数の画像センサの設置位置および前記撮像部の指向方向を含む設計データを記憶し、
   前記計算装置は、前記設計データに基づいて前記マップデータを作成するマップ作成部をさらに備える、請求項１に記載の画像センサシステム。
8. 前記統合処理部は、
   異なる画像センサに割り当てられたエリアの重複部分において、当該異なる画像センサでそれぞれ検知された動き情報を互いに整合させて前記対象空間における動き情報を計算する、請求項１に記載の画像センサシステム。
9. 前記統合処理部は、
   異なる画像センサで検知された前記動き情報を時系列順に接続して前記対象空間における動き情報を計算する、請求項１に記載の画像センサシステム。
10. 前記動き情報は、前記対象空間における前記対象の動きの大きさを示す量である、請求項１に記載の画像センサシステム。
11. 前記動き情報は、前記対象空間における前記対象の動きの方向を示す量である、請求項１に記載の画像センサシステム。
12. 前記動き情報は、前記対象空間における前記対象の動きの大きさおよび方向を含む動きベクトルである、請求項１に記載の画像センサシステム。
13. 前記画像処理部は、前記対象空間における在不在、人数、活動量、照度、歩行滞留、人物認識、属性識別および前記動き情報を含むセンシング項目のうち複数のセンシング項目をセンシングする、請求項１に記載の画像センサシステム。
14. 前記解析部は、前記カラーマップを、前記対象空間の領域ごとに混雑状況を色分けし、Ｗｅｂ経由でアクセス可能なヒートマップとして公開する、請求項５に記載の画像センサシステム。
15. 対象をセンシングして、割り当てエリアにおける動き情報を検知する複数の画像センサと通信可能な計算装置であって、
    前記画像センサごとに検知された動き情報を取得する取得部と、
    前記画像センサごとに割り当てられたエリアと、対象空間のマップとの対応関係を示すマップデータを記憶する記憶部と、
    前記取得された動き情報を前記マップデータに基づいて統合して、前記対象空間における動き情報を計算する統合処理部と、
    前記取得された動き情報を蓄積する蓄積部と、
    前記蓄積された動き情報を統計的に解析して統計解析データを生成する解析部と、
    前記統計解析データに基づいて前記対象の動きを予測する予測部と、
    前記対象の移動先エリアを割り当てられた画像センサに、前記予測の結果に基づいて当該対象の移動を通知する通知部とを備える、計算装置。
16. コンピュータにより実行されるセンシング方法であって、
    前記コンピュータが、対象をセンシングして割り当てエリアにおける動き情報を検知する複数の画像センサから、当該画像センサごとに検知された動き情報を取得する過程と、
    前記コンピュータが、前記画像センサごとに割り当てられたエリアと対象空間のマップとの対応関係を示すマップデータに基づいて、前記取得された動き情報を統合して、前記対象空間における動き情報を計算する過程と、
    前記コンピュータが、前記取得された動き情報を蓄積する過程と、
    前記コンピュータが、前記蓄積された動き情報を統計的に解析して統計解析データを生成する過程と、
    前記コンピュータが、前記統計解析データに基づいて前記対象の動きを予測する過程と、
    前記コンピュータが、前記対象の移動先エリアを割り当てられた画像センサに、前記予測の結果に基づいて当該対象の移動を通知する過程と、
    前記画像センサが、前記通知に応じて前記センシングの感度を可変する過程とを具備する、センシング方法。
17. 対象をセンシングして割り当てエリアにおける動き情報を検知する複数の画像センサと通信可能なコンピュータに、
    前記画像センサごとに検知された動き情報を取得する過程と、
    前記画像センサごとに割り当てられたエリアと対象空間のマップとの対応関係を示すマップデータに基づいて、前記取得された動き情報を統合して、前記対象空間における動き情報を計算する過程と、
    前記取得された動き情報を蓄積する過程と、
    前記蓄積された動き情報を統計的に解析して統計解析データを生成する過程と、
    前記統計解析データに基づいて前記対象の動きを予測する過程と、
    前記対象の移動先エリアを割り当てられた画像センサに、前記予測の結果に基づいて当該対象の移動を通知する過程とを実行させる、プログラム。

Images