JP2023023492A - 画像センサシステム、計算装置、センシング方法、およびプログラム - Google Patents
画像センサシステム、計算装置、センシング方法、およびプログラム Download PDFInfo
- Publication number
- JP2023023492A JP2023023492A JP2021129073A JP2021129073A JP2023023492A JP 2023023492 A JP2023023492 A JP 2023023492A JP 2021129073 A JP2021129073 A JP 2021129073A JP 2021129073 A JP2021129073 A JP 2021129073A JP 2023023492 A JP2023023492 A JP 2023023492A
- Authority
- JP
- Japan
- Prior art keywords
- space
- data
- image sensor
- usage data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims description 18
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 230000010354 integration Effects 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 31
- 238000012800 visualization Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 239000003086 colorant Substances 0.000 description 5
- 238000004378 air conditioning Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003750 conditioning effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】空間の使用率を算出できる画像センサシステムを提供する。【解決手段】対象空間に設置される複数の画像センサと、計算装置とを具備する画像センサシステムであって、画像センサは、割り当てエリアの画像データを取得する撮像部と、画像データを画像処理してエリアにおける動体の分布を示す空間使用データを生成するプロセッサと、を備える。計算装置は、取得部、記憶部、統合処理部及び空間使用率算出部を備える。取得部は、画像センサから空間使用データを取得する。記憶部は、対象空間とエリアとの対応関係を示すマップデータを記憶する。統合処理部は、取得された空間使用データをマップデータに基づいて統合して、対象空間における空間使用データを生成する。空間使用率算出部は、対象空間における空間使用データに基づいて、動体が対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出する。【選択図】図5
Description
本発明の実施形態は、画像センサシステム、計算装置、センシング方法、およびプログラムに関する。
近年の画像センサは、CPU(Central Processing Unit)やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、視野内を動く人間等の在・不在、あるいは人数などを計算することができる。以下、画像センサの視野内を移動して検出対象になり得る物体を、動体と称する。例えば人や動物などの生物、稼働部を備える機械(ファクシミリ装置等)、あるいは非生物の移動体(車両(無人搬送車を含む)等)が動体である。
人流データは、動体の移動する度合いをデータ化した指標である。人流データを用いれば、人の動きの激しい場所を濃い色で、動きのあまりない場所を薄い色で表現したりして、人間の目視確認に有効な情報を作成することができる(ヒートマップ)。つまり、人流データは、個々の人がどのように動いたかを蓄積して得られるデータで、人を主体として議論されるデータといえる。
これとは異なる観点から、動体が空間を使用している度合いを数値化したいというニーズが高まってきている。例えば、人がその場に留まっている度合いを数値として算出し、その値を空調や照明の制御システムに与えることでより快適な空間を作り出すことが考えられている。しかしながら、動体が空間を使用している度合いを数値として算出できるようにした技術は知られていない。既存の技術では密度や混雑度などの指標が知られているに過ぎず、機器に直接入力可能な、いわば動体の空間使用率と称することのできる指標を求めることはできなかった。まして、センサ単独での検知範囲を超えるような、大空間に関する指標を得るための技術は知られていない。
そこで、目的は、空間の使用率を算出できる画像センサシステム、計算装置、センシング方法、およびプログラムを提供することにある。
実施形態によれば、画像センサシステムは、対象空間に設置される複数の画像センサと、画像センサと通信可能な計算装置とを具備する。画像センサは、それぞれ割り当てられたエリアの画像データを取得する撮像部と、画像データを画像処理して当該エリアにおける動体の分布を示す空間使用データを生成するプロセッサとを備える。計算装置は、取得部、記憶部、統合処理部、および空間使用率算出部を備える。取得部は、複数の画像センサから空間使用データを取得する。記憶部は、対象空間とエリアとの対応関係を示すマップデータを記憶する。統合処理部は、取得された空間使用データをマップデータに基づいて統合して、対象空間における空間使用データを生成する。空間使用率算出部は、対象空間における空間使用データに基づいて、動体が対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出する。
画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズなどの広角レンズを用いれば、1台の画像センサで撮影可能な領域を拡大できる。画像の歪みは計算処理で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。魚眼カメラで撮像した画像データを処理し、各種のセンシングデータを得ることができる。通信機能を持つ画像センサも知られており、IoT(Internet of Things)技術との親和性も高い。さらには、ビッグデータ解析のためのエッジデバイスとしても期待されている。以下では、この種のセンサを用いたシステムの一例について説明する。
<構成>
図1は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。図1において、照明設備1、照明コントローラ4、および画像センサ3(3-1~3-n)は、ビル400の例えばフロアごとに設けられ、ゲートウェイ装置7と通信可能に接続される。各階のゲートウェイ装置7は、ビル内ネットワーク8を介して、例えばビル管理センタのBEMS(Building Energy Management System)サーバ5と通信可能に接続される。
図1は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。図1において、照明設備1、照明コントローラ4、および画像センサ3(3-1~3-n)は、ビル400の例えばフロアごとに設けられ、ゲートウェイ装置7と通信可能に接続される。各階のゲートウェイ装置7は、ビル内ネットワーク8を介して、例えばビル管理センタのBEMS(Building Energy Management System)サーバ5と通信可能に接続される。
BEMSサーバ5は、例えばTCP/IP(Transmission Control Protocol / Internet Protocol)ベースの通信ネットワーク10経由で、クラウドコンピューティングシステム(クラウド)100に接続されることができる。クラウド100は、サーバ200およびデータベース300を備え、ビル管理等に関するサービスを提供する。
図2は、ビル400内のフロアの一例を示す図である。図2に示されるように、照明設備1、空調機器2の吹き出し口、および画像センサ3は各フロアの例えば天井に配設される。画像センサ3には、それぞれのセンシング対象とするエリアが割り当てられる。図2において、エリアA1,A2がそれぞれフロアのおよそ半分をカバーしていることが示される。すべてのエリアを合わせれば、対象空間のフロアをカバーすることができる。図中ハッチングで示すように、異なる画像センサ3の割り当てエリアの一部が重なっていてもよい。
画像センサ3は、割り当てられたエリアを見下し画角で視野内に捉え、視野内を撮像して画像データを取得する。この画像データは画像センサ3において処理され、人物情報、あるいは環境情報などの、各種のセンシングデータが生成される。すなわち画像センサ3は、自らに割り当てられたエリアのセンシングデータを生成する。
環境情報は、エリアの環境に関する情報であり、例えば、フロアの照度や温度等である。人物情報は、エリアにおける人間に関する情報である。例えばエリア内の人数、人の行動、人の活動量、人の存在または不在を示す在不在、などが人物情報の例である。近年では、これらの情報に基づき照明機器や空調機器を制御することで、居住環境における人の快適性や安全性等を向上させることが検討されている。環境情報および人物情報を、対象空間を複数に分割した小領域ごとに算出することも可能である。この小領域を、画像センサ3ごとの割り当てエリアに対応付けてもよい。
実施形態では、空間使用率という量を導入する。空間使用率は、動体が空間を使用している度合い(使用率)を示す指標である。例えば、空間使用率は、人が留まっている度合いを場所ごとに示す指標である。空間を使用することとは、例えば、席に座ってオフィスワークを行うことでもよい。また、空間内の通路や階段を移動することでもよい。あるいは、店舗等で売り場を歩き回ることであっても良い。
図3は、図1に示される画像センサシステムの一例を示すブロック図である。図3において、ゲートウェイ装置7、管理端末20、BEMSサーバ5、および照明コントローラ4がビル内ネットワーク8に接続され、ビルシステムを形成する。ビル内ネットワーク8の通信プロトコルとしてはBuilding Automation and Control Networking protocol(BACnet(登録商標))が代表的である。このほかDALI、ZigBee(登録商標)、ECHONET Lite(登録商標)等のプロトコルも知られている。
ゲートウェイ装置7は、複数の画像センサ3(3-1~3-n)を配下として収容する。画像センサ3-1~3-nは、センサネットワーク9により、一筆書き状に接続される(渡り配線)。センサネットワーク9は、画像センサ3-1~3-nとゲートウェイ装置7とを通信可能に接続する。センサネットワーク9のプロトコルとしては、例えばEtherCAT(登録商標)が知られている。
ゲートウェイ装置7は、センサネットワーク9とビル内ネットワーク8との間での通信プロトコルを変換する。よってBEMSサーバ5、および管理端末20は、画像センサ3-1~3-nと相互に通信できる。BEMSサーバ5は、画像センサ3-1~3-nからセンシングデータを取得してビル400の空調や照明を制御する。
管理端末20は、画像センサ3-1~3-nに個別にアクセスし、コマンドの投入や各種の設定を行う。照明コントローラ4は、BEMSサーバ5からの制御に基づいて照明設備1を制御する。
図4は、実施形態に係る画像センサ3の一例を示すブロック図である。画像センサ3は、撮像部31、メモリ32、プロセッサ33、および通信部34を備える。これらは内部バス35を介して互いに接続される。メモリ32およびプロセッサ33を備える画像センサ3は、コンピュータである。
撮像部31は、いわゆる魚眼カメラであり、広角レンズとしての魚眼レンズ31a、絞り機構31b、イメージセンサ31cおよびレジスタ30を備える。魚眼レンズ31aは、エリアを天井から見下ろす形(見下し画角)で視野内に捕え、イメージセンサ31cに結像する。魚眼レンズ31aからの光量は絞り機構31bにより調節される。イメージセンサ31cは例えばCMOS(相補型金属酸化膜半導体)センサであり、例えば毎秒30フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、原画像のデータとして出力される。この画像データはメモリ32に記憶される(画像データ32b)。
レジスタ30は、カメラ情報30aを記憶する。カメラ情報30aは、例えばオートゲインコントロール機能の状態、フレームレート、ゲインの値、露光時間などの、撮像部31に関する情報、あるいは画像センサ3それ自体に関する情報である。
メモリ32は、SDRAM(Synchronous Dynamic RAM)などの半導体メモリ、またはNANDフラッシュメモリやEPROM(Erasable Programmable ROM)などの不揮発性メモリである。メモリ32は、プロセッサ33を機能させるためのプログラム32aと、撮像部31で取得された画像データ32b、およびパラメータ32cを記憶する。
プロセッサ33は、例えばマルチコアCPU(Central Processing Unit)を備え、画像処理を高速で実行することについてチューニングされたLSI(Large Scale Integration)である。MPU(Micro Processing Unit)、あるいはFPGA(Field Programmable Gate Array)等でプロセッサ33を構成することもできる。プロセッサ33は、内蔵レジスタ(図示せず)に読み込まれたプログラム32aを実行して、実施形態において説明する各種の機能を実現する。
通信部34は、センサネットワーク9に接続可能で、通信相手先(ゲートウェイ装置7、管理端末20、他の画像センサ3、あるいはBEMSサーバ5等)とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはライン配線、リング配線、ツリー配線など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。通信の対象はリアルタイムデータ、あるいは蓄積データのいずれでもよい。さらに、常時通信や要求時通信などを選択することも可能である。
特に、通信部34は、画像センサ3によるセンシングデータや、プロセッサ33の処理結果、処理データ、マップ情報、画像解析に係わるパラメータ、空間使用率を算出する基となる各種画像(ヒートマップなど)、原画像、処理結果画像などの各種画像、空間使用率算出アルゴリズム、レイアウトマップなどの各種パラメータ、あるいは、その他の事象用の各種パラメータ(辞書データなど)を、通信ネットワークとしてのセンサネットワーク9経由で送受信する。これにより、上記データや情報は、ゲートウェイ装置7、他の画像センサ3、BEMSサーバ5、および管理端末20等と、ビル内ネットワーク8等を経由して共有されることができる。
ところで、プロセッサ33は、実施形態に係る処理機能として、空間使用データ生成部33aを備える。空間使用データ生成部33aは、メモリ32のプログラム32aがプロセッサ33のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ33が演算処理を実行することで生成されるプロセスとして、理解され得る。
空間使用データ生成部33aは、メモリ32の画像データ32bを画像処理し、複数のフレームごとに、それぞれ人物が存在する領域(人物領域)を検出する。人物領域は複数のフレームにわたって蓄積される。そして、空間使用データ生成部33aは、例えば既定の蓄積時間についてのフレーム間の平均値として、空間使用データを生成する。ここで、上記蓄積時間は例えば管理端末20から任意の値を設定することが可能で、パラメータ32cに登録される。空間使用データは、配列データとして表現されても良いし、あるいはヒートマップのように画像として表現されても良い。
画像処理としては、背景差分やフレーム間差分、テンプレートマッチングや機械学習、あるいはディープラーニングなどの手法を適用することが可能である。人物領域の単位は、例えば、画素単位、ブロック単位、エリア単位、画像全体、あるいはこれらの混合などを任意に設定することができる。これも、例えば管理端末20から任意に可変することが可能で、設定された値はパラメータ32cに登録される。
パラメータは、撮像部31の視野と実空間上の面積とを対応付けるための指標であり、実施形態では、複数の種類にわたって記憶されることができる。パラメータの例としては、対象空間の天井高さや検知範囲などの数値、フロアのレイアウトマップ、あるいは領域分割されたレイアウトマップ等を挙げることができる、これらはいずれもメモリ32のパラメータ32cに登録され、プロセッサ33により適宜読み出されて使用される。
図5は、実施形態に係るゲートウェイ装置7の一例を示す機能ブロック図である。計算装置の一例としてのゲートウェイ装置7は、CPUやMPU(Micro Processing Unit)等のプロセッサ75と、ROM(Read Only Memory)72およびRAM(Random Access Memory)73を備えるコンピュータである。ゲートウェイ装置7は、さらに、記憶部74および通信部77を備える。
ROM72は、組み込みOS(Operating System)、各種ファームウェアなどの基本プログラム、および各種の設定データ等を記憶する。RAM73は、記憶部74からロードされたプログラムやデータを一時的に記憶する。
通信部77は、ビル内ネットワーク8経由で画像センサ3、BEMSサーバ5等と通信するための機能を備える。ゲートウェイ装置7で実行される各種プログラムを、例えば通信部77を介してサーバからダウンロードし、記憶部74にインストールすることもできる。通信部77からビル内ネットワーク8を介してクラウド100(図1)にアクセスし、最新のプログラムをダウンロードして内部のプログラムをアップデートすることもできる。
記憶部74は、プロセッサ75により実行されるプログラム74aに加えて、マップデータ74b、空間使用データ74c、空間使用率74d、および、アルゴリズム74eを記憶する。
マップデータ74bは、画像センサ3ごとの割り当てエリアと、対象空間のマップとの対応関係を示すデータである。
空間使用データ74cは、画像センサ3-1~3-nから収集された空間使用データである。画像センサ3-1~3-nは、それぞれ自らに割り当てられたエリアについて算出した空間使用データをを送信する。これを収集したゲートウェイ装置7は、各センサの空間使用データを統合し、対象空間に関する空間使用データに変換する。
空間使用率74dは、プロセッサ75により算出された空間使用率である。空間使用率74dは、所定の期間にわたって蓄積される。
アルゴリズム74eは、プロセッサ75により空間使用率を算出する際に使用されるアルゴリズムである。
アルゴリズム74eは、プロセッサ75により空間使用率を算出する際に使用されるアルゴリズムである。
プロセッサ75は、各種のプログラムを実行する。また、プロセッサ75は、実施形態に係る処理機能として、取得部75a、統合処理部75b、空間使用率算出部75c、予測部75d、分析部75e、および、可視化部75fを備える。これらの機能ブロックは、プログラム74aがRAM73にロードされ、当該プログラムの実行の過程で生成されるプロセスとして、理解され得る。つまりプログラム74aは、コンピュータであるゲートウェイ装置7を取得部75a、統合処理部75b、空間使用率算出部75c、予測部75d、分析部75e、および、可視化部75fとして動作させる。
取得部75aは、画像センサ3-1~3-nのそれぞれで検知されたセンシングデータとしての空間使用データを取得する。取得された空間使用データは、記憶部74に記憶され、蓄積される(空間使用データ74c)。
統合処理部75bは、マップデータ74bに基づいて空間使用データ74cを統合して、対象空間における空間使用データを生成する。
統合処理部75bは、マップデータ74bに基づいて空間使用データ74cを統合して、対象空間における空間使用データを生成する。
空間使用率算出部75cは、上記取得された空間使用データ74cに基づいて空間使用率を算出する。空間使用率は、様々に定義することができる。つまり、異なるアルゴリズム(関数)に基づいて種々の空間使用率を算出することができる。個々のアルゴリズムは記憶部74に記憶され(アルゴリズム74c)、プロセッサ75により読み出されて使用される。どのアルゴリズムにより空間使用率を算出するかは、例えば管理端末20から任意に設定することができる。
例えば、空間使用率の異なる定義の例として、算出の単位を挙げることができる。つまり、対象空間全体を単位として空間使用率を算出するか、または、個々のブロックを単位として空間使用率を算出するかを定義することができる。ブロックは、例えば各座席としてもよいし、複数のブロックをまとめた単位をブロックとして定義しても良い。ブロックをどのように設定するかなどの情報は、例えば管理端末20から任意に設定することができる。
また、計算式における分母と分子を異なる量に設定し、複数の空間使用率の定義とすることもできる。例えば、分母を画像上の面積、あるいは実空間上の面積とすれば、少なくとも2種類の空間使用率を定義することができる。さらに、分母を画像全体またはエリア内の、過去に人物が存在した領域の面積と定義しても良い。その際、過去1日の平均値、過去1週間の平均値、過去1か月の平均値、季節ごとの平均値、あるいは年単位での平均値というように、参照時間を定義することもできる。分母に対する参照時間は、空間使用率の算出の際の蓄積時間と同じでも、異なっていてもよい。分母に適用される量、および参照時間は例えば管理端末20から任意に設定することができる。
分子としては、例えば人物領域の面積を適用することができる。人物に一つ以上の条件付けをし、一つ以上の人物領域の面積として分子を定義することもできる。条件付けの例としては、例えば動きの大きさ(オフィスワークしていている人、歩行している人など)がある。また、姿勢(立っている人、座っている人など)、服装(制服を着ている人、スーツを着ている人など)、属性(男女、年代)なども、条件付けの例として用いることができる。さらには、視野内の個人を特定し、個人ごとの領域面積を分子として用いれば、当該個人の空間使用率を計算することができる。
また、空間使用率の定義の例として、空間単位(ゾーン、フロア、複数フロア、ビル全体、組織単位(課、部)など過去に人物が存在した領域の面積)、あるいは時間単位(時間、日、週、月、年、営業日、休日など)を設定することができる。
さらに、プロセッサ75は、空間使用率を算出する領域を対象空間に設定する。例えば、オフィスフロアの椅子ごとに領域を設定し、それぞれの椅子に人がどのくらいの時間座っているかを示す量(着席率)を、空間使用率として定義することができる。領域の設定には、例えばセマンティックセグメーションなどの手法を適用することができる。
予測部75dは、蓄積された空間使用率74dに基づいて、将来の空間使用率を予測する。例えば、明日の空間使用率を予測することにより、明日の混雑場所を予測することができる。
分析部75eは、蓄積された空間使用率74dに基づいて、当該空間使用率に関する傾向を分析する。対象空間にわたって統合した空間使用率を分析することにより、例えば、特定の曜日や特定の季節、特異日などにおいて、特定の場所が混雑するなどの、有意な傾向を抽出することができる。
可視化部75fは、プロセッサ75により算出された空間使用率、将来の空間使用率、あるいは空間使用率の傾向を可視化し、ユーザに視覚的に訴求できるようにする。可視化処理としては、例えば、空間使用率のグラフ化、またはヒートマップ化を挙げることができる。
<作用>
次に、上記構成における作用を説明する。
図6は、実施形態に係わる画像センサ3の処理手順の一例を示すフローチャートである。図6において、画像センサ3は、撮像部31で取得(ステップS11)した画像データ32bをメモリ32に記憶し、蓄積する(ステップS12)。記憶された画像データ32bは、空間使用データ生成部33aに渡される。
次に、上記構成における作用を説明する。
図6は、実施形態に係わる画像センサ3の処理手順の一例を示すフローチャートである。図6において、画像センサ3は、撮像部31で取得(ステップS11)した画像データ32bをメモリ32に記憶し、蓄積する(ステップS12)。記憶された画像データ32bは、空間使用データ生成部33aに渡される。
空間使用データ生成部33aは、設定されたパラメータのもとで画像データ32bを画像処理し、空間使用データを生成する(ステップS13)。生成された空間使用データは、通信部34からセンサネットワーク9経由でゲートウェイ装置7に送信される。
図7は、画像センサ3の撮像部31の視野内の画像の一例を示す図である。図7は、ある特定の時点を捉えた1フレームの画像を示し、この時点における人物の居場所が捉えられている。着席している人もいれば、歩行中の人物もいる。撮像部31は、時系列の画像データ(フレーム)をメモリ32に蓄積する。そして、一定の期間にわたる画像データを処理して、例えばセルごとの人物の存在期間を反映する空間使用データが生成される。
図8は、画像センサ3におけるデータの流れの一例を示す図である。図8において、撮像部31で取得された画像データ32bは、メモリ32に一時的に記憶されたのち、プロセッサ33の空間使用データ生成部33aに渡される。空間使用データ生成部33aは、メモリのパラメータ32cを用いて、画像データ32bから空間使用データを生成する。生成された空間使用データは、通信部34からゲートウェイ装置7に送信される。
図9は、ゲートウェイ装置7の処理手順の一例を示すフローチャートである。図9において、ゲートウェイ装置7は画像センサ3-1~3-nと通信し(ステップS21)、画像センサ3-1~3-nにおいて個別に検知された空間使用率データ(センシング情報)を取得して記憶部74に蓄積する(ステップS22)。次にゲートウェイ装置7は、統合処理部75bにより、蓄積された空間使用データ74cを共通の対象空間に対して統合する。
ゲートウェイ装置7は、この統合した空間使用データに所定の計算アルゴリズム(計算式)を適用して空間使用率を算出し(ステップS23)記憶部74に蓄積する(ステップS24)。
次に、ゲートウェイ装置7は、蓄積された空間使用率74dを分析して、例えば所定の期間にわたる種々の傾向を算出するとともに(ステップS25)、例えば統計的な解析により、将来の空間使用率を予測する(ステップS26)。
次に、ゲートウェイ装置7は、空間使用率を可視化して可視化データを作成し(ステップS27)、この可視化データをBEMSサーバ5や管理端末20等に送信する(ステップS28)。
次に、ゲートウェイ装置7は、蓄積された空間使用率74dを分析して、例えば所定の期間にわたる種々の傾向を算出するとともに(ステップS25)、例えば統計的な解析により、将来の空間使用率を予測する(ステップS26)。
次に、ゲートウェイ装置7は、空間使用率を可視化して可視化データを作成し(ステップS27)、この可視化データをBEMSサーバ5や管理端末20等に送信する(ステップS28)。
図10は、空間使用率の一例を示す模式図である。対象空間に対して設定されたセル(マス目)ごとに、人物の滞在期間がグラフィカルに示される。図10においては、例えば60分を最大値とし、滞在期間が10分になるまで、例えば4ランクの濃さで着席時間が可視化される。蓄積された画像データから着席時間を可視化し、さらに分析することで、例えば(2021年MM月DD日の、9:00~10:00における[着席率]は、48%)といった値が算出される。この[着席率]が、空間使用率の一例である。
図11は、ゲートウェイ装置7におけるデータの流れの一例を示す図である。図11において、通信部77は、画像センサ3-1~3-nからセンサネットワーク9経由で空間使用データを取得し、蓄積する。統合処理部75bは、記憶部74に蓄積された、画像センサ(エリア)ごとの空間使用データ74cを読み出し、統合して、対象空間における空間使用率データを生成する。空間使用率算出部75cは、対象空間での空間使用率データから所定のアルゴリズムにより空間使用率を生成する。対象空間についての空間使用率は、分析部75eに渡されて各種の傾向が求められるとともに、予測部75dに渡されて将来の空間使用率が計算される。そして可視化部75fにより、現在の空間使用率、空間使用率の傾向、および将来の空間使用率が可視化され、図12、図13に示すような可視化データが得られる。この可視化データは通信部77に渡されて宛先に向け送信される。
図12は、空間使用率の分布、方向、密度などを色分けして示す画像(ヒートマップ)の一例を示す図である。例えば、人が良く通るエリア(空間使用率が密)を赤色、人があまり通らないエリア(空間使用率が疎)を黄色、その中間をオレンジなどの色分けで示すことにより(カラーマップ)、例えばフロアにおける混雑度や動線を一目で把握することができる。もちろん、空間使用率の長さ(大きさ)や方向に応じて色分けしてもよい。この種のヒートマップは、例えばオフィスフロア、空港、あるいは駅のコンコースなどに適用することが可能である。
空間使用率の分析結果を活用することで、オフィスや店舗、公共施設や工場などの現状を把握し、改善を図ることができる。例えば以下の2例が代表的である。
(1) オフィス改善の例
会議室などの利用率を分析し、利用率の低い領域を別の用途に変更する。フリーアドレスのオフィスや兼務者の領域などの在席率を推定し、不要な領域を別の用途に変更する。動線がスマートなレイアウトに変更する。
(2) 店舗改善の例
人通りの多いところに広告を表示する。動線に合わせて関連商品を配置する。
(1) オフィス改善の例
会議室などの利用率を分析し、利用率の低い領域を別の用途に変更する。フリーアドレスのオフィスや兼務者の領域などの在席率を推定し、不要な領域を別の用途に変更する。動線がスマートなレイアウトに変更する。
(2) 店舗改善の例
人通りの多いところに広告を表示する。動線に合わせて関連商品を配置する。
あるいは、食堂などの混雑上状況をほぼリアルタイムで把握し、利用者のスマートフォンに表示する、などのアプリケーションも考えられる。
図13に示されるように、所定の空間(食堂など)のエリアごとに混雑状況を色分けし、Web経由でアクセス可能なヒートマップとして公開すれば、利用者への便宜を図ることができる。
図13に示されるように、所定の空間(食堂など)のエリアごとに混雑状況を色分けし、Web経由でアクセス可能なヒートマップとして公開すれば、利用者への便宜を図ることができる。
<効果>
以上説明したようにこの実施形態では、画像センサ3-1~3-nにおいてエリアごとに撮像した画像データから、空間使用率を算出する基となるデータとしての空間使用データをそれぞれ算出する。画像センサ3-1~3-nは、このエリアごとの空間使用データを、センシングデータとしてゲートウェイ装置7に送信する。ゲートウェイ装置7は、取得した空間使用データをマップデータ74bに基づいて統合して対象空間の単位での空間使用データを生成し、さらに、この統合された空間使用データから、機器制御のためのデータとしての空間使用率を算出するようにした。つまり、カラーマップ等の空間使用データの算出にとどまらず、制御対象の機器に直接投入することの可能な制御量を、対象空間の全体にわたって算出できるようにした。従って、画像センサ単体では得られない、詳細な空間使用率を算出することができ、これによりビルにおける空調制御、照明制御の自由度や精度を飛躍的に高めることが可能になる。
以上説明したようにこの実施形態では、画像センサ3-1~3-nにおいてエリアごとに撮像した画像データから、空間使用率を算出する基となるデータとしての空間使用データをそれぞれ算出する。画像センサ3-1~3-nは、このエリアごとの空間使用データを、センシングデータとしてゲートウェイ装置7に送信する。ゲートウェイ装置7は、取得した空間使用データをマップデータ74bに基づいて統合して対象空間の単位での空間使用データを生成し、さらに、この統合された空間使用データから、機器制御のためのデータとしての空間使用率を算出するようにした。つまり、カラーマップ等の空間使用データの算出にとどまらず、制御対象の機器に直接投入することの可能な制御量を、対象空間の全体にわたって算出できるようにした。従って、画像センサ単体では得られない、詳細な空間使用率を算出することができ、これによりビルにおける空調制御、照明制御の自由度や精度を飛躍的に高めることが可能になる。
また実施形態では、空間使用率を算出するにあたり、複数のパラメータと、複数の計算式(アルゴリズム)とをゲートウェイ装置7に予め登録しておき、異なるパラメータ、アルゴリズムのもとでの空間使用率を算出できるようにした。このようにしたので、対象とする空間や建物の特性に応じた空間使用率を算出することが可能になる。例えば月ごと、季節ごと等の空間使用率の傾向を利用することで、オフィスの機器レイアウトの改善に役立てることが可能になる。
これらのことから実施形態によれば、空間の使用率を算出できる画像センサ、センシング方法、およびプログラムを提供することができる。これにより、例えば、人が留まっている度合いを場所ごとに示す指標を出力できるようになり、機器制御との親和性を高めた画像センサシステムを提供できる。
なお、この発明は上記実施形態に限定されるものではない。例えば、撮像部31において魚眼レンズに限定されず、鏡面を利用したいわゆるパノラマレンズなどの、他の形式の広角レンズを用いることも可能である。
また、検知の対象は人物に限定されず、人物とは異なる物体であっても良い。例えばオフィスにおける背景を検知・識別するための背景辞書、机を検知するための机辞書、椅子を検知するための椅子辞書、あるいは什器や複合機などを検知するための辞書を用いれば、人物だけでなく、様々な対象を検知することができる。
また、計算装置としてのゲートウェイ装置7に実装した各種機能を、管理端末20、あるいはBEMSサーバ5に実装してもよい。
また、計算装置としてのゲートウェイ装置7に実装した各種機能を、管理端末20、あるいはBEMSサーバ5に実装してもよい。
本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…照明設備、2…空調機器、3…画像センサ、3-1~3-n…画像センサ、4…照明コントローラ、5…BEMSサーバ、7…ゲートウェイ装置、8…ビル内ネットワーク、9…センサネットワーク、10…通信ネットワーク、20…管理端末、30…レジスタ、30a…カメラ情報、31…撮像部、31a…魚眼レンズ、31b…絞り機構、31c…イメージセンサ、32…メモリ、32a…プログラム、32b…画像データ、32c…パラメータ、33…プロセッサ、33a…空間使用データ生成部、34…通信部、35…内部バス、72…ROM、73…RAM、74…記憶部、74a…プログラム、74b…マップデータ、74c…空間使用データ、74d…空間使用率、74e…アルゴリズム、75…プロセッサ、75a…取得部、75b…統合処理部、75c…空間使用率算出部、75d…予測部、75e…分析部、75f…可視化部、77…通信部、100…クラウド、200…サーバ、300…データベース、400…ビル。
Claims (10)
- 対象空間に設置される複数の画像センサと、
前記画像センサと通信可能な計算装置とを具備し、
前記画像センサは、
それぞれ割り当てられたエリアの画像データを取得する撮像部と、
前記画像データを画像処理して当該エリアにおける動体の分布を示す空間使用データを生成するプロセッサとを備え、
前記計算装置は、
前記複数の画像センサから前記空間使用データを取得する取得部と、
前記対象空間と前記エリアとの対応関係を示すマップデータを記憶する記憶部と、
前記取得された空間使用データを前記マップデータに基づいて統合して、前記対象空間における空間使用データを生成する統合処理部と、
前記対象空間における空間使用データに基づいて、動体が前記対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出する空間使用率算出部とを備える、画像センサシステム。 - 前記計算装置は、
前記算出された空間使用率を蓄積する記憶部と、
前記蓄積された空間使用率に基づいて将来の空間使用率を予測する予測部をさらに備える、請求項1に記載の画像センサシステム。 - 前記計算装置は、
前記算出された空間使用率を蓄積する記憶部と、
前記蓄積された空間使用率に基づいて前記空間使用率に関する傾向を分析する分析部をさらに備える、請求項1に記載の画像センサシステム。 - 前記計算装置は、
前記算出された空間使用率を可視化する可視化部をさらに備える、請求項1に記載の画像センサシステム。 - 前記計算装置は、
前記算出された空間使用率を蓄積する記憶部と、
前記蓄積された空間使用率に基づいて将来の空間使用率を予測する予測部と、
前記将来の空間使用率を可視化する可視化部とをさらに備える、請求項1に記載の画像センサシステム。 - 前記計算装置は、
前記算出された空間使用率を蓄積する記憶部と、
前記蓄積された空間使用率に基づいて前記空間使用率に関する傾向を分析する分析部と、
前記空間使用率に関する傾向を可視化する可視化部とをさらに備える、請求項1に記載の画像センサシステム。 - 前記プロセッサは、前記エリアにおけるセンシング項目として在不在、人数、活動量、照度、および歩行滞留のうち少なくともいずれかをセンシングする、請求項1に記載の画像センサシステム。
- 割り当てエリアにおける空間使用データをそれぞれ生成する複数の画像センサと通信可能な計算装置であって、
前記複数の画像センサから前記空間使用データを取得する取得部と、
対象空間と前記画像センサごとに割り当てられたエリアとの対応関係を示すマップデータを記憶する記憶部と、
前記取得された空間使用データを前記マップデータに基づいて統合して、前記対象空間における空間使用データを生成する統合処理部と、
前記対象空間における空間使用データに基づいて、動体が前記対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出する空間使用率算出部とを備える、画像センサシステム。 - コンピュータにより実行されるセンシング方法であって、
前記コンピュータが、割り当てエリアにおける空間使用データをそれぞれ生成する複数の画像センサから前記空間使用データを取得することと、
前記コンピュータが、対象空間と前記画像センサごとの割り当てエリアとの対応関係を示すマップデータに基づいて、前記取得された空間使用データを統合して、前記対象空間における空間使用データを生成することと、
前記コンピュータが、前記対象空間における空間使用データに基づいて、動体が前記対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出することとを具備する、センシング方法。 - 割り当てエリアにおける空間使用データをそれぞれ生成する複数の画像センサと通信可能なコンピュータに、
割り当てエリアにおける空間使用データをそれぞれ生成する複数の画像センサから前記空間使用データを取得することと、
対象空間と前記画像センサごとの割り当てエリアとの対応関係を示すマップデータに基づいて、前記取得された空間使用データを統合して、前記対象空間における空間使用データを生成することと、
前記対象空間における空間使用データに基づいて、動体が前記対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出することとを実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021129073A JP2023023492A (ja) | 2021-08-05 | 2021-08-05 | 画像センサシステム、計算装置、センシング方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021129073A JP2023023492A (ja) | 2021-08-05 | 2021-08-05 | 画像センサシステム、計算装置、センシング方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023023492A true JP2023023492A (ja) | 2023-02-16 |
Family
ID=85203013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021129073A Pending JP2023023492A (ja) | 2021-08-05 | 2021-08-05 | 画像センサシステム、計算装置、センシング方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023023492A (ja) |
-
2021
- 2021-08-05 JP JP2021129073A patent/JP2023023492A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108241300B (zh) | 预定空间区域的设备控制 | |
JP6363658B2 (ja) | 画像センサ | |
US9464819B2 (en) | Air conditioning control system and air conditioning control method | |
JP7463582B2 (ja) | センシングシステム、保守端末装置、データ配布方法、および画像センサ | |
US10416143B2 (en) | Devices and methods for determining and acting upon cumulative exposure of a building occupant to a hazardous substance | |
CN110892207B (zh) | 室内环境加权偏好管理 | |
WO2017072158A1 (en) | A system and method for determining the location and occupancy of workspaces | |
JP6296725B2 (ja) | ビル設備制御システムおよび画像センサ | |
WO2019087742A1 (ja) | 画像センサ、センシング方法、制御システム及びプログラム | |
JP2023023492A (ja) | 画像センサシステム、計算装置、センシング方法、およびプログラム | |
CA3039375A1 (en) | Neural network combining visible and thermal images for inferring environmental data of an area of a building | |
JP2015231128A (ja) | 調整端末、調整方法及びコンピュータプログラム | |
JP2022141274A (ja) | 画像センサ、センシング方法、およびプログラム | |
JP6524201B2 (ja) | ビル設備制御システム及び画像センサ装置 | |
JP7419095B2 (ja) | 画像センサ、計算装置、および画像センサシステム | |
JP7254570B2 (ja) | 画像センサシステム、計算装置、センシング方法、およびプログラム | |
JP7237499B2 (ja) | 画像センサ、センシング方法、制御システム及びプログラム | |
Gaonkar et al. | Comfort Management System for Smart Buildings: An Open-Source Scalable Prototype | |
JP6635857B2 (ja) | 機器制御システム、機器制御方法、コントローラ、及び機器制御プログラム | |
JP7237713B2 (ja) | センサシステム、画像センサ、およびセンシング方法 | |
JP2019133265A (ja) | 使用予約システム、使用予約装置、使用予約方法およびプログラム | |
JP7145693B2 (ja) | 座席状態センシングシステム、座席状態判定方法、および画像センサ | |
CN112005246A (zh) | 信息管理*** | |
JP7286747B2 (ja) | 画像センサ、動体検知方法、プログラムおよび制御システム | |
JP2022020297A (ja) | 画像センサ、センシング方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240319 |