JP2019087787A - Image sensor, sensing method, control system, and program - Google Patents
Image sensor, sensing method, control system, and program Download PDFInfo
- Publication number
- JP2019087787A JP2019087787A JP2017212106A JP2017212106A JP2019087787A JP 2019087787 A JP2019087787 A JP 2019087787A JP 2017212106 A JP2017212106 A JP 2017212106A JP 2017212106 A JP2017212106 A JP 2017212106A JP 2019087787 A JP2019087787 A JP 2019087787A
- Authority
- JP
- Japan
- Prior art keywords
- sensing
- image processing
- image sensor
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000012545 processing Methods 0.000 claims abstract description 101
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 46
- 230000000694 effects Effects 0.000 claims description 33
- 238000004891 communication Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000012806 monitoring device Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 235000021419 vinegar Nutrition 0.000 description 1
- 239000000052 vinegar Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、画像センサ、センシング方法、制御システム及びプログラムに関する。 Embodiments of the present invention relate to an image sensor, a sensing method, a control system and a program.
近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在・不在、あるいは人数などを計算することができる。この種の画像センサは、ビル管理システムと組み合わせて、快適性、居住性の向上や省エネルギー化の促進などに活用されようとしている。 A recent image sensor has a CPU (Central Processing Unit) and a memory, and can be said to be an embedded computer with a lens. It also has advanced image processing functions, and can analyze the captured image data to calculate, for example, the presence or absence of people, or the number of people. This type of image sensor is being combined with a building management system, and is going to be used for promoting comfort, improvement of habitability and energy saving.
既存の画像センサは、特定の場所の明るさや、人間の在・不在、あるいは通過・滞在を検知できるに留まっていた。近年では、さらに多数の項目にわたる情報をセンシング可能な画像センサが望まれている。特に、人間の活動量や、歩行・滞留などの指標を数値化することのできる画像センサが要望されている。 Existing image sensors have been able to detect the brightness of a specific place, the presence or absence of a person, or the passage or stay. In recent years, an image sensor capable of sensing information over a larger number of items is desired. In particular, there is a demand for an image sensor capable of quantifying indicators such as the amount of human activity and walking / staying.
そこで、目的は、センシング項目を増やして可用性を高めた画像センサ、センシング方法、制御システム及びプログラムを提供することにある。 Therefore, an object of the present invention is to provide an image sensor, a sensing method, a control system, and a program in which availability is increased by increasing sensing items.
実施形態によれば、画像センサは、撮像部と、画像処理部とを具備する。撮像部は、対象空間を撮像して画像データを取得する。画像処理部は、画像データを画像処理して対象空間における人物の歩行・滞留をセンシングする。 According to an embodiment, the image sensor comprises an imaging unit and an image processing unit. The imaging unit captures an image of a target space to obtain image data. The image processing unit performs image processing on image data to sense walking and staying of a person in a target space.
画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば１台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正できる。画像センサに学習機能を持たせることも可能である。 The image sensor can acquire various information as compared with a human sensor, a light sensor, an infrared sensor, and the like. If a fisheye lens or an ultra-wide-angle lens is used, an area that can be photographed by one image sensor can be enlarged, and distortion of the image can be corrected by calculation processing. It is also possible to give the image sensor a learning function.
図１は、実施形態に係る画像センサを備えるビル管理システムの一例を示す模式図である。図１において、照明機器１、空調機器２、および画像センサ３は、ビル１００の各フロアごとに設けられ、制御装置４０と通信可能に接続される。各階の制御装置４０は、例えばビル管理センタ等に設けられるビル監視装置５０と、ビル内ネットワーク５００経由で通信可能に接続される。ビル内ネットワーク５００の通信プロトコルとしてはBuilding Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））が代表的である。 FIG. 1 is a schematic view showing an example of a building management system provided with an image sensor according to the embodiment. In FIG. 1, the lighting device 1, the air conditioner 2, and the image sensor 3 are provided for each floor of the building 100 and are communicably connected to the control device 40. The control device 40 on each floor is communicably connected to a building monitoring device 50 provided, for example, in a building management center via the in-building network 500. As a communication protocol of the in-building network 500, Building Automation and Control Networking protocol (BACnet (registered trademark)) is representative.
ビル監視装置５０は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワーク６００経由で、クラウドコンピューティングシステム（クラウド）２００に接続されることができる。クラウド２００は、サーバ３００およびデータベース４００を備え、ビル管理に関するサービスを提供する。 The building monitoring device 50 can be connected to the cloud computing system (cloud) 200 via, for example, a Transmission Control Protocol / Internet Protocol (TCP / IP) -based communication network 600. The cloud 200 includes a server 300 and a database 400, and provides services related to building management.
図２に示されるように、照明機器１、空調機器２の吹き出し口、および画像センサ３は各フロアの例えば天井に配設される。画像センサ３は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ３において処理され、環境情報、および／または人物情報が生成される。これらの情報を利用して、照明機器１および空調機器２を制御することができる。 As shown in FIG. 2, the lighting device 1, the outlet of the air conditioner 2, and the image sensor 3 are disposed, for example, on the ceiling of each floor. The image sensor 3 captures an image captured within the field of view to acquire image data. This image data is processed in the image sensor 3 to generate environmental information and / or personal information. The lighting device 1 and the air conditioner 2 can be controlled using these pieces of information.
画像センサ３は、画像データを処理し、環境情報および人物情報を取得する。環境情報は、撮像対象の空間（ゾーン）の環境に関する情報である。例えば、環境情報は、オフィスの照度や温度などを示す情報である。人物情報は、対象空間における人間に関する情報である。例えば、人物情報は、人の存在または不在（在・不在と称する）、人数、人の行動、人の活動量などを示す情報である。 The image sensor 3 processes image data to obtain environmental information and personal information. The environment information is information on the environment of the space (zone) of the imaging target. For example, the environmental information is information indicating the illuminance and temperature of the office. Person information is information on humans in the target space. For example, the personal information is information indicating the presence or absence of a person (referred to as presence / absence), the number of people, the behavior of the person, the amount of activity of the person, and the like.
ゾーンを複数に分割した小領域のそれぞれを、エリアと称する。例えば環境情報および人物情報を、エリアごとに算出することが可能である。実施形態では、人物情報の一つとしての歩行・滞留について説明する。歩行・滞留とは、人が歩いているか、または１つの場所に留まっているかを示す情報である。 Each of the small areas obtained by dividing the zone into a plurality of areas is called an area. For example, environmental information and personal information can be calculated for each area. In the embodiment, walking / staying as one of personal information will be described. The walking / staying is information indicating whether a person is walking or staying at one place.
図３は、ビル１００における通信ネットワークの一例を示す図である。図３において、照明機器１、空調機器２、および画像センサ３は信号線Ｌを介してデイジーチェーン状に接続される。このうち例えば一つの画像センサ３が、ゲートウェイ（ＧＷ）７−１を介してビル内ネットワーク５００に接続される。これにより全ての照明機器１、空調機器２、および画像センサ３が、ビル内ネットワーク５００経由でビル監視装置５に接続される。 FIG. 3 is a diagram showing an example of a communication network in the building 100. As shown in FIG. In FIG. 3, the lighting device 1, the air conditioner 2, and the image sensor 3 are connected in a daisy chain shape via a signal line L. Among them, for example, one image sensor 3 is connected to the in-building network 500 via the gateway (GW) 7-1. As a result, all the lighting devices 1, the air conditioners 2, and the image sensor 3 are connected to the building monitoring device 5 via the in-building network 500.
それぞれの画像センサ３は、ＬＡＮ（Local Area Network）１０、ハブ（Ｈｕｂ）６、およびゲートウェイ（ＧＷ）７−２経由でビル内ネットワーク５００に接続される。これにより画像センサ３で取得された画像データ、環境情報および人物情報は、信号線Ｌとは独立にビル内ネットワーク５００経由で制御装置４、表示装置１１およびビル監視装置５に伝送される。 Each image sensor 3 is connected to the in-building network 500 via a LAN (Local Area Network) 10, a hub (Hub) 6 and a gateway (GW) 7-2. Thereby, the image data, the environment information and the person information acquired by the image sensor 3 are transmitted to the control device 4, the display device 11 and the building monitoring device 5 via the in-building network 500 independently of the signal line L.
さらに、各画像センサ３は、ＬＡＮ１０経由で相互に通信することが可能である。
制御装置４は、画像センサ３から送られた環境情報および人物情報に基づき、照明機器１や空調機器２を制御するための制御情報を生成する。この制御情報はゲートウェイ７−１および信号線Ｌを介して照明機器１、空調機器２に送られる。
表示装置１１は、画像センサ３から取得した環境情報および人物情報、あるいはビル監視装置５から取得した各種の情報を視覚的に表示する。
Furthermore, each image sensor 3 can communicate with each other via the LAN 10.
The control device 4 generates control information for controlling the lighting device 1 and the air conditioner 2 based on the environment information and the person information sent from the image sensor 3. The control information is sent to the lighting device 1 and the air conditioner 2 via the gateway 7-1 and the signal line L.
The display device 11 visually displays environment information and person information acquired from the image sensor 3 or various information acquired from the building monitoring device 5.
さらに、無線アクセスポイント８が、例えばゲートウェイ７−２に接続される。これにより、無線通信機能を備えたノートパソコン９等がゲートウェイ７−２経由で画像センサ３にアクセスすることができる。 Furthermore, the wireless access point 8 is connected to, for example, the gateway 7-2. Thus, the notebook computer 9 or the like having a wireless communication function can access the image sensor 3 via the gateway 7-2.
図４は、実施形態に係る画像センサ３の一例を示すブロック図である。画像センサ３は、撮像部としてのカメラ部３１と、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。メモリ３２とプロセッサ３３を備えることで、画像センサ３はコンピュータとして機能する。 FIG. 4 is a block diagram showing an example of the image sensor 3 according to the embodiment. The image sensor 3 includes a camera unit 31 as an imaging unit, a memory 32, a processor 33, and a communication unit 34. These are connected to one another via an internal bus 35. By providing the memory 32 and the processor 33, the image sensor 3 functions as a computer.
カメラ部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、イメージセンサ３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、オフィスフロア内の空間（対象空間）を天井から見下ろす形で視野に捕え、イメージセンサ３１ｃに結像する。魚眼レンズ３１ａからの光量は絞り機構３１ｂにより調節される。イメージセンサ３１ｃは例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。 The camera unit 31 includes a fisheye lens 31a, an aperture mechanism 31b, an image sensor 31c, and a register 30. The fisheye lens 31a captures a space (target space) in the office floor in a view looking down from the ceiling and forms an image on the image sensor 31c. The light quantity from the fisheye lens 31a is adjusted by the diaphragm mechanism 31b. The image sensor 31c is, for example, a CMOS (complementary metal oxide semiconductor) sensor, and generates, for example, a video signal at a frame rate of 30 frames per second. This video signal is digitally encoded and output as image data.
レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。 The register 30 stores camera information 30a. The camera information 30a is, for example, information on the camera unit 31 such as the state of the auto gain control function, the value of gain, exposure time, or information on the image sensor 3 itself.
メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、あるいはＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）などの不揮発性メモリであり、実施形態に係わる各種の機能をプロセッサ３３に実行させるためのプログラム３２ｂ、およびカメラ部３１により取得された画像データ３２ａなどを記憶する。さらにメモリ３２は、マスク設定データ３２ｃ、および辞書データ３２ｄを記憶する。 The memory 32 is a semiconductor memory such as SDRAM (Synchronous Dynamic RAM) or a non-volatile memory such as EPROM (Erasable Programmable ROM) or EEPROM (Electrically Erasable Programmable ROM), and executes various functions according to the embodiment to the processor 33 A program 32 b for causing the image data to be stored, and image data 32 a acquired by the camera unit 31 are stored. The memory 32 further stores mask setting data 32 c and dictionary data 32 d.
マスク設定データ３２ｃは、カメラ部３１に捕えられた視野のうち、画像処理する領域（画像処理の対象領域）と、画像処理しない領域（画像処理の非対象領域）とを区別するために用いられるデータである。マスク設定データ３２ｃは、例えばノートパソコン９（図３）から通信部３４経由で各画像センサ３に設定することが可能である。
辞書データ３２ｄは、センシング項目と特徴量とを対応づけたテーブル形式のデータであり、例えば機械学習（Machine-Learning）等の手法により生成することが可能である。
The mask setting data 32 c is used to distinguish an area to be subjected to image processing (an area to be subjected to image processing) and an area not to be subjected to image processing (an area not to be subjected to image processing). It is data. The mask setting data 32 c can be set to each image sensor 3 via the communication unit 34 from the notebook computer 9 (FIG. 3), for example.
The dictionary data 32 d is data in the form of a table in which sensing items and feature amounts are associated with each other, and can be generated by, for example, a method such as machine learning.
プロセッサ３３は、メモリ３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。 The processor 33 loads and executes the program stored in the memory 32 to implement various functions described in the embodiment. The processor 33 is, for example, a large scale integration (LSI) that includes a multi-core CPU (central processing unit) and is tuned to execute image processing at high speed. The processor 15 can also be configured by an FPGA (Field Programmable Gate Array) or the like. An MPU (Micro Processing Unit) is also one of the processors.
通信部３４は、信号線ＬおよびＬＡＮ１０に接続可能で、ビル監視装置５、ノートパソコン９、および他の画像センサ３を含む通信相手先とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはスター型、リング型など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。 The communication unit 34 is connectable to the signal line L and the LAN 10, and mediates exchange of data with a communication partner including the building monitoring device 5, the notebook computer 9, and the other image sensor 3. The communication interface may be wired or wireless. The topology of the communication network can be any topology such as star topology and ring topology. The communication protocol may be a general protocol or an industrial protocol. A single communication method may be used, or a plurality of communication methods may be combined.
特に、通信部３４は、画像センサ３によるセンシングの結果や、プロセッサ３３の処理結果、処理データ、パラメータなどを、通信ネットワークとしての信号線Ｌ、あるいはＬＡＮ１０に送出する。これにより、上記データや情報は、他の画像センサ３、ビル監視装置５、およびノートパソコン９等と、ビル内ネットワーク５００等を経由して共有されることが可能である。 In particular, the communication unit 34 sends the result of sensing by the image sensor 3, the processing result of the processor 33, processing data, parameters, and the like to the signal line L as a communication network or the LAN 10. Thus, the data and information can be shared with the other image sensors 3, the building monitoring device 5, the notebook computer 9 and the like via the in-building network 500 and the like.
ところで、プロセッサ３３は、実施形態に係る処理機能として、動き抽出部３３ａ、画像処理部３３ｂ、情報連携部３３ｃ、およびマスク設定部３３ｄを備える。動き抽出部３３ａ、画像処理部３３ｂ、情報連携部３３ｃ、およびマスク設定部３３ｄは、メモリ３２に記憶されたプログラム３２ｂがプロセッサ３３のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム３２ｂは、動き抽出プログラム、画像処理プログラム、情報連携プログラム、およびマスク設定プログラム、を含む。 The processor 33 includes a motion extraction unit 33a, an image processing unit 33b, an information cooperation unit 33c, and a mask setting unit 33d as processing functions according to the embodiment. In the motion extraction unit 33a, the image processing unit 33b, the information cooperation unit 33c, and the mask setting unit 33d, the program 32b stored in the memory 32 is loaded into the register of the processor 33, and the processor 33 calculates the program as the program progresses. It can be understood as a process generated by performing a process. That is, the program 32 b includes a motion extraction program, an image processing program, an information cooperation program, and a mask setting program.
動き抽出部３３ａは、メモリ３２に蓄積された画像データ３２ａを所定のアルゴリズムで画像処理して、対象空間における動き特徴量を抽出する。例えば、画像データに含まれるフレームの輝度の変化をピクセルごとにトレースし、その時系列を分析することで動き特徴量を計算することができる。特徴量としては、輝度勾配方向ヒストグラム（Histograms of Oriented Gradients：ＨＯＧ）、コントラスト、解像度、Ｓ／Ｎ比、および色調などがある。輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ−ＨＯＧ）特徴量、Haar-Like特徴量なども特徴量として知られている。 The motion extraction unit 33a performs image processing on the image data 32a stored in the memory 32 according to a predetermined algorithm to extract motion feature quantities in the target space. For example, it is possible to calculate a motion feature amount by tracing a change in luminance of a frame included in image data for each pixel and analyzing its time series. The feature amount includes a histogram of oriented gradients (HOG), contrast, resolution, S / N ratio, and color tone. A luminance gradient directional co-occurrence histogram (Co-occurrence HOG: Co-HOG) feature, a Haar-Like feature, and the like are also known as feature.
動き抽出部３３ａは、特に、カメラ部３１の視野内における物体の動きを示す動き特徴量を抽出する。また動き抽出部３３ａは、画像データ３２ａから、例えばフレーム間差分法により対象空間における動き領域を抽出する。さらに、動き抽出部３３ａは、対象空間を分割した複数のエリアごとに動き領域を抽出することもできる。 In particular, the motion extraction unit 33 a extracts a motion feature amount indicating the motion of an object within the field of view of the camera unit 31. The motion extraction unit 33a also extracts a motion area in the target space from the image data 32a by, for example, an interframe difference method. Furthermore, the motion extraction unit 33a can also extract a motion area for each of a plurality of areas obtained by dividing the target space.
画像処理部３３ｂは、画像データ３２ａを画像処理して対象空間における人物の歩行・滞留をセンシングする。画像処理部３３ｂは、例えば、動き抽出部３３ａにより抽出された動き特徴量に基づいてルールベースによる識別処理、あるいは機械学習による識別処理により、歩行・滞留をセンシングする。動き抽出部３３ａにより動き領域が抽出されていれば、画像処理部３３ｂは、当該動き領域に対して歩行・滞留を判定する。さらに、対象空間が複数のエリアに分割されていれば、画像処理部３３ｂは、各エリアごとの動き領域に対して歩行・滞留を判定する。 The image processing unit 33 b performs image processing on the image data 32 a to sense walking and staying of a person in the target space. The image processing unit 33 b senses walking / staying by, for example, rule-based identification processing or machine learning identification processing based on the motion feature amount extracted by the motion extraction unit 33 a. If a motion area is extracted by the motion extraction unit 33a, the image processing unit 33b determines whether the motion area is walking or staying. Furthermore, if the target space is divided into a plurality of areas, the image processing unit 33b determines walking / staying for the movement area of each area.
また、画像処理部３３ｂは、歩行・滞留、在・不在、人数、活動量、照度のうち複数のセンシング項目をセンシングする。複数のエリアごとに、これらの複数のセンシング項目を判定することもできる。また、画像処理部３３ｂは、在・不在のセンシング結果に基づいて、歩行・滞留、人数、活動量、および照度の少なくともいずれか１つのセンシングに係わる判定ロジックを切り替える。 Further, the image processing unit 33 b senses a plurality of sensing items among walking / staying, presence / absence, number of people, activity amount, and illuminance. These multiple sensing items can also be determined for multiple areas. In addition, the image processing unit 33b switches the determination logic related to at least one sensing of walking / staying, the number of people, the amount of activity, and the illuminance based on the sensing result of presence / absence.
また、画像処理部３３ｂは、エリアをさらに複数に分割したブロックごとに各センシング項目をセンシングし、ブロックごとのセンシング結果を統合してエリアごとのセンシング結果を得る。また、画像処理部３３ｂは、対象空間における個人を検出し、当該個人の検出の結果を在・不在、人数、活動量、または歩行・滞留のセンシング結果に反映させる。 In addition, the image processing unit 33 b senses each sensing item for each block obtained by dividing the area into a plurality of areas, integrates sensing results for each block, and obtains a sensing result for each area. In addition, the image processing unit 33b detects an individual in the target space, and reflects the detection result of the individual on presence / absence, the number of persons, the activity amount, or the sensing result of walking / staying.
また、画像処理部３３ｂは、対象空間において滞在を判定されたエリアにおいて、歩行・滞留を前記滞在とセンシングする。逆に、前回処理で滞在を判定されたエリアにおける在・不在の判定結果が不在であれば、画像処理部３３ｂは、当該エリアにおける歩行・滞留に関して通過とセンシングする。 Further, the image processing unit 33 b senses walking / staying as the stay in the area where the stay is determined in the target space. Conversely, if the determination result of presence / absence in the area determined to stay in the previous process is absent, the image processing unit 33b senses passing / retention regarding walking / staying in the area.
情報連携部３３ｃは、画像処理部３３ｂによりセンシングされた歩行・滞留、在・不在、人数、活動量、照度のいずれかのセンシング項目に係わる情報を、他のセンシング項目のセンシングに反映させる。例えば、情報連携部３３ｃは、在・不在のセンシング結果を、歩行・滞留、人数、活動量、および照度の少なくともいずれか１つのセンシングに反映させる。 The information cooperation unit 33c reflects information related to any of the sensing items of walking / staying, presence / absence, number of people, activity amount, and illuminance sensed by the image processing unit 33b in sensing of other sensing items. For example, the information collaboration unit 33c reflects the sensing result of presence / absence on at least one of walking / staying, the number of people, the amount of activity, and the illuminance.
領域設定部としてのマスク設定部３３ｄは、カメラ部３１の撮像範囲を画像処理の対象領域と非対象領域（マスク領域）とに区分し、各エリアの座標などのデータをマスク設定データ３２ｃに設定する。マスク領域が設定されると、画像処理部３３ｂは、マスキングされていない領域（対象領域）の画像データを画像処理する。 A mask setting unit 33d as a region setting unit divides the imaging range of the camera unit 31 into a target region of image processing and a non-target region (mask region), and sets data such as coordinates of each area in the mask setting data 32c. Do. When the mask area is set, the image processing unit 33 b processes the image data of the area (target area) that is not masked.
特に、マスク設定部３３ｄは、歩行・滞留、在・不在、人数、活動量、照度の各センシング項目ごとにマスク領域を設定する。画像処理部３３ｂは、各センシング項目ごとに設定された対象領域（非マスク領域）の画像データを画像処理する。次に、上記構成を基礎として複数の実施形態を説明する。 In particular, the mask setting unit 33d sets a mask area for each sensing item of walking / staying, presence / absence, number of people, activity amount, and illuminance. The image processing unit 33 b performs image processing on image data of a target area (non-masked area) set for each sensing item. Next, several embodiments will be described based on the above configuration.
［第１の実施形態］
図５は、第１の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。図５において、カメラ部３１で取得された画像データ３２ａは、メモリ３２に一時的に記憶されたのち、プロセッサ３３の動き抽出部３３ａに送られる。動き抽出部３３ａは、画像データ３２ａを画像処理して、動き特徴量を抽出する。抽出された動き特徴量は、画像処理部３３ｂに渡される。
First Embodiment
FIG. 5 is a diagram showing an example of the flow of data in the image sensor according to the first embodiment. In FIG. 5, the image data 32 a acquired by the camera unit 31 is temporarily stored in the memory 32 and then sent to the motion extraction unit 33 a of the processor 33. The motion extraction unit 33a performs image processing on the image data 32a to extract a motion feature. The extracted motion feature amount is passed to the image processing unit 33b.
画像処理部３３ｂは、在・不在、推定人数（人数）、活動量、推定照度（照度）、および歩行・滞留の５種類の項目を画像データ３２ａからセンシングする。これらのセンシング項目の全てを常時、同時に全項目をセンシングしても良い。または、必要に応じて個別にセンシングしてもよい。項目ごとの処理の周期は、例えばフレーム周期に同期して全ての項目で同じであっても良いし、項目ごとに異なっていても良い。 The image processing unit 33 b senses five items of presence / absence, estimated number of people (number of people), activity amount, estimated illuminance (illuminance), and walking / staying from the image data 32 a. All of these sensing items may be sensed simultaneously and all of the sensing items. Or you may sense separately as needed. The cycle of processing for each item may be the same for all the items in synchronization with the frame cycle, for example, or may be different for each item.
在・不在については、例えば背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、在・不在を判定することができる。ゾーンがエリアに分割されていれば（エリア分割）、エリアごとに人物領域があるか否かを判定し、エリアごとの在・不在を推定することができる。さらに、照明変動判定などによる誤検知抑制機能を持たせることも可能である。 For the presence / absence, for example, the human region can be extracted using background difference / interframe difference / person recognition to determine presence / absence. If the zone is divided into areas (area division), it is possible to determine whether there is a person area for each area and to estimate presence / absence for each area. Furthermore, it is also possible to provide an erroneous detection suppression function by the illumination fluctuation determination or the like.
推定人数については、例えば背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、人物領域から個人を検知して人数を推定することができる。エリア分割がある場合には、個人の位置を推定し、エリアごとに人数を推定することができる。 For the estimated number of people, for example, a human region can be extracted using background difference / interframe difference / human recognition, and the number of people can be estimated by detecting individuals from the human region. If there is area division, the position of the individual can be estimated and the number of people can be estimated for each area.
活動量については、フレーム間差分などを用いて動き領域を抽出し、活動量を推定することができる。活動量を、例えば、無／小／中／大などのように複数の段階に分類しても良い。あるいはＭＥＴｓ（Metabolic equivalents）等の指標で活動量を表してもよい。さらに、エリア分割の設定があれば、エリアごとに動き領域を抽出し、エリアごとの活動量を推定することができる。 With regard to the amount of activity, a motion area can be extracted using an inter-frame difference or the like to estimate the amount of activity. The amount of activity may be classified into a plurality of stages, for example, no / small / medium / large. Alternatively, the activity may be represented by an index such as METs (Metabolic equivalent). Furthermore, if area division is set, a motion area can be extracted for each area, and the amount of activity for each area can be estimated.
推定照度については、画像データ３２ａと、ゲイン、露光時間などのカメラ情報に基づいて推定することができる。カメラ情報（３０ａ）は、カメラ部３１のレジスタ３０から取得することができる。エリア分割の設定があれば、エリアごとに画像を分割し、分割した画像とカメラ情報からエリアごとの照度を推定することができる。 The estimated illuminance can be estimated based on the image data 32 a and camera information such as gain and exposure time. The camera information (30a) can be acquired from the register 30 of the camera unit 31. If area division is set, it is possible to divide an image for each area and estimate the illuminance for each area from the divided image and camera information.
歩行・滞留については、フレーム間差分などを用いて動き領域を抽出し、歩行・滞留を判定することができる。エリア分割の設定があれば、エリアごとに動き領域を抽出し、エリアごとの歩行・滞留を推定することができる。 With regard to walking and staying, it is possible to extract a motion area using an inter-frame difference or the like to determine walking and staying. If area division is set, it is possible to extract a motion area for each area and estimate walking / staying for each area.
以上のようにして、各センシング項目のセンシングデータを得ることができる。通信部３４は、カメラ部３１、動き抽出部３３ａ、画像処理部３３ｂの処理結果や処理データ、センシングデータ、パラメータなどをネットワークに送出する。 As described above, sensing data of each sensing item can be obtained. The communication unit 34 sends out processing results and processing data of the camera unit 31, the motion extraction unit 33a, and the image processing unit 33b, sensing data, parameters, and the like to the network.
図６は、第１の実施形態に係る画像センサ３における処理手順の一例を示すフローチャートである。画像センサ３は、カメラ部３１により画像データを取得し（ステップＳ１）、メモリ３２にこの画像データ３２ａを記憶する（ステップＳ２）。次に、画像センサ３は、画像データ３２ａを画像処理し、その結果に基づいて、対象空間における人物の在・不在を判定し（ステップＳ３）、人数を推定し（ステップＳ４）、活動量を推定し（ステップＳ５）、照度を推定し（ステップＳ６）、歩行・滞留をセンシングする（ステップＳ７）。 FIG. 6 is a flowchart showing an example of the processing procedure in the image sensor 3 according to the first embodiment. The image sensor 3 acquires image data by the camera unit 31 (step S1), and stores the image data 32a in the memory 32 (step S2). Next, the image sensor 3 processes the image data 32a, determines the presence / absence of the person in the target space based on the result (step S3), estimates the number of people (step S4), and determines the amount of activity. The estimation is made (step S5), the illuminance is estimated (step S6), and walking and staying are sensed (step S7).
図７は、第１の実施形態に係る画像センサ３における処理手順の他の例を示すフローチャートである。図７において、画像センサ３は、メモリ３２に蓄積された画像データ３２ａを画像処理して、在・不在のセンシング結果を得る（ステップＳ９）。そして画像センサ３は、在・不在の判定の結果に基づいて判定ロジックを切り替え、人数、活動量、照度および歩行・滞留を推定する（ステップＳ４、Ｓ５、Ｓ６、Ｓ７）。 FIG. 7 is a flowchart showing another example of the processing procedure in the image sensor 3 according to the first embodiment. In FIG. 7, the image sensor 3 performs image processing on the image data 32a stored in the memory 32 to obtain sensing results of presence / absence (step S9). Then, the image sensor 3 switches the determination logic based on the result of the presence / absence determination, and estimates the number of people, the amount of activity, the illuminance, and the walking / staying (steps S4, S5, S6, S7).
例えば、前状態が不在であれば在と判定しにくくなるロジックを選択することで誤検知を抑制することができる。逆に、前状態が在であれば在と判定しやすくなるロジックを選択し、未検知を抑制することができる。。 For example, false detection can be suppressed by selecting a logic that makes it difficult to determine presence if the previous state is absent. Conversely, logic that makes it easy to determine presence if the previous state is present can be selected to suppress non-detection. .
また、不在と判定されたエリアでは人数推定、活動量推定、照度推定、歩行・滞留判定を行わないというロジックを設定することもできる。例えば在・不在の判定結果が“不在”であれば人数は０人であり、活動量も無であることが画像処理の結果を得るまでもなく判定できる。これにより計算リソースの削減などの効果を得られる。 In addition, in the area determined to be absent, it is possible to set a logic of not performing the estimation of the number of people, the estimation of the amount of activity, the estimation of the illuminance, and the walking / staying determination. For example, if the determination result of presence / absence is “absent”, it is possible to determine that the number of persons is zero and the activity amount is also nil without obtaining the result of the image processing. As a result, effects such as reduction of computational resources can be obtained.
図８は、画像センサ３における処理結果の一例を示す図である。図８においては、在・不在として“在”、人数として“一人”、活動量として“中”、照度として“５００ｌｘ（ルクス）”、歩行・滞留として“歩行”の、各センシング結果が得られている。 FIG. 8 is a diagram showing an example of the processing result in the image sensor 3. In FIG. 8, each sensing result of “present” as “present”, “one” as the number of persons, “middle” as the amount of activity, “500 lx (lux)” as the illuminance, and “walking” as the walking / dwelling are obtained. ing.
図９は、分割されたエリアごとの処理結果の一例を示す図である。図９において、例えばエリア４に着座者が存在するので、そのエリアの照明は明るく調光されている。つまり推定照度は高い（５００ｌｘ）。また、エリア１、３には歩行者がいるので、照明は暗く調光されている。つまり推定照度が低いことが分かる。 FIG. 9 is a diagram showing an example of the processing result for each divided area. In FIG. 9, for example, since there is a seated person in the area 4, the illumination of the area is brightly dimmed. That is, the estimated illuminance is high (500 lx). Also, since there are pedestrians in areas 1 and 3, the illumination is dimmed and dimmed. That is, it can be seen that the estimated illuminance is low.
以上説明したようにこの実施形態では、画像センサ３において画像データを画像処理した結果に基づき、対象空間における歩行・滞留をセンシングできるようにした。歩行・滞留は、例えば照明制御に係わる保持時間の制御に活用することができる。例えば、制御部としてのプロセッサ３３の制御に基づいて、歩行をセンシングされたエリアで不在になれば照明の点灯保持時間を短くする。このようにすることで、照明制御の省エネ性を向上させることができる。逆に、滞留をセンシングされたエリアで不在になれば、照明の点灯保持時間を長くするとよい。 As described above, in this embodiment, based on the result of image processing of image data in the image sensor 3, walking / staying in the target space can be sensed. The walking and staying can be used, for example, to control the holding time related to lighting control. For example, based on the control of the processor 33 as the control unit, the lighting holding time of the light is shortened if the user is absent in the area where the walking is sensed. By doing this, it is possible to improve the energy saving performance of the lighting control. Conversely, if the residence is absent in the sensed area, the lighting holding time of the light may be increased.
既存の画像センサは、主に照明制御向けの用途の限られたものであったので、センシング可能な項目が限られていた。せいぜい在・不在、通過・滞在、明るさを判定する機能を備えるに過ぎず、推定人数や活動量などの、空調用途のセンシングはできなかった。特に、歩行・滞留を検知することができなかったので、きめ細かな制御を実現するためには同じゾーンに複数のセンサを設置する必要があり、システムコストや設置工数などが大きくなりがちであった。 Existing image sensors have been limited in applications mainly for lighting control, so the items that can be sensed are limited. At most there was only a function to determine presence / absence, passing / staying, brightness, and it was not possible to sense air-conditioning applications such as the estimated number of people and the amount of activity. In particular, because it was not possible to detect walking and staying, it was necessary to install multiple sensors in the same zone in order to realize fine control, and system costs and installation man-hours tended to increase. .
これに対し第１の実施形態では、画像データから抽出された動き特徴量に基づいて歩行・滞留という新たなセンシング項目を判定できるようにしたので、ビル全体での複合的な用途にも適用可能な画像センサを提供できる。つまり、画像センサを照明制御だけでなく、空調制御の用途にも活用したいというニーズに応えることができる。 On the other hand, in the first embodiment, new sensing items such as walking and staying can be determined based on the movement feature value extracted from the image data, so that it can also be applied to complex applications in the entire building. Image sensor can be provided. That is, it is possible to meet the needs for utilizing the image sensor not only for illumination control but also for air conditioning control applications.
また、既存の画像センサには、例えば「連続的に取得された画像間の差分画像」を使用するものがあった。この方式では人の移動を伴わない画像変化が発生するので誤判定の可能性がある。これに対し第１の実施形態では、動き特徴量を用いていることから、画像フレーム間の単純な差分情報を用いる従来方式に比べて誤判定の可能性を低減することができる。 In addition, some existing image sensors use, for example, “a difference image between continuously acquired images”. In this method, an image change that does not involve human movement occurs, so there is the possibility of an erroneous determination. On the other hand, in the first embodiment, since the motion feature amount is used, the possibility of erroneous determination can be reduced as compared with the conventional method using simple difference information between image frames.
これらのことから第１の実施形態によれば、歩行・滞留を推定でき、センシング項目を増やして可用性を高めた画像センサ、センシング方法、制御システム及びプログラムを提供することが可能になる。 From the above, according to the first embodiment, it is possible to estimate the walking / staying, and to provide an image sensor, a sensing method, a control system and a program whose availability is enhanced by increasing sensing items.
［第２の実施形態］
次に、第２の実施形態について説明する。図中、第１の実施形態と共通の要素については同じ符号を付して示す。
図１０は、第２の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。図１０において、カメラ部３１で取得された画像データ３２ａは、メモリ３２に一時的に記憶されたのち、プロセッサ３３の動き抽出部３３ａに送られる。動き抽出部３３ａは、画像データ３２ａを画像処理して、動き特徴量を抽出する。抽出された動き特徴量は、画像処理部３３ｂに渡される。
Second Embodiment
Next, a second embodiment will be described. In the figure, the elements common to the first embodiment are indicated by the same reference numerals.
FIG. 10 is a diagram showing an example of the flow of data in the image sensor according to the second embodiment. In FIG. 10, the image data 32a acquired by the camera unit 31 is temporarily stored in the memory 32, and then sent to the motion extraction unit 33a of the processor 33. The motion extraction unit 33a performs image processing on the image data 32a to extract a motion feature. The extracted motion feature amount is passed to the image processing unit 33b.
画像処理部３３ｂは、在・不在、推定人数（人数）、活動量、推定照度（照度）、および歩行・滞留の５種類の項目を画像データ３２ａからセンシングする。これらのセンシング項目のセンシング結果は情報連携部３３ｃに渡される。情報連携部３３ｃは各項目のセンシング結果を連携させ、或る１つの項目のセンシングに係わる情報を、他の少なくとも１つのセンシング項目のセンシングに反映させる。 The image processing unit 33 b senses five items of presence / absence, estimated number of people (number of people), activity amount, estimated illuminance (illuminance), and walking / staying from the image data 32 a. The sensing results of these sensing items are passed to the information collaboration unit 33c. The information linking unit 33c links the sensing results of the respective items, and reflects the information related to the sensing of a certain item in the sensing of at least one other sensing item.
例えば、在・不在のセンシング結果を、人数、活動量、照度、および歩行・滞留の少なくともいずれか１つのセンシングに反映させることができる。各項目の連携により得られたセンシング結果は通信部３４に渡され、制御装置４（図３）、ビル監視装置５、ノートパソコン９および他の画像センサ３等と共有されることができる。 For example, the sensing result of presence / absence can be reflected on the number of persons, activity amount, illuminance, and / or walking / staying sensing. The sensing result obtained by the cooperation of each item is passed to the communication unit 34, and can be shared with the control device 4 (FIG. 3), the building monitoring device 5, the notebook computer 9, the other image sensor 3 and the like.
図１１は、第２の実施形態に係る画像センサ３における処理手順の一例を示すフローチャートである。情報連携部３３ｃは、ステップＳ３〜ステップＳ７で得られた各項目のセンシングデータを連携させる（ステップＳ２０）。例えば、在・不在の判定結果が“不在”であれば、推定人数を０人、活動量を無とする。さらに、推定照度を固定値とし、歩行・滞在については前状態を維持する。 FIG. 11 is a flowchart showing an example of the processing procedure in the image sensor 3 according to the second embodiment. The information linking unit 33c links the sensing data of each item obtained in steps S3 to S7 (step S20). For example, if the judgment result of presence / absence is “absent”, the estimated number of persons is 0 and the activity amount is null. Furthermore, the estimated illuminance is fixed and the previous state is maintained for walking and staying.
また、推定人数が０人であれば在・不在の判定結果を不在とし、推定人数が１人以上であれば当該判定結果を在とする。また、活動量が小であれば、歩行・滞留については滞留と判定でき、活動量が中以上なら歩行と判定できる。さらに、人数推定で使用された位置情報から、エリアごとの在・不在を判定することができる。 Further, if the estimated number of people is zero, the presence / absence determination result is absent, and if the estimated number of people is one or more, the determination result is determined as present. In addition, if the amount of activity is small, walking and staying can be determined as staying, and if the amount of activity is medium or more, it can be determined as walking. Furthermore, the presence / absence of each area can be determined from the position information used in the number estimation.
このように第２の実施形態では、複数のセンシング項目のセンシング結果を単独で結論付けるのではなく、情報連携部３３ｃにより、他のセンシング項目の結果に反映させるようにした。これにより状態の推定の精度を向上させることが可能になる。 As described above, in the second embodiment, the sensing results of a plurality of sensing items are not independently concluded, but are reflected in the results of other sensing items by the information cooperation unit 33 c. This makes it possible to improve the accuracy of state estimation.
［第３の実施形態］
第３の実施形態では、マスク設定部３３ｄによるマスク領域の設定について説明する。
図１２は、魚眼レンズ３１ａに捕えられた対象領域の画像を示す。マスク領域を設定することにより、図１３に示されるように視野の一部が処理対象から除外され、窓からの余計な明かり等が検知されないように設定することができる。
Third Embodiment
In the third embodiment, setting of a mask area by the mask setting unit 33 d will be described.
FIG. 12 shows an image of the target area captured by the fisheye lens 31a. By setting the mask area, as shown in FIG. 13, a part of the visual field can be excluded from the processing target, and it can be set so that unnecessary light from the window is not detected.
図１４に模式的に示されるように、画像の端を処理対象外とするように設定されたマスクを“マスクＡ”とし、図１５のように画像全体が処理対象、つまりマスクの無い設定を“マスクＢ”とする。マスク設定部３３ｄは、これら複数の種類にわたるマスク領域を、歩行・滞留、在・不在、人数、活動量、照度の各センシング項目ごとに設定する。項目ごとのマスキングの設定は、例えば図３のノートパソコン９から与えることができ、図４のマスク設定データ３２ｃに記憶される。画像処理部３３ｂは、センシング項目ごとに設定された処理対象領域の画像データを画像処理する。 As schematically shown in FIG. 14, with the mask set to exclude the edge of the image as the “mask A”, the entire image is to be processed as shown in FIG. "Mask B". The mask setting unit 33d sets mask regions covering the plurality of types for each sensing item of walking / staying, presence / absence, number of people, activity amount, and illuminance. The setting of masking for each item can be given from, for example, the notebook computer 9 of FIG. 3, and is stored in the mask setting data 32c of FIG. The image processing unit 33 b performs image processing on image data of the processing target area set for each sensing item.
図１６に示されるように、例えば、在・不在、人数、照度のセンシングにおいてはマスクＡを使用する。このように照明制御エリアなどに依存する項目についてはエリアに合わせてマスクすることで誤検知を抑制する。例えば人物の像の足だけが検知されることになるが、在・不在、人数、照度のセンシングにおいては問題ない。 As shown in FIG. 16, for example, a mask A is used in sensing presence / absence, number of people, and illuminance. As described above, false detection is suppressed by masking items depending on the illumination control area according to the area. For example, only the foot of the image of a person is detected, but there is no problem in sensing presence / absence, the number of people, and illuminance.
一方、活動量、歩行・滞留のセンシングにおいてはマスクＢを使用する。このように処理対象範囲の位置に依存しない項目については、マスクを無しとするか、または、処理範囲が広くなるようにマスクする。このようにすることで、人物の全身の動きや、処理対象領域外からの移動軌跡などを用いた画像処理を実施できるようにし、処理精度の向上を図れる。 On the other hand, the mask B is used for sensing the amount of activity and walking / staying. As described above, for items that do not depend on the position of the processing target range, the mask may be omitted or may be masked so that the processing range is wide. By doing this, it is possible to perform image processing using movement of a person's whole body, movement trajectory from outside the processing target area, and the like, and it is possible to improve processing accuracy.
以上のように第３の実施形態では、マスク領域をセンシング項目ごとに個別に設定できるようにした。既存の技術ではこのような設定を行うことができず、全てのセンシング項目で同じマスク設定を使わざるを得なかったので精度の劣化や処理リソースの圧迫などがもたらされていた。これに対し第３の実施形態では、形状、サイズ、設定領域などを最適化したマスクをセンシング項目ごとに選択することができ、精度の向上や処理リソースの効率化の促進などの効果を得ることができる。 As described above, in the third embodiment, the mask area can be set individually for each sensing item. With the existing technology, such setting can not be performed, and the same mask setting has to be used for all sensing items, resulting in degradation of accuracy and pressure on processing resources. On the other hand, in the third embodiment, a mask whose shape, size, setting area, etc. are optimized can be selected for each sensing item, and effects such as improvement of accuracy and promotion of efficiency of processing resources can be obtained. Can.
なお、この発明は上記実施の形態に限定されるものではない。例えば、図９に示されるようなエリアをさらに複数に分割したブロックごとに、複数のセンシング項目をセンシングし、各ブロックごとのセンシング結果を統合してエリアごとのセンシング結果を得るようにしても良い。 The present invention is not limited to the above embodiment. For example, a plurality of sensing items may be sensed for each block obtained by dividing the area as shown in FIG. 9 into a plurality of sections, and sensing results for each block may be integrated to obtain sensing results for each area. .
図１７は、ブロックに分割された対象領域を模式的に示す図である。複数のブロックで人物の一人分の広さをカバーできる程度に、ブロックのサイズを設定すると良い。図１７においては、歩行と判定された３つのブロックがあり、滞留と判定された４つのブロックがある。画像処理部３３ｂは、例えば多数決によりブロックごとのセンシング結果を統合し、画像フレーム全体でのセンシング結果を得る。多数決によれば、滞留ブロックの数が多いので、図１７の状態は“滞留”と判定される。このほか、平均や最小、最大や重み付け和などの手法によりセンシング結果を統合することができる。 FIG. 17 is a view schematically showing a target area divided into blocks. It is good to set the size of the block so that the area for one person can be covered with multiple blocks. In FIG. 17, there are three blocks determined to be walking, and there are four blocks determined to be staying. The image processing unit 33 b integrates sensing results for each block, for example, by majority rule, and obtains sensing results for the entire image frame. According to the majority rule, since the number of staying blocks is large, the state of FIG. 17 is determined to be "staying". Besides, sensing results can be integrated by means such as average, minimum, maximum and weighted sum.
また、背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、人物領域から個人を検知して追跡し、移動軌跡から歩行・滞留を判定するようにしてもよい。エリア分割がある場合は、エリアごとに存在する個人の移動軌跡を統合して、エリアごとに歩行・滞留を判定することが可能である。
ようにする。
In addition, a human region may be extracted using background difference / interframe difference / human recognition, etc., an individual may be detected and tracked from the human region, and walking / staying may be determined from a movement trajectory. When there is area division, it is possible to integrate the movement trajectories of individuals present in each area and to determine walking / staying in each area.
Let's do it.
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 While several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and the gist of the invention, and are included in the invention described in the claims and the equivalent scope thereof.
１…照明機器、２…空調機器、３…画像センサ、４…制御装置、５…ビル監視装置、６…ハブ、７−１…ゲートウェイ、７−２…ゲートウェイ、８…無線アクセスポイント、９…ノートパソコン、１１…表示装置、１４…請求、１５…プロセッサ、３０…レジスタ、３０ａ…カメラ情報、３１…カメラ部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…イメージセンサ、３２…メモリ、３２ａ…画像データ、３２ｂ…プログラム、３２ｃ…マスク設定データ、３２ｄ…辞書データ、３３…プロセッサ、３３ａ…動き抽出部、３３ｂ…画像処理部、３３ｃ…情報連携部、３３ｄ…マスク設定部、３４…通信部、３５…内部バス、４０…制御装置、５０…ビル監視装置、１００…ビル、２００…クラウド、３００…サーバ、４００…データベース、５００…ビル内ネットワーク、６００…通信ネットワーク。 DESCRIPTION OF SYMBOLS 1 ... Lighting apparatus, 2 ... Air conditioning apparatus, 3 ... Image sensor, 4 ... Control apparatus, 5 ... Building monitoring apparatus, 6 ... Hub, 7-1 ... Gateway, 7-2 ... Gateway, 8 ... Wireless access point, 9 ... 11: Display device 14: Claim 14 15: Processor 30: Register 30a: Camera information 31 31: Camera unit 31a: Fisheye lens 31b: Aperture mechanism 31c: Image sensor 32: Memory 32a Image data 32b program 32c mask setting data 32d dictionary data 33 processor 33a motion extraction unit 33b image processing unit 33c information cooperation unit 33d mask setting unit 34 communication unit , 35: Internal bus, 40: Control device, 50: Building monitoring device, 100: Building, 200: Cloud, 300: Server, 400: Database Vinegar, 500 ... building within the network, 600 ... communication network.
Claims (21)
前記画像データを画像処理して前記対象空間における人物の歩行・滞留をセンシングする画像処理部とを具備する、画像センサ。 An imaging unit for imaging the target space to acquire image data;
An image processing unit configured to perform image processing on the image data to sense walking or staying of a person in the target space;
前記画像処理部は、前記動き特徴量に基づいて前記歩行・滞留をセンシングする、請求項１に記載の画像センサ。 The image processing apparatus further comprises an extraction unit that extracts a motion feature amount in the target space from the image data,
The image sensor according to claim 1, wherein the image processing unit senses the walking and staying based on the movement feature amount.
前記画像処理部は、前記動き領域に対して前記歩行・滞留を判定する、請求項７に記載の画像センサ。 The extraction unit extracts a motion area in the target space from the image data,
The image sensor according to claim 7, wherein the image processing unit determines the walking and staying with respect to the movement area.
前記画像処理部は、前記エリアごとの前記動き領域に対して前記歩行・滞留を判定する、請求項８に記載の画像センサ。 The extraction unit extracts the motion area for each of a plurality of areas obtained by dividing the target space,
The image sensor according to claim 8, wherein the image processing unit determines the walking and staying with respect to the movement area for each area.
前記画像処理部は、前記対象領域の画像データを画像処理する、請求項２に記載の画像センサ。 The image processing apparatus further includes a region setting unit that divides an imaging range of the imaging unit into a target region and a non-target region of the image processing,
The image sensor according to claim 2, wherein the image processing unit performs image processing on image data of the target area.
前記画像処理部は、前記複数のセンシング項目ごとに設定された対象領域の画像データを画像処理する、請求項１０に記載の画像センサ。 The area setting unit sets, for each of the sensing items, a division between the target area and the non-target area.
The image sensor according to claim 10, wherein the image processing unit performs image processing on image data of a target area set for each of the plurality of sensing items.
前記コンピュータが、前記画像データを画像処理する過程と、
前記コンピュータが、前記画像処理の結果に基づいて、前記対象空間における人物の歩行・滞留をセンシングする過程とを具備する、センシング方法。 A sensing method executed by a computer that captures an image of a target space and acquires image data,
Image processing the image data by the computer;
And a process of sensing the walking and staying of the person in the target space based on the result of the image processing.
前記画像データを画像処理する過程と、
前記画像処理の結果に基づいて、前記対象空間における人物の歩行・滞留をセンシングする過程とを実行させる、プログラム。 In a computer of an image sensor that captures an object space and acquires image data,
Image processing the image data;
A program for executing a process of sensing walking / staying of a person in the target space based on the result of the image processing.
前記画像センサによる前記対象空間におけるセンシングの結果に基づいて、前記対象空間に設けられた機器を制御する制御装置とを具備する、制御システム。 The image sensor according to any one of claims 1 to 18, which captures an object space.
A control system, comprising: a control device configured to control an apparatus provided in the target space based on a result of sensing in the target space by the image sensor.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017212106A JP7005285B2 (en) | 2017-11-01 | 2017-11-01 | Image sensors, sensing methods, control systems and programs |
| PCT/JP2018/038170 WO2019087742A1 (en) | 2017-11-01 | 2018-10-12 | Image sensor, sensing method, control system and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017212106A JP7005285B2 (en) | 2017-11-01 | 2017-11-01 | Image sensors, sensing methods, control systems and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019087787A true JP2019087787A (en) | 2019-06-06 |
| JP7005285B2 JP7005285B2 (en) | 2022-01-21 |
Family
ID=66333476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017212106A Active JP7005285B2 (en) | 2017-11-01 | 2017-11-01 | Image sensors, sensing methods, control systems and programs |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7005285B2 (en) |
| WO (1) | WO2019087742A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021010092A (en) * | 2019-06-28 | 2021-01-28 | パナソニックＩｐマネジメント株式会社 | Image sensor, image sensor system, output method of image sensor, and program |
| JP2021128678A (en) * | 2020-02-17 | 2021-09-02 | 株式会社東芝 | Image sensor, calculation apparatus, and image sensor system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2020240851A1 (en) * | 2019-05-31 | 2021-09-13 | ニューラルポケット株式会社 | Information processing system, information processing device, server device, program, or method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010272958A (en) * | 2009-05-19 | 2010-12-02 | Duse Technologies Co Ltd | Monitoring device, monitoring system, and monitoring program |
| JP2013191310A (en) * | 2012-03-12 | 2013-09-26 | Toshiba Corp | Information processing apparatus, image sensor apparatus, and program |
| JP2015043189A (en) * | 2013-08-26 | 2015-03-05 | 株式会社東芝 | Building facility control system |
| JP2015184233A (en) * | 2014-03-26 | 2015-10-22 | 株式会社メガチップス | Area state estimation device, area state estimation method, program and environment control system |
| JP2016053938A (en) * | 2014-08-21 | 2016-04-14 | パナソニックＩｐマネジメント株式会社 | Detection device, detection system and program |
| JP2016171526A (en) * | 2015-03-13 | 2016-09-23 | 株式会社東芝 | Image sensor, person detection method, control system, control method, and computer program |
| JP2016170502A (en) * | 2015-03-11 | 2016-09-23 | 株式会社東芝 | Moving body detection apparatus, moving body detection method and computer program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5594955B2 (en) * | 2008-12-11 | 2014-09-24 | パナソニック株式会社 | Lighting system |
| CN103189687B (en) * | 2011-05-13 | 2017-03-01 | 株式会社东芝 | Ems |
-
2017
- 2017-11-01 JP JP2017212106A patent/JP7005285B2/en active Active
-
2018
- 2018-10-12 WO PCT/JP2018/038170 patent/WO2019087742A1/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010272958A (en) * | 2009-05-19 | 2010-12-02 | Duse Technologies Co Ltd | Monitoring device, monitoring system, and monitoring program |
| JP2013191310A (en) * | 2012-03-12 | 2013-09-26 | Toshiba Corp | Information processing apparatus, image sensor apparatus, and program |
| JP2015043189A (en) * | 2013-08-26 | 2015-03-05 | 株式会社東芝 | Building facility control system |
| JP2015184233A (en) * | 2014-03-26 | 2015-10-22 | 株式会社メガチップス | Area state estimation device, area state estimation method, program and environment control system |
| JP2016053938A (en) * | 2014-08-21 | 2016-04-14 | パナソニックＩｐマネジメント株式会社 | Detection device, detection system and program |
| JP2016170502A (en) * | 2015-03-11 | 2016-09-23 | 株式会社東芝 | Moving body detection apparatus, moving body detection method and computer program |
| JP2016171526A (en) * | 2015-03-13 | 2016-09-23 | 株式会社東芝 | Image sensor, person detection method, control system, control method, and computer program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021010092A (en) * | 2019-06-28 | 2021-01-28 | パナソニックＩｐマネジメント株式会社 | Image sensor, image sensor system, output method of image sensor, and program |
| JP2021128678A (en) * | 2020-02-17 | 2021-09-02 | 株式会社東芝 | Image sensor, calculation apparatus, and image sensor system |
| JP7419095B2 (en) | 2020-02-17 | 2024-01-22 | 株式会社東芝 | Image sensors, computing devices, and image sensor systems |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019087742A1 (en) | 2019-05-09 |
| JP7005285B2 (en) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kwolek et al. | Human fall detection on embedded platform using depth maps and wireless accelerometer | |
| Benezeth et al. | Towards a sensor for detecting human presence and characterizing activity | |
| US9036866B2 (en) | Image-based occupancy sensor | |
| WO2019087742A1 (en) | Image sensor, sensing method, control system and program | |
| US8432445B2 (en) | Air conditioning control based on a human body activity amount | |
| JP5876142B2 (en) | Presence sensor | |
| JP2016171526A (en) | Image sensor, person detection method, control system, control method, and computer program | |
| JP6270433B2 (en) | Information processing apparatus, information processing method, and information processing system | |
| CN109844825B (en) | Presence detection system and method | |
| JP6696687B2 (en) | Lighting control system, lighting control method, lighting control device, and computer program | |
| JP7419095B2 (en) | Image sensors, computing devices, and image sensor systems | |
| JP6495691B2 (en) | Moving object detection device, moving object detection method, and computer program | |
| JP7002912B2 (en) | Image sensors, person detection methods, programs and control systems | |
| JP7286747B2 (en) | Image sensor, motion detection method, program and control system | |
| JP7237499B2 (en) | Image sensor, sensing method, control system and program | |
| JP7254570B2 (en) | Image sensor system, computing device, sensing method, and program | |
| JP2023096127A (en) | Image sensor, moving body detection method, program, and control system | |
| JP2022020297A (en) | Image sensor, sensing method and program | |
| JP7237713B2 (en) | Sensor system, image sensor, and sensing method | |
| JP6991922B2 (en) | Image sensors, identification methods, control systems and programs | |
| JP6767788B2 (en) | Information processing equipment, control methods and programs for information processing equipment | |
| Chiu et al. | Moving/motionless foreground object detection using fast statistical background updating | |
| JP2022141274A (en) | Image sensor, sensing method, and program | |
| US20170220870A1 (en) | Method and system for analyzing occupancy in a space | |
| WO2024142791A1 (en) | Identification system, identification method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7005285 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |