JP2019080202A - Object distribution estimation system - Google Patents
Object distribution estimation system Download PDFInfo
- Publication number
- JP2019080202A JP2019080202A JP2017206473A JP2017206473A JP2019080202A JP 2019080202 A JP2019080202 A JP 2019080202A JP 2017206473 A JP2017206473 A JP 2017206473A JP 2017206473 A JP2017206473 A JP 2017206473A JP 2019080202 A JP2019080202 A JP 2019080202A
- Authority
- JP
- Japan
- Prior art keywords
- density
- image
- estimation
- distribution
- waiting time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 abstract description 16
- 230000005540 biological transmission Effects 0.000 description 170
- 238000000034 method Methods 0.000 description 39
- 238000003384 imaging method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、人等の所定の物体が存在し得る空間が順次撮影された時系列の撮影画像を伝送して、伝送された撮影画像から物体の分布を推定する物体分布推定システムに関する。 The present invention relates to an object distribution estimation system for transmitting a time-series photographed image in which a space in which a predetermined object such as a person can exist is sequentially photographed, and estimating the distribution of the object from the transmitted photographed image.
イベント会場等の混雑が発生し得る空間においては事故防止等のために、混雑が発生している区域に警備員を多く配置するなどの対応が求められる。そこで、会場の各所に監視カメラを配置して撮影画像から人の分布を推定し、推定した分布を表示することによって監視員による混雑状況の把握を容易化することができる。 In a space such as an event site where congestion may occur, for example, a large number of security guards should be placed in an area where congestion occurs to prevent accidents. Therefore, it is possible to arrange monitoring cameras at various places in the hall, estimate the distribution of people from the photographed image, and display the estimated distribution to facilitate understanding of the congestion situation by the monitoring staff.
人の分布を推定する方法のひとつに、人の混雑時の画像の特徴を予め学習した識別器で撮影画像をスキャンする方法がある。例えば、下記特許文献１に記載の群衆解析装置においては、予め密度下限値を超えた人物密度の群衆が撮影された学習画像を用いて人物密度ごとに機械学習した識別器を用い人物密度を推定することによって、群衆の発生を判定することが記載されている。
One of the methods of estimating the distribution of people is a method of scanning a captured image with a classifier that has previously learned the features of the image when people are crowded. For example, in the crowd analysis device described in
イベント会場等は一般に広大であり、多数の監視カメラによる多数の撮影画像が時々刻々と取得されて推定対象となる。そのため、これら多数の監視カメラを画像解析センター等に接続して一元的に推定を行う場合、監視カメラから画像解析センター等への撮影画像の伝送に係る通信コストを抑制することが強く要請される。 Event venues and the like are generally large, and a large number of photographed images obtained by a large number of surveillance cameras are obtained every moment and are estimated. Therefore, it is strongly required to reduce the communication cost associated with transmission of a photographed image from the monitoring camera to the image analysis center etc., when the estimation is integrally made by connecting these many monitoring cameras to the image analysis center etc. .
ここで撮影画像内の人が混雑している領域においては、人の動きが遅いため急激な混雑状況の変化が生じにくく、人の分布についての表示に短時間で生じる変化は微小である。 Here, in the area where people in the photographed image are crowded, the movement of the person is slow and it is difficult to cause a rapid change in crowded state, and the change in display of the distribution of people in a short time is minute.
しかしながら、従来技術においては、混雑している領域の有無に依らず撮影画像が入力されるたびに撮影画像の全体を伝送していたため、無駄な通信コストが生じていた。 However, in the prior art, since the entire captured image is transmitted each time the captured image is input regardless of the presence or absence of the congested area, unnecessary communication costs have occurred.
本発明は上記問題に鑑みてなされたものであり、所定の物体が存在し得る空間が順次撮影された時系列の撮影画像を、通信コストを抑制して伝送し、伝送された撮影画像から物体の分布を推定する分布推定システムを提供することを目的とする。 The present invention has been made in view of the above problems, and transmits a time-series photographed image in which a space in which a predetermined object can exist is sequentially photographed, with reduced communication cost, and transmits the object from the photographed image transmitted It is an object of the present invention to provide a distribution estimation system for estimating the distribution of
（１）本発明に係る物体分布推定システムは、所定の物体が存在し得る空間を所定のフレームレートで撮影する撮影装置と、前記撮影画像を解析して前記空間における前記物体の分布を推定する分布推定装置と、前記撮影装置から前記分布推定装置に前記撮影画像を中継する中継装置とが、ネットワークを介して接続されたシステムであって、前記分布推定装置は、前記撮影画像内に複数設定された局所領域ごとの解析によって前記局所領域それぞれにおける前記物体の混雑度合いを求めることで前記分布を推定し、前記中継装置は、前記局所領域それぞれにおける前記撮影画像を、当該局所領域について前記分布推定装置が求めた前記混雑度合いに応じたフレームレートで中継する。 (1) An object distribution estimation system according to the present invention estimates a distribution of the object in the space by analyzing the photographed image, and an imaging device for photographing a space in which a predetermined object may exist at a predetermined frame rate A distribution estimation apparatus, and a relay apparatus for relaying the captured image from the imaging apparatus to the distribution estimation apparatus are connected via a network, and the distribution estimation apparatus sets a plurality of values in the captured image. The distribution is estimated by obtaining the degree of congestion of the object in each of the local regions by analyzing each of the local regions, and the relay apparatus estimates the distribution of the photographed image in each of the local regions with respect to the local region It relays at the frame rate according to the said congestion degree which the apparatus calculated | required.
（２）上記（１）に記載の物体分布推定システムにおいて、前記中継装置は、前記局所領域それぞれにおける前記撮影画像を、当該局所領域について前記分布推定装置が求めた前記混雑度合いが高いほど低いフレームレートで中継する構成とすることができる。 (2) In the object distribution estimation system according to (1), the relay apparatus is configured such that the higher the degree of congestion obtained by the distribution estimation apparatus for the local area, the lower the frame is. It can be configured to relay at a rate.
（３）上記（１）および（２）に記載の物体分布推定システムにおいて、前記中継装置は、それぞれが２以上の前記局所領域からなるブロックごとに、当該ブロック内で最も低い前記混雑度合いに応じたフレームレートで中継する構成とすることができる。 (3) In the object distribution estimation system according to the above (1) and (2), the relay apparatus is configured to adjust the lowest congestion degree in the block for each block consisting of two or more local regions. It can be configured to relay at a different frame rate.
（４）上記（１）〜（３）に記載の物体分布推定システムにおいて、前記分布推定装置は、所定の密度ごとに当該密度にて前記物体が存在する空間を撮影した密度画像それぞれの特徴を学習した密度推定器を用いて、前記局所領域ごとに前記混雑度合いを表す前記物体の前記密度を求める構成とすることができる。 (4) In the object distribution estimation system according to the above (1) to (3), the distribution estimation device is characterized by each density image obtained by photographing the space in which the object exists at the predetermined density. The density of the object representing the degree of congestion may be obtained for each of the local regions using the learned density estimator.
本発明によれば、撮影されている物体の混雑度合いが高い領域の画像ほど低いフレームレートで伝送するため、人等の所定の物体が存在し得る空間が順次撮影された時系列の撮影画像を、通信コストを抑制して伝送しつつ、伝送された撮影画像から高い信頼性で物体の分布を推定できる。 According to the present invention, since images are transmitted at a lower frame rate in an area of a region where the degree of congestion of objects being photographed is higher, a time-series photographed image in which a space where a predetermined object such as a person may exist is photographed sequentially It is possible to estimate the distribution of the object with high reliability from the captured image transmitted while suppressing the communication cost and transmitting.
以下、本発明の実施の形態（以下実施形態という）に係る物体分布推定システム１について、図面に基づいて説明する。物体分布推定システム１は人が存在し得る空間（監視空間）を所定時間おきに撮影した撮影画像を順次解析することによって、その空間における人の分布を推定し、推定結果を監視員に対して表示する。
An object
［物体分布推定システム１の構成］
図１は物体分布推定システム１の概略の構成を示すブロック図である。物体分布推定システム１は、撮影装置２、中継装置３、分布推定装置４および表示装置５からなる。例えば、物体分布推定システム１は撮影装置２として複数の撮影装置２−１ａ，２−１ｂ，…，２−２ａ，２−２ｂ，…を含み、また中継装置３として複数の中継装置３−１，３−２，…を含む。
[Configuration of Object Distribution Estimation System 1]
FIG. 1 is a block diagram showing a schematic configuration of an object
複数の撮影装置２のそれぞれは、いわゆるネットワークカメラであり、インターネットなどの所定の通信ネットワーク（以下、ネットワーク）に接続されて、監視空間内に設定された互いに異なる対象空間を所定のフレームレート、つまり所定の時間間隔（撮影周期）で撮影して撮影画像を生成し、撮影画像を分布推定装置４および表示装置５へ向けて順次送信する。以下、撮影周期で刻まれる時間の単位を１時刻とする。
Each of the plurality of photographing
例えば、複数の撮影装置２のそれぞれは、イベント会場に設置されたポールに対象空間を俯瞰する視野を有して設置され、インターネットに有線接続または無線接続される。その視野は固定されていてもよいし、予めのスケジュール或いはインターネットを介した外部からの指示に従って変更されてもよい。例えば、撮影装置２は対象空間を撮影周期１秒で撮影してカラー画像を生成する。また、撮影装置２はカラー画像の代わりにモノクロ画像を生成してもよい。
For example, each of the plurality of
複数の中継装置３のそれぞれは、中継用のサーバーコンピュータであり、上記ネットワークに接続されて、撮影装置２と分布推定装置４および表示装置５との間の通信、並びに分布推定装置４と表示装置５との間の通信を中継する。
Each of the plurality of
具体的には、各中継装置３は、撮影装置２から分布推定装置４への撮影画像の送信、撮影装置２から表示装置５への撮影画像の送信、および分布推定装置４から表示装置５への物体分布の送信をそれぞれ中継する。
Specifically, each
また、各中継装置３は撮影画像に対するフィルタ機能を有し、分布推定装置４宛の撮影画像内の一部の領域を間引くことによって通信コストを低減する。以下では、フィルタリング後の分布推定装置４宛の撮影画像を推定用画像とも称し、これと区別するために、中継装置３に中継された表示装置５宛の撮影画像を表示用画像とも称する。
Further, each
具体的には、各中継装置３は、分布推定装置４への推定用画像の中継において、分布推定装置４によって解析された推定用画像内の局所領域ごとの混雑度合いに基づいて、混雑度合いが高い局所領域の画像ほど低いフレームレート、つまり長い時間間隔で中継し、混雑度合いが低い局所領域の画像ほど高いフレームレート、つまり短い時間間隔で中継する。これら局所領域を伝送するフレームレートに対応する時間間隔を伝送間隔と称する。例えば、混雑度合いは３段階に定められ、最も混雑度合いが高い領域の画像の伝送間隔は４時刻、最も混雑度合いが低い領域の画像の伝送間隔は１時刻、中間の混雑度合いである領域の画像の伝送間隔は２時刻とすることができる。
Specifically, in relaying the estimation image to the
伝送間隔は、対象空間の混雑状況の変化によって時々刻々と変化し、また撮影画像に設定される局所領域どうしにて非同期となる。このような伝送間隔の制御を実時間で行うために、局所領域の混雑度合いが推定されるたびに当該混雑度合いに応じた伝送間隔が当該局所領域の画像の伝送待ち時間として設定されて、新たな推定用画像が取得されるたびに伝送待ち時間をカウントダウンし、伝送待ち時間が０になった局所領域の画像を伝送する（伝送待ち時間が０でない局所領域の画像を間引いて伝送する）、という制御が行われる。 The transmission interval changes from moment to moment with changes in congestion in the target space, and becomes asynchronous among the local regions set in the captured image. In order to perform such control of the transmission interval in real time, whenever the congestion degree of the local area is estimated, the transmission interval according to the congestion degree is set as the transmission waiting time of the image of the local area. Every time the estimation image is acquired, the transmission waiting time is counted down, and the image of the local area where the transmission waiting time becomes zero is transmitted (the image of the local area where the transmission waiting time is not zero is thinned and transmitted) Control is performed.
そのために、各中継装置３は、分布推定装置４から自装置宛の伝送待ち時間の設定を受信し、受信した設定に基づいてフィルタリングを行う。
Therefore, each
なお、複数の撮影装置２と複数の中継装置３の接続関係は、固定されてもよいし、動的に変更されてもよいが、本実施形態において例示する期間中は、撮影装置２−１ａ，２−１ｂは中継装置３−１に接続され、撮影装置２−２ａ，２−２ｂは中継装置３−２に接続されているものとする。
The connection relationship between the plurality of photographing
分布推定装置４は画像処理用のサーバーコンピュータであり、上記ネットワークに接続され、例えばイベント会場から離れた遠隔地の画像解析センターに設置される。分布推定装置４は、撮影装置２−１ａ，２−１ｂ，…，２−２ａ，２−２ｂ，…により撮影されて中継装置３−１，３−２，…によりフィルタリングされた推定用画像を受信し、受信した推定用画像の局所領域ごとに当該局所領域における人（物体）の混雑度合いを解析し、解析結果である物体分布の情報を表示装置５へ向けて送信する。
The
また、分布推定装置４は、局所領域ごとの混雑度合いに応じて各局所領域における伝送間隔を設定するとともに、伝送間隔に基づいて設定された伝送待ち時間を時刻の経過に応じて更新し、更新した伝送待ち時間の情報を、対応する撮影装置２が接続された中継装置３に送信する。
Further, the
表示装置５は、モニタを備えたＰＣ（Personal Computer）等の端末装置であり、上記ネットワークに接続され、例えばイベント会場内の監視センターに設置される。表示装置５は、撮影装置２−１ａ，２−１ｂ，…，２−２ａ，２−２ｂ，…により撮影された表示用画像を受信するとともに、分布推定装置４により解析された物体分布の情報を受信し、表示用画像に当該画像に対応する物体分布の情報を合成して合成画像をモニタに表示する。監視員は、表示された合成画像を視認することによって監視空間に混雑が発生している地点を把握し、当該地点に警備員を派遣し或いは増員するなどの対処を行う。
The
［物体分布推定システム１を構成する各装置の機能］
以下、図２〜図５を参照して、物体分布推定システム１を構成する各装置の機能を説明する。ここで、複数の撮影装置２どうしおよび複数の中継装置３どうしについては、接続関係や対象空間等の一部設定が異なるが機能は共通する。
[Function of Each Device Constituting Object Distribution Estimation System 1]
Hereinafter, with reference to FIGS. 2 to 5, functions of the respective devices constituting the object
図２は撮影装置２の機能ブロック図である。上述のように撮影装置２−１ａ，２−１ｂ，…，２−２ａ，２−２ｂ，…は互いに機能が共通であり、図２に示す撮影装置２はそれらの任意の１つである。撮影装置２は画像取得手段２０および撮影画像送信手段２１を含んで構成される。
FIG. 2 is a functional block diagram of the photographing
画像取得手段２０はＣＣＤ等の撮像素子およびレンズ等の光学部品等からなる。各撮影装置２の画像取得手段２０は、当該撮影装置２に割り当てられた対象空間を上述したフレームレートで撮影して撮影画像を生成し、生成した撮影画像を撮影画像送信手段２１に順次出力する。
The image acquisition means 20 comprises an imaging device such as a CCD and an optical component such as a lens. The
撮影画像送信手段２１は、ネットワークとの通信インターフェース回路、メモリ、クロック回路等からなる。メモリには、撮影装置２ごとに予め付与されたカメラＩＤおよび分布推定装置４のアドレス等が予め記憶されている。また、クロック回路により現在時刻が計時される。撮影画像送信手段２１は、画像取得手段２０から入力された撮影画像にカメラＩＤおよび現在時刻（撮影時刻）を付与するとともに分布推定装置４のアドレスを宛先に設定し、当該撮影画像をネットワークに送出する。
The photographed image transmission means 21 comprises a communication interface circuit with a network, a memory, a clock circuit and the like. In the memory, a camera ID, an address of the
図３は中継装置３の機能ブロック図である。上述のように中継装置３−１，３−２，…は互いに機能が共通であり、図３に示す中継装置３はそれらの任意の１つである。中継装置３は、ＣＰＵ（Central Processing Unit）等の演算装置、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ、ネットワークとの通信インターフェース回路を含んで構成され、撮影画像受信手段３０、撮影画像記憶手段３１、待ち時間受信手段３２、待ち時間記憶手段３３、推定用画像送信手段３４および表示用画像送信手段３５等として動作する。メモリにはプログラムや各種設定値が予め記憶され、演算装置がこれらに従って、各種処理を行うとともに、通信インターフェース回路と協働してネットワークを介した各種情報の送受信を行い、およびメモリとの間で各種情報の入出力を行うことによって各手段として動作する。
FIG. 3 is a functional block diagram of the
各中継装置３の撮影画像受信手段３０は、当該中継装置３に接続された撮影装置２から、分布推定装置４宛に送信された撮影画像および表示装置５宛に送信された撮影画像を受信して、当該各画像を撮影画像記憶手段３１に記憶させる。
The photographed image receiving means 30 of each
各中継装置３の待ち時間受信手段３２は、分布推定装置４から当該中継装置３宛に送信された伝送待ち時間の情報を受信して、当該情報を待ち時間記憶手段３３に記憶させる。伝送待ち時間の情報は対応する撮影画像における各局所領域の伝送待ち時間である。後述するように、局所領域は画素であり、伝送待ち時間はそれぞれが２以上の画素からなるブロック単位で設定される。つまり、伝送待ち時間の情報は、対応する撮影画像に付与されたカメラＩＤと、対応する撮影画像の各ブロックの伝送待ち時間とからなる。ちなみに、本実施形態では中継装置３と撮影装置２との接続関係は固定されており、各中継装置３の待ち時間記憶手段３３は基本的に当該中継装置３に接続される撮影装置２に対応した伝送待ち時間の情報を記憶する。なお、中継装置３に接続される撮影装置２が動的に変更される場合には例えば、各中継装置３の待ち時間記憶手段３３は全ての撮影装置２についての当該情報を記憶してもよい。
The waiting time receiving means 32 of each
推定用画像送信手段３４は、待ち時間記憶手段３３から伝送待ち時間の情報を読み出すとともに、当該情報に対応する分布推定装置４宛の撮影画像を撮影画像記憶手段３１から読み出して、当該画像のうち伝送待ち時間が０であるブロックに帰属する画素の画素値のみからなる推定用画像を生成する。そして、推定用画像に元の撮影画像に付与されていたカメラＩＤおよび撮影時刻を付与するとともに分布推定装置４のアドレスを宛先に設定して当該推定用画像をネットワークに送出する。
The estimation image transmission means 34 reads out the information on the transmission waiting time from the waiting time storage means 33, reads out the photographed image addressed to the
表示用画像送信手段３５は、表示装置５宛の撮影画像を撮影画像記憶手段３１から読み出してネットワークに送出する。
The display image transmission means 35 reads out the photographed image addressed to the
図４は分布推定装置４の機能ブロック図である。分布推定装置４は、ＣＰＵ等の演算装置、ＲＯＭ、ＲＡＭ等のメモリ、ネットワークとの通信インターフェース回路を含んで構成され、推定用画像受信手段４０、密度推定器記憶手段４１、密度推定手段４２、物体分布記憶手段４３、伝送間隔設定手段４４、待ち時間記憶手段４５、待ち時間送信手段４６および物体分布送信手段４７等として動作する。メモリにはプログラムや各種設定値が予め記憶され、演算装置がこれらに従って、各種処理を行うとともに、通信インターフェース回路と協働してネットワークを介した各種情報の送受信を行い、およびメモリとの間で各種情報の入出力を行うことによって各手段として動作する。
FIG. 4 is a functional block diagram of the
推定用画像受信手段４０は、撮影装置２から分布推定装置４宛に送出され途中の中継装置３によりフィルタリングされた撮影画像である推定用画像を受信して、当該画像を密度推定手段４２に出力する。
The estimation image receiving means 40 receives an estimation image which is a photographed image sent from the photographing
密度推定器記憶手段４１は、所定の密度ごとに当該密度にて物体（人）が存在する空間を撮影した密度画像それぞれの画像特徴を学習した推定密度算出関数であって、画像の特徴量を入力されると当該画像に撮影されている物体の密度の推定値（推定密度）を算出し、算出した推定密度を出力する推定器（密度推定器）の情報を予め記憶している。つまり上記推定密度算出関数の係数等のパラメータを密度推定器の情報として予め記憶している。
The density
密度推定手段４２は、撮影画像内に複数設定された局所領域ごとの解析によって、局所領域それぞれにおける物体の混雑度合いを求めることで対象空間における物体の分布を推定する。具体的には、密度推定手段４２は、推定用画像受信手段４０から入力された推定用画像における任意の局所領域についての密度推定用の特徴量を抽出するとともに密度推定器記憶手段４１から密度推定器を読み出して、抽出した特徴量を密度推定器に入力することによって当該局所領域における密度を推定する。この推定を撮影画像内の複数の位置にて行うことにより、対象空間における物体の分布が求められる。密度推定手段４２は、局所領域の座標および推定密度を推定用画像に付与されていたカメラＩＤおよび撮影時刻と対応付けて物体分布記憶手段４３に記憶させるとともに、推定密度を伝送間隔設定手段４４に入力する。
The
ここで推定される推定密度は、推定用画像に対応して一部が間引かれた情報であるが、物体分布記憶手段４３においては過去の推定密度と合わさって全局所領域にわたる推定密度が記憶されている状態となる。密度推定手段４２は、新たに推定した推定密度を物体分布記憶手段４３に記憶させた後に、物体分布記憶手段４３からカメラＩＤごとに各局所領域の最新撮影時刻の推定密度を読み出して、カメラＩＤおよび全局所領域の中で最新の撮影時刻を付与して物体分布送信手段４７に出力する。 The estimated density estimated here is information partially decimated corresponding to the image for estimation, but in the object distribution storage means 43, the estimated density over the entire local region is stored together with the estimated density in the past It will be in the state of being done. After storing the estimated density newly estimated in the object distribution storage means 43, the density estimation means 42 reads the estimated density of the latest photographing time of each local region from the object distribution storage means 43 for each camera ID, And gives the latest imaging time among all the local regions, and outputs it to the object distribution transmission means 47.
密度推定の処理と密度推定器について具体的に説明する。 The process of density estimation and the density estimator will be specifically described.
本実施形態においては撮影画像内の各画素を局所領域として設定する。密度推定手段４２は、推定用画像の各画素の位置に密度推定用の窓を設定し、各窓における推定用画像から特徴量を抽出する。特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。 In the present embodiment, each pixel in the captured image is set as a local region. The density estimation means 42 sets a window for density estimation at the position of each pixel of the image for estimation, and extracts the feature amount from the image for estimation in each window. The feature value is a feature of Gray Level Co-occurrence Matrix (GLCM).
各窓に撮影されている対象空間内の領域は同一サイズであることが望ましい。すなわち、好適には密度推定手段４２は不図示のカメラパラメータ記憶手段から予め記憶されている撮影装置２のカメラパラメータを読み出し、カメラパラメータを用いたホモグラフィ変換により撮影画像の任意の画素に撮影されている対象空間内の領域が同一サイズとなるように推定用画像を変形してから窓を設定して特徴量を抽出する。各窓は後述する密度画像と同形・同大の領域とすることができる。
It is desirable that the regions in the target space imaged in each window have the same size. That is, preferably, the
密度推定器は多クラスの画像を識別する識別器で実現することができ、多クラスＳＶＭ（Support Vector Machine）法で学習した識別関数とすることができる。 The density estimator can be realized by a classifier that identifies multiple classes of images, and can be a classification function learned by the multiclass Support Vector Machine (SVM) method.
密度は、例えば、人が存在しない「背景」クラス、０人／ｍ２より高く２人／ｍ２以下である「低密度」クラス、２人／ｍ２より高く４人／ｍ２以下である「中密度」クラス、４人／ｍ２より高い「高密度」クラスの４クラスと定義することができる。
Density, for example, there is no human "Background" class is 0 people / m higher than 2 is two / m 2 or less "low density" class, higher than two /
推定密度は各クラスに予め付与された値であり、分布推定の結果として出力される値である。本実施形態では各クラスに対応する値を「背景」、「低密度」、「中密度」、「高密度」と表記する。 The estimated density is a value given in advance to each class, and is a value output as a result of distribution estimation. In the present embodiment, values corresponding to each class are described as “background”, “low density”, “medium density”, and “high density”.
すなわち、密度推定器は「背景」クラス、「低密度」クラス、「中密度」クラス、「高密度」クラスのそれぞれに帰属する多数の画像（密度画像）の特徴量に多クラスＳＶＭ法を適用して学習して得られる、各クラスの密度画像を他のクラスと識別するための識別関数である。この学習により導出された識別関数のパラメータが密度推定器として記憶されている。なお、学習時の特徴量は、密度推定手段４２が抽出する特徴量と同種であり、ＧＬＣＭ特徴である。
That is, the density estimator applies the multi-class SVM method to the feature quantities of a large number of images (density images) belonging to the "background" class, the "low density" class, the "medium density" class, and the "high density" class. It is a discriminant function for discriminating density images of each class from other classes obtained by learning. The parameters of the discriminant function derived by this learning are stored as a density estimator. The feature quantity at the time of learning is the same type as the feature quantity extracted by the
密度推定手段４２は、各画素に対応して抽出した特徴量のそれぞれを密度推定器に入力することによってその出力値である推定密度を取得する。なお、推定用画像を変形させて特徴量を抽出した場合、密度推定手段４２は、カメラパラメータを用いたホモグラフィ変換により密度分布を元の推定用画像の形状に変形させる。
The density estimating means 42 acquires estimated density which is the output value by inputting each of the feature quantities extracted corresponding to each pixel to the density estimator. When the feature amount is extracted by deforming the estimation image, the
こうして得られた、撮影画像の画素ごとに対応して求められた推定密度の集まりが物体分布である。ここで、推定密度が「高密度」クラスである局所領域（高混雑領域）においては、混雑により人の動きが遅くなっており急激な混雑度合いの変化が生じにくい。そのため、高混雑領域は短い時間間隔で解析しなくても監視員の判断などに与える影響は少ない。他方、推定密度が「背景」クラスおよび「低密度」クラスである局所領域（低混雑領域）においては、人が走ることも可能であり急激な混雑度合いの変化が生じ得る。そのため、低混雑領域については短い時間間隔で解析して変化の様子を監視員に逐次提示することが望ましい。また、推定密度が「中密度」クラスである局所領域（中混雑領域）における人の動きの速さは高混雑領域と低混雑領域との中間的な速さと考えられる。 A collection of estimated densities obtained corresponding to each pixel of the photographed image thus obtained is an object distribution. Here, in a local area (highly crowded area) where the estimated density is a "high density" class, the movement of people is delayed due to congestion, and a rapid change in the degree of congestion hardly occurs. Therefore, high congestion areas do not have much influence on the judgment of supervisors even if they are not analyzed at short time intervals. On the other hand, in a local area (low congestion area) where the estimated density is the "background" class and the "low density" class, it is also possible for people to run and rapid changes in the degree of congestion may occur. Therefore, it is desirable to analyze the low congestion area at short time intervals and to sequentially show the state of change to the monitoring staff. In addition, the speed of human movement in a local area (medium congestion area) whose estimated density is the "medium density" class is considered to be an intermediate speed between the high congestion area and the low congestion area.
そこで、物体分布推定システム１は、推定密度が高い局所領域ほど長い伝送間隔で画像を送受信することによって、密度推定の結果の信頼度を確保しつつ密度推定の通信コストを抑制する。
Therefore, the object
そのために、伝送間隔設定手段４４は密度推定手段４２が推定した推定密度に応じて局所領域それぞれの伝送間隔を設定し、各局所領域の画像を当該局所領域に設定された伝送間隔にて中継装置３へ送信させる。 For that purpose, the transmission interval setting means 44 sets the transmission interval of each local area according to the estimated density estimated by the density estimation means 42, and relays the image of each local area at the transmission interval set in the local area. Send to 3
例えば、伝送間隔設定手段４４は、推定密度が「高密度」クラスであった局所領域の伝送間隔を４時刻とし、推定密度が「中密度」クラスであった局所領域の伝送間隔を２時刻とし、推定密度が「背景」クラスであった局所領域および「低密度」クラスであった局所領域の伝送間隔を１時刻と設定する。 For example, the transmission interval setting means 44 sets the transmission interval of the local area whose estimated density is the "high density" class to 4 hours, and sets the transmission interval of the local area whose estimated density is the "medium density" class to 2 hours. The transmission interval of the local area where the estimated density is in the "background" class and the local area where the estimated density is in the "low density" class is set as one time.
具体的には、上記伝送間隔の制御を実時間で行うために、伝送間隔設定手段４４は、例えば、局所領域ごとの伝送間隔を伝送待ち時間として待ち時間記憶手段４５に書き込んで、新たな推定用画像を取得するたびに伝送待ち時間を減少させる。
Specifically, in order to control the transmission interval in real time, the transmission
また、高混雑領域のうち、中混雑領域あるいは低混雑領域との境界付近は、それ以外の領域に比べて混雑度合いの変化が生じやすい。また、同様に中混雑領域のうち低混雑領域との境界付近はそれ以外の領域に比べて混雑度合いの変化が生じやすい。そこで、伝送間隔設定手段４４は、それぞれが２以上の局所領域からなるブロックごとに、当該ブロック内で最も低い密度に応じた伝送間隔を設定する。ブロックは予め設定され、伝送間隔設定手段４４と密度推定手段４２とはその設定を共有する。ブロックの大きさは物体１〜２個分（人ひとり乃至ふたり分）程度の大きさとするのがよい。この大きさは混雑度合いの変化を生じさせる最小単位である。このように物体の大きさに応じたブロックとすることで、境界付近の更新遅延を防ぎつつ、境界付近以外での不要に頻繁な更新を防ぐことができる。 Further, in the high congestion area, in the vicinity of the boundary with the middle congestion area or the low congestion area, the degree of congestion tends to change as compared to the other areas. Similarly, in the middle congestion area, a change in the degree of congestion is more likely to occur near the boundary with the low congestion area than in the other areas. Therefore, the transmission interval setting means 44 sets, for each block consisting of two or more local areas, a transmission interval corresponding to the lowest density in the block. The blocks are preset, and the transmission interval setting means 44 and the density estimation means 42 share the settings. The size of the block should be about one to two objects (one to two). This size is the smallest unit that causes a change in the degree of congestion. By setting the block according to the size of the object in this way, it is possible to prevent update delay near the boundary and prevent unnecessary frequent update outside the vicinity of the boundary.
伝送間隔設定手段４４にて設定される伝送待ち時間は、推定用画像に対応して一部のブロックが間引かれた情報であり得るが、待ち時間記憶手段４５においては過去に設定した伝送待ち時間と合わさって全ブロックにわたる伝送待ち時間が記憶されている状態となる。伝送間隔設定手段４４は、新たな伝送待ち時間を待ち時間記憶手段４５に記憶させた後に、待ち時間記憶手段４５から全ブロックの伝送待ち時間を読み出して、推定用画像に付与されていたカメラＩＤおよび撮影時刻を付与して待ち時間送信手段４６に出力する。 The transmission waiting time set by the transmission interval setting means 44 may be information in which some blocks are thinned out corresponding to the image for estimation. Along with the time, the transmission latency over all the blocks is stored. After storing the new transmission waiting time in the waiting time storage means 45, the transmission interval setting means 44 reads out the transmission waiting time of all the blocks from the waiting time storage means 45, and the camera ID assigned to the estimation image And the photographing time is given to the waiting time transmission means 46.
待ち時間送信手段４６は、伝送間隔設定手段４４から入力された伝送待ち時間の情報を、当該情報に付与されているカメラＩＤと対応する中継装置３のアドレスを宛先に設定してネットワークに送出する。
The waiting time transmitting means 46 sends the information on the transmission waiting time input from the transmission interval setting means 44 to the network by setting the address of the
物体分布送信手段４７は、密度推定手段４２から入力された物体分布の情報を、表示装置５のアドレスを宛先に設定してネットワークに送出する。
The object
図５は表示装置５の機能ブロック図である。表示装置５は、液晶ディスプレイ等のモニタ、ＣＰＵ等の演算装置、ＲＯＭ、ＲＡＭ等のメモリ、ネットワークとの通信インターフェース回路を含んで構成され、表示用画像受信手段５０、物体分布受信手段５１、画像合成手段５２、物体分布表示手段５３等として動作する。メモリにはプログラムや各種設定値が予め記憶され、演算装置がこれらに従って、各種処理を行うとともに、通信インターフェース回路と協働してネットワークを介した各種情報の送受信を行い、モニタと協働して各種情報の表示を行い、およびメモリとの間で各種情報の入出力を行うことによって各手段として動作する。
FIG. 5 is a functional block diagram of the
表示用画像受信手段５０は、撮影装置２から表示装置５宛に送出され中継装置３により中継された撮影画像である表示用画像を受信して、当該画像を画像合成手段５２に出力する。
The display image receiving means 50 receives a display image which is a photographed image sent from the photographing
物体分布受信手段５１は、分布推定装置４から表示装置５宛に送出され中継装置３により中継された物体分布の情報を受信して、当該情報を画像合成手段５２に出力する。
The object distribution receiving means 51 receives the information of the object distribution sent from the
画像合成手段５２は、表示用画像受信手段５０から入力された表示用画像と、物体分布受信手段５１から入力された物体分布の情報のうち、カメラＩＤおよび撮影時刻が共に一致するもの同士を合成し、合成画像を物体分布表示手段５３に出力する。
The
その際、画像合成手段５２は例えば、「高密度」クラスと推定された局所領域の画素値は赤、「中密度」クラスと推定された局所領域の画素値は黄、「低密度」クラスと推定された局所領域の画素値は緑、「背景」クラスと推定された局所領域の画素値は黒に設定した分布画像を生成して、表示用画像に透過合成する。 At that time, the image combining means 52 may, for example, set the pixel value of the local region estimated to be the “high density” class to be red, the pixel value of the local region estimated to be the “medium density” class to be yellow, the “low density” class The pixel value of the estimated local area is green, and the pixel value of the local area estimated to be the “background” class is set to black to generate a distribution image, and is transparently combined with the display image.
物体分布表示手段５３は、画像合成手段５２から入力された合成画像をモニタに表示する。 The object distribution display means 53 displays the synthesized image input from the image synthesis means 52 on a monitor.
［物体分布推定システム１の動作］
図６〜図８のフロー図を参照して物体分布推定システム１の動作を説明する。
[Operation of Object Distribution Estimation System 1]
The operation of the object
物体分布推定システム１が起動すると、撮影装置２において、画像取得手段２０が所定の撮影周期で対象空間を撮影し、撮影画像送信手段２１が撮影画像を順次、分布推定装置４および表示装置５に宛てて送信する。また、撮影装置２に視野変更が生じた場合、当該撮影装置２は分布推定装置４宛に視野変更が生じた旨を通知する。
When the object
図６は中継装置３の動作の概略のフロー図である。撮影装置２が送信した撮影画像は中継装置３によって中継される。中継装置３の撮影画像受信手段３０は任意の撮影装置２から撮影画像を受信したときに（ステップＳ３０にて「ＹＥＳ」の場合）、当該画像を撮影画像記憶手段３１に記憶させる（ステップＳ３１）。一方、いずれの撮影装置２からも撮影画像を受信していないときは（ステップＳ３０にて「ＮＯ」の場合）、ステップＳ３１はスキップされる。
FIG. 6 is a schematic flowchart of the operation of the
また、中継装置３には前時刻の推定用画像に基づいて更新された伝送待ち時間の情報が分布推定装置４から送信される。中継装置３の待ち時間受信手段３２は分布推定装置４から任意の撮影装置２に関してカメラＩＤが付与された伝送待ち時間の情報を受信したときに（ステップＳ３２にて「ＹＥＳ」の場合）、当該情報を待ち時間記憶手段３３に記憶されているカメラＩＤが同一である伝送待ち時間の情報に上書きすることで情報を更新する（ステップＳ３３）。
Further, the information on the transmission waiting time updated based on the estimation image of the previous time is transmitted from the
伝送待ち時間の情報が更新されると、中継装置３の推定用画像送信手段３４は、撮影画像記憶手段３１を参照して、更新された当該情報と同一のカメラＩＤが付与され且つ当該情報よりも新しい撮影時刻が付与された分布推定装置４宛の撮影画像および表示装置５宛の撮影画像が受信されているか否かを確認する（ステップＳ３４）。
When the information on the transmission waiting time is updated, the estimation image transmission means 34 of the
中継装置３が該当する撮影画像を受信済みである場合（ステップＳ３４にて「ＹＥＳ」の場合）、推定用画像送信手段３４は、分布推定装置４宛の撮影画像から、更新された伝送待ち時間の情報において伝送待ち時間が０であるブロックの画素のみを抜き出して推定用画像を生成し、生成した推定用画像を分布推定装置４に送信する（ステップＳ３５）。
When the
なお、本実施形態では後述するように、伝送待ち時間のカウントダウンは分布推定装置４で行う構成としている。そこで、中継装置３は撮影装置２からの撮影画像の受信に同期した伝送待ち時間の１時刻の経過を分布推定装置４に知らせるために、ステップＳ３５では伝送待ち時間が０であるブロックの有無にかかわらず推定用画像の送信動作を行う。ここで、伝送待ち時間が０であるブロックがない場合の推定用画像は撮影画像の画素値を含まない実質的に空のデータであり、単に分布推定装置４に時刻の経過を知らせるためのデータとなる。
In the present embodiment, as described later, the countdown of the transmission waiting time is performed by the
また、中継装置３の表示用画像送信手段３５は、表示用画像を表示装置５に送信する（ステップＳ３６）。
Further, the display image transmission means 35 of the
なお、いずれの撮影装置２に関しても更新された伝送待ち時間の情報を分布推定装置４から受信していないときは（ステップＳ３２にて「ＮＯ」の場合）、ステップＳ３３〜Ｓ３６の処理はスキップされる。また、更新された伝送待ち時間の情報が受信された撮影装置２について当該情報よりも新しい撮影画像が未だ受信されていないときは（ステップＳ３４にて「ＮＯ」の場合）、ステップＳ３４〜Ｓ３６の処理はスキップされる。
In addition, when the information of the transmission waiting time updated about any
以上の処理を終えると中継装置３は処理をステップＳ３０に戻しステップＳ３０〜Ｓ３６の上述の動作を繰り返す。
When the above processing is completed, the
図７は分布推定装置４の動作の概略のフロー図である。分布推定装置４はステップＳ５０〜Ｓ５８からなるループ処理を実行する。
FIG. 7 is a schematic flow chart of the operation of the
まず、伝送間隔設定手段４４が初回起動時であるか否かおよび視野変更があったか否かを確認する（ステップＳ５０）。すなわち伝送間隔設定手段４４は待ち時間記憶手段４５を参照して伝送待ち時間の情報が記憶されていなければ初回起動時と判定する。また伝送間隔設定手段４４は中継装置３を介した撮影装置２からの通知を確認して視野変更通知を受信していれば視野変更があったと判定する。
First, it is checked whether the transmission interval setting means 44 is at the first activation and whether or not the field of view has been changed (step S50). That is, the transmission interval setting means 44 refers to the waiting time storage means 45 and determines that it is the first activation time if the information on the transmission waiting time is not stored. Further, the transmission interval setting means 44 confirms the notification from the photographing
初回起動時である場合、または撮影装置２に視野変更があった場合（ステップＳ５０にて「ＹＥＳ」の場合）、伝送間隔設定手段４４は伝送待ち時間情報の初期化処理を行う（ステップＳ５１，Ｓ５２）。当該初期化処理は、初回起動時である場合は全ての撮影装置２の伝送待ち時間情報について行われる。一方、撮影装置２の視野変更の場合には、当該初期化処理は当該撮影装置２に関してのみ行われる。
When it is the first start, or when the field of view has been changed in the photographing device 2 (in the case of "YES" in step S50), the transmission interval setting means 44 performs transmission waiting time information initialization processing (step S51, S52). The initialization process is performed on the transmission waiting time information of all the photographing
当該初期化処理では、伝送間隔設定手段４４が初期化対象の撮影装置２について撮影画像における全ブロックの伝送待ち時間を０［時刻］に初期化した伝送待ち時間情報を生成し（ステップＳ５１）、待ち時間送信手段４６が当該伝送待ち時間情報を中継装置３に送信する（ステップＳ５２）。また、当該伝送待ち時間情報は待ち時間記憶手段４５に記憶される。ちなみに、初回起動または視野変更が検知されると直ちに、０に初期化された伝送待ち時間情報を中継装置３へ送信することで、起動後または視野変更後の撮影画像を速やかに推定用画像として分布推定装置４へ送信することができる（図６のステップＳ３５）。
In the initialization process, the transmission
なお、初回起動時でなく且つ視野変更がなかった場合（ステップＳ５０にてＮＯ）、ステップＳ５１およびＳ５２の処理はスキップされ、既に待ち時間記憶手段４５に記憶されている値が維持される。 If it is not the first activation and there is no change in the field of view (NO in step S50), the processing in steps S51 and S52 is skipped, and the value already stored in waiting time storage means 45 is maintained.
次に、推定用画像受信手段４０が、撮影装置２から送信され、必要に応じて中継装置３によりフィルタリングされた撮影画像である推定用画像を受信しているか否かを確認する（ステップＳ５３）。
Next, it is checked whether the estimation image receiving means 40 receives an estimation image which is a photographed image transmitted from the photographing
推定用画像を受信した場合（ステップＳ５３にて「ＹＥＳ」の場合）、推定用画像受信手段４０は当該推定用画像を密度推定手段４２に入力し、推定用画像を入力された密度推定手段４２は、各ブロックを順次、注目ブロックに設定してステップＳ５４〜Ｓ５６のループ処理を実行する。すなわち、伝送待ち時間が０であるブロックは推定密度の更新タイミングが到来したブロックであるとして、当該ブロックについて推定密度を更新する処理を行う。
When the estimation image is received (in the case of “YES” in step S53), the estimation
図８はブロックごとの密度推定に関する処理Ｓ５５の概略のフロー図である。図８を参照して当該処理Ｓ５５を説明する。 FIG. 8 is a schematic flowchart of process S55 related to density estimation for each block. The process S55 will be described with reference to FIG.
上述したように推定用画像は、撮影装置２により撮影された画像を構成する画素値のうち伝送待ち時間が０であるブロックに帰属する画素の画素値の情報のみを含み、それ以外の画素の画素値は省略された画像である。当該推定用画像のデータは、伝送待ち時間が０ではないブロックの画素値が省略されることで高い圧縮効率を得ることができ、中継装置３から分布推定装置４への伝送効率を高めることができる。推定用画像のデータ圧縮には周知の各種の手法を用いることができる。
As described above, the estimation image includes only the information of the pixel value of the pixel belonging to the block having a transmission waiting time of 0 among the pixel values constituting the image captured by the
本実施形態では推定用画像受信手段４０は中継装置３から推定用画像のデータを受信すると、当該データを撮影装置２が出力する撮影画像と同じ２次元の画素配列からなる画像に展開し、この展開画像を密度推定手段４２へ出力する。なお、当該展開画像では、伝送待ち時間が０であるブロックに帰属する画素のみが有効な画素値を有する。
In the present embodiment, when receiving the data of the estimation image from the
密度推定手段４２は、図７のステップＳ５４で順次設定する注目ブロックについて、待ち時間記憶手段４５を参照して伝送待ち時間が０であるか否かを確認する（ステップＳ８０）。 The density estimating means 42 refers to the waiting time storage means 45 and checks whether the transmission waiting time is 0 or not for the block of interest sequentially set in step S54 in FIG. 7 (step S80).
注目ブロックの伝送待ち時間が０であれば（ステップＳ８０にて「ＹＥＳ」の場合）、密度推定手段４２は推定用画像における注目ブロック内の各画素での密度を推定し、当該画素での推定密度を物体分布記憶手段４３に上書き記憶させることにより、注目ブロック内の各画素における密度を更新する（ステップＳ８１）。 If the transmission waiting time of the block of interest is 0 (in the case of “YES” in step S80), the density estimating means 42 estimates the density of each pixel in the block of interest in the image for estimation, and estimates at that pixel The density is overwritten in the object distribution storage means 43, thereby updating the density at each pixel in the block of interest (step S81).
すなわち、密度推定手段４２は、推定用画像内の各画素の位置を基準とする窓を設定して当該窓内の特徴量を抽出するとともに密度推定器記憶手段４１から密度推定器を読み出して、各画素の位置にて抽出した特徴量を密度推定器に入力して当該画素における推定密度を密度推定器の出力値として得る。
That is, the
また、密度推定手段４２は注目ブロック内の各画素の推定密度を伝送間隔設定手段４４に出力する。伝送間隔設定手段４４は、入力された推定密度に基づいて、注目ブロックについて次に推定密度の更新を行うまでの時間である更新間隔を決定し、当該更新間隔を待ち時間記憶手段４５に新たな伝送待ち時間として設定する。
Also, the
具体的には、伝送間隔設定手段４４は、注目ブロック内の各画素に関し入力された推定密度に「背景」クラスまたは「低密度」クラスを示す値が含まれているか否かを確認する（ステップＳ８２）。そして、注目ブロックに「背景」クラスまたは「低密度」クラスが含まれている場合（ステップＳ８２にて「ＹＥＳ」の場合）、伝送間隔設定手段４４は待ち時間記憶手段４５に記憶されている注目ブロックの伝送待ち時間を１［時刻］に更新する（ステップＳ８３）。
Specifically, the transmission
一方、注目ブロックに「背景」クラスまたは「低密度」クラスが含まれていない場合（ステップＳ８２にて「ＮＯ」の場合）、伝送間隔設定手段４４は入力された推定密度に「中密度」クラスを示す値が含まれているか否かを確認する（ステップＳ８４）。注目ブロックに「中密度」クラスが含まれている場合（ステップＳ８４にて「ＹＥＳ」の場合）、伝送間隔設定手段４４は待ち時間記憶手段４５に記憶されている注目ブロックの伝送待ち時間を２［時刻］に更新する（ステップＳ８５）。 On the other hand, when the block of interest does not include the "background" class or the "low density" class (in the case of "NO" in step S82), the transmission interval setting means 44 selects the "medium density" class as the input estimated density. It is confirmed whether the value which shows is included (step S84). When the block of interest includes the "medium density" class (in the case of "YES" in step S84), the transmission interval setting means 44 sets the transmission waiting time of the block of interest stored in the waiting time storage means 45 to 2 It is updated to [time] (step S85).
また、注目ブロックに「中密度」クラスが含まれていない場合（ステップＳ８４にて「ＮＯ」の場合）、伝送間隔設定手段４４は注目ブロック内が「高密度」クラスのみであるとして待ち時間記憶手段４５に記憶されている注目ブロックの伝送待ち時間を４［時刻］に更新する（ステップＳ８６）。
Further, when the block of interest does not include the "medium density" class (in the case of "NO" in step S84), the transmission
なお、注目ブロックの伝送待ち時間が０でなければ（ステップＳ８０にて「ＮＯ」の場合）、注目ブロックに対するステップＳ８１〜Ｓ８６の処理は省略される。 If the transmission waiting time of the block of interest is not 0 (in the case of “NO” in step S80), the processing of steps S81 to S86 for the block of interest is omitted.
こうして注目ブロックに対する密度推定処理Ｓ５５を終えると処理は図７のステップＳ５６に進められ、密度推定手段４２は、全ブロックが処理済みであるか否かを確認する。未処理のブロックがある場合（ステップＳ５６にて「ＮＯ」の場合）、密度推定手段４２は処理をステップＳ５４に戻して次のブロックを注目ブロックに設定し、ループ処理を継続する。 Thus, when the density estimation process S55 for the block of interest is completed, the process proceeds to step S56 in FIG. 7, and the density estimation means 42 confirms whether all blocks have been processed. If there is an unprocessed block (in the case of “NO” in step S56), the density estimation means 42 returns the process to step S54, sets the next block as the target block, and continues the loop process.
他方、全ブロックが処理済みである場合（ステップＳ５６にて「ＹＥＳ」の場合）、中継装置３へ新たな伝送待ち時間を送信する。ここで、ステップＳ５６での推定密度の更新に伴い設定された伝送待ち時間は本来的には、その後の撮影装置２の撮影周期に応じた時刻の経過とともにカウントダウンされるものである。しかしながら、本実施形態では、分布推定装置４にて伝送待ち時間をカウントダウンし、その伝送待ち時間の情報を中継装置３へ送信する構成としており、この処理を簡素化するために、分布推定装置４では、次の推定用画像の受信を待たずに伝送待ち時間のカウントダウンを行う。すなわち、伝送間隔設定手段４４はステップＳ５５にて設定され待ち時間記憶手段４５に記憶されている各ブロックの伝送待ち時間を１［時刻］ずつ減算した値に更新し、待ち時間送信手段４６はこの更新後の伝送待ち時間情報を中継装置３に送信する（ステップＳ５７）。
On the other hand, when all the blocks have been processed (in the case of “YES” in step S56), a new transmission waiting time is transmitted to the
また、密度推定手段４２は物体分布記憶手段４３から全画素の推定密度を物体分布として読み出して物体分布を物体分布送信手段４７に出力し、物体分布送信手段４７は密度推定手段４２から入力された物体分布を表示装置５に宛てて送信する（ステップＳ５８）。 Further, the density estimation means 42 reads the estimated density of all the pixels from the object distribution storage means 43 as an object distribution and outputs the object distribution to the object distribution transmission means 47. The object distribution transmission means 47 is inputted from the density estimation means 42 The object distribution is sent to the display device 5 (step S58).
なお、新たな推定用画像を受信するまでの間（ステップＳ５３にて「ＮＯ」の場合）、ステップＳ５４〜Ｓ５８は省略される。 Note that steps S54 to S58 are omitted until a new estimation image is received (in the case of "NO" in step S53).
以上の処理を終えると、分布推定装置４の動作はステップＳ５０に戻され、ステップＳ５０〜Ｓ５８の処理が繰り返される。
When the above process is completed, the operation of the
表示装置５では、撮影装置２から表示装置５宛に送信されて中継装置３により中継された撮影画像である表示用画像を、表示用画像受信手段５０が受信して画像合成手段５２に出力する。また、分布推定装置４から表示装置５宛に送信されて中継装置３により中継された物体分布の情報を、物体分布受信手段５１が受信して画像合成手段５２に出力する。
In the
そして、表示装置５では、画像合成手段５２が、物体分布の情報を各画素の推定密度に応じた色値を有する画像に変換して、当該物体分布を変換した画像を当該物体分布と対応する表示用画像に透過合成して、物体分布表示手段５３に出力する。
Then, in the
［処理例］
図９〜図１３は、時刻ｔから時刻（ｔ＋４）までの５時刻にわたる処理によって、待ち時間記憶手段４５に記憶されている伝送待ち時間が更新される様子、更新タイミングが到来したブロックの密度が推定される様子、および物体分布記憶手段４３に記憶されている推定密度が更新される様子を例示する模式図である。
[Processing example]
9 to 13 show that the transmission waiting time stored in the waiting time storage means 45 is updated by the processing for five times from time t to time (t + 4), and the density of the blocks for which the update timing has arrived is FIG. 8 is a schematic view illustrating a state of estimation and a state of estimation density being stored in the object
解析待ち時間の情報１００，１０２，１１０，１１２，１２０，１２２，１３０，１３２，１４０，１４２は撮影画像に対応する２次元座標におけるブロックの配列と、各ブロックの伝送待ち時間とを模式的に画像として示している。当該画像にて、行列状に２次元配列される複数の矩形はそれぞれブロックを表しており、当該矩形内の数値は当該矩形が表すブロックの伝送待ち時間を表している。
The analysis waiting
ここで、図９〜図１３において「伝送待ち時間（画像取得時）」として示す情報１００，１１０，１２０，１３０，１４０のうち任意の時刻Ｔにおけるものは、基本的には分布推定装置４が時刻Ｔの推定用画像を受信したとき（図７のステップＳ５３）に分布推定装置４の待ち時間記憶手段４５および中継装置３の待ち時間記憶手段３３に記憶されている情報である。一方、「伝送待ち時間（密度推定後）」として示す情報１０２，１１２，１２２，１３２，１４２は具体的には図７に示すステップＳ５４〜Ｓ５６の密度推定に関するループ処理が完了した後の伝送待ち時間を表しており、ステップＳ５５内の処理（ステップＳ８３，Ｓ８５，Ｓ８６）での更新結果が反映されている。
Here, among the
図９〜図１３において「密度推定結果（更新部分）」として示す密度推定結果１０１，１１１，１２１，１３１，１４１は、各時刻において新たに得られた推定密度を、撮影画像に対応する２次元座標にて模式的に画像として示している。当該推定密度は図７に示すステップＳ５５内の処理（ステップＳ８１）で更新された密度であり、撮影画像に対応するブロック群のうち密度が更新された部分だけが図９〜図１３に密度推定結果の画像として示されている。 The density estimation results 101, 111, 121, 131, and 141 shown as “density estimation result (updated part)” in FIGS. 9 to 13 are two-dimensional corresponding to the photographed image of the estimated density newly obtained at each time The coordinates are schematically shown as an image. The estimated density is the density updated in the process in step S55 shown in FIG. 7 (step S81), and only the portion of the block group corresponding to the photographed image for which the density is updated is estimated in FIGS. It is shown as an image of the result.
具体的には、「伝送待ち時間（画像取得時）」として示す情報１００，１１０，１２０，１３０，１４０にて伝送待ち時間が０であるブロックに対応して、「密度推定結果（更新部分）」として示す密度推定結果１０１，１１１，１２１，１３１，１４１が生成される。
Specifically, in the
なお、図９〜図１３における各密度推定結果の画像において、白抜き部は「背景」クラスである画素、斜線部は「低密度」クラスである画素、横線部は「中密度」クラスである画素、網掛け部は「高密度」クラスである画素を表している。 In the image of each density estimation result in FIG. 9 to FIG. 13, the white part is a pixel of the “background” class, the hatched part is a pixel of the “low density” class, and the horizontal line is a “medium density” class Pixels and shaded portions represent pixels in the "high density" class.
図８を用いて説明したように、密度推定結果１０１，１１１，１２１，１３１，１４１が生成された推定密度の更新部分について、新たな更新間隔が設定され、その結果が反映されて「伝送待ち時間（密度推定後）」として示す情報１０２，１１２，１２２，１３２，１４２が生成される。
As described with reference to FIG. 8, a new update interval is set for the updated portion of the estimated density in which the density estimation results 101, 111, 121, 131, and 141 are generated, and the result is reflected. The
図９〜図１３において「密度推定結果（合成結果）」として示す密度推定結果１０３，１１３，１２３，１３３，１４３は物体分布記憶手段４３に記憶される推定密度を、それぞれ撮影画像に対応する２次元画像で模式的に示している。密度推定結果１０３，１１３，１２３，１３３，１４３のうち任意の時刻Ｔのものは、当該時刻の１時刻前に生成され物体分布記憶手段４３に記憶されている推定密度と、更新部分の密度推定結果１０１，１１１，１２１，１３１，１４１のうち当該時刻Ｔについて生成されたものとを合成して生成され、物体分布記憶手段４３に記憶される。例えば、時刻ｔ＋１における密度推定結果１１３は、時刻ｔの密度推定結果１０３に時刻ｔ＋１の更新部分の密度推定結果１１１を上書き合成して生成される。
The density estimation results 103, 113, 123, 133, and 143 shown as "density estimation result (composition result)" in FIGS. 9 to 13 correspond to the estimated density stored in the object distribution storage means 43, respectively. It is schematically shown in a two-dimensional image. Among the density estimation results 103, 113, 123, 133, 143, the one at any time T is the estimated density generated one time before the time and stored in the object distribution storage means 43, and the density estimation of the updated portion Of the
以下、時刻ｔ〜ｔ＋４の各時刻での処理をより具体的に説明する。 Hereinafter, the processing at each time of time t to t + 4 will be described more specifically.
図９は時刻ｔにおける処理に関する。時刻ｔの撮影画像は初回起動または視野変更の直後に取得され、よってその直前に全ブロックは伝送待ち時間を０に初期化され（図７のステップＳ５１）、当該伝送待ち時間が中継装置３に送信されて（図７のステップＳ５２）待ち時間記憶手段３３に記憶されている。その結果、中継装置３は推定用画像として全ブロックの画像を分布推定装置４へ送信し、また、分布推定装置４は待ち時間記憶手段４５を参照して全ブロックについて推定密度の更新タイミングが到来したとして、受信した推定用画像に基づき、密度推定結果１０１の画像で示すように全ブロックにおける各画素について密度を推定する。
FIG. 9 relates to processing at time t. The captured image at time t is acquired immediately after the first activation or changing of the field of view, so that all blocks are initialized to 0 on the transmission waiting time immediately before that (step S51 in FIG. 7). It is transmitted (step S52 in FIG. 7) and stored in the waiting time storage means 33. As a result, the
密度推定結果１０１に対応し、全ブロックについて推定密度に応じた新たな伝送待ち時間が設定され、伝送待ち時間の情報１０２が生成される。具体的には、「背景」クラスまたは「低密度」クラスの画素を含むブロックの伝送待ち時間は１に、それ以外で「中密度」クラスの画素を含むブロックの伝送待ち時間は２に、それら以外のブロックは「高密度」クラスのみの画素からなるとされて伝送待ち時間は４に更新されている。
Corresponding to the
また、密度推定結果１０１が全ブロックについて生成されることに対応し、密度推定結果１０３における全ブロックの推定密度は密度推定結果１０１の情報で更新されている。
In addition, the
図１０は時刻ｔ＋１における処理に関する。時刻ｔ＋１の撮影画像が取得される際の伝送待ち時間の情報１１０は、時刻ｔにおける処理（図７のステップＳ５７）にて、伝送待ち時間の情報１０２の全ブロックの伝送待ち時間を１ずつ減算して生成されている。その結果、全１２０ブロックのうちの６３ブロックの伝送待ち時間が０となり、中継装置３は当該６３ブロックを含む推定用画像を分布推定装置４へ送信する。そして分布推定装置４はそれら６３ブロックについて更新タイミングが到来したとして密度を推定し、その結果、密度推定結果１１１が得られている。
FIG. 10 relates to the process at
そして、伝送待ち時間の情報１１０のうち密度が推定された当該６３ブロックについて伝送待ち時間が更新され、伝送待ち時間の情報１１２が生成される。具体的には、当該６３ブロックのうちの「背景」クラスまたは「低密度」クラスの画素を含む６２ブロックの伝送待ち時間は１に、それ以外で「中密度」クラスの画素を含む１ブロックの伝送待ち時間は２に更新されている。ちなみに、上からｉ行目、左からｊ列目のブロックをＢｉｊと表すと、伝送待ち時間が２に設定される１ブロックはＢ２７である。なお、密度推定結果１１１にはＢ２７以外にも「中密度」クラスの画素を示す横線部の領域が得られているが、当該領域のブロックは一部に斜線部で示す「低密度」クラスの画素を含むため、伝送待ち時間を１に設定されている。
Then, the transmission waiting time is updated for the 63 blocks of the transmission waiting
また、密度推定結果１０３のうち上述の６３ブロックが密度推定結果１１１の情報で更新されて密度推定結果１１３が生成される。
Further, the above-described 63 blocks of the
図１１は時刻ｔ＋２における処理に関する。時刻ｔ＋２の撮影画像が取得される際の伝送待ち時間の情報１２０は、時刻ｔ＋１における処理（図７のステップＳ５７）にて、伝送待ち時間の情報１１２の全ブロックの伝送待ち時間を１ずつ減算して生成される。その結果、全１２０ブロックのうちの９１ブロックについて伝送待ち時間が０となり更新タイミングが到来する。これに対応して、中継装置３は当該９１ブロックを含む推定用画像を分布推定装置４へ送信する。そして、分布推定装置４では、推定密度の更新部分として当該９１ブロックからなる密度推定結果１２１が生成され、また更新された推定密度に基づいて当該９１ブロックについて伝送待ち時間が更新され、伝送待ち時間の情報１２２が生成される。具体的には、当該９１ブロックのうちの「背景」クラスまたは「低密度」クラスの画素を含む６４ブロックの伝送待ち時間は１に、それ以外で「中密度」クラスの画素を含む２７ブロックの伝送待ち時間は２に更新されている。また、密度推定結果１１３のうち上述の９１ブロックが密度推定結果１２１の情報で更新されて密度推定結果１２３が生成される。
FIG. 11 relates to processing at
図１２に示す時刻ｔ＋３における処理、および図１３に示す時刻ｔ＋４における処理も同様にして行われ、前時刻に更新され待ち時間記憶手段４５に記憶された伝送待ち時間から画像取得時の伝送待ち時間が生成されて中継装置３に送信され、中継装置３は更新タイミングが到来したブロックの画素のみについて推定用画像として分布推定装置４へ送信し、分布推定装置４は更新タイミングが到来したブロックのみについて推定密度を更新する。そして、その結果に基づいて、伝送待ち時間の更新、および撮影画像全体での推定密度の合成結果の生成が行われる。
The processing at time t + 3 shown in FIG. 12 and the processing at time t + 4 shown in FIG. 13 are similarly performed, and the transmission waiting time at the time of image acquisition from the transmission waiting time updated at the previous time and stored in waiting time storage means 45 Is generated and transmitted to the
このような処理の結果、５時刻の間に１４４ブロック分の密度推定の処理コストが削減される。その一方で、密度推定結果１０３，１１３，１２３，１３３，１４３においては混雑状況の変化が高い確度で得られている。 As a result of such processing, the processing cost of density estimation for 144 blocks during 5 hours is reduced. On the other hand, in the density estimation results 103, 113, 123, 133, 143, changes in the congestion status are obtained with high accuracy.
［変形例］
（１）上記実施形態においては、検出対象の物体を人とする例を示したが、これに限らず、検出対象の物体を車両、牛や羊等の動物等とすることもできる。
[Modification]
(1) In the above embodiment, although an example in which the object to be detected is a human is shown, the object to be detected may be a vehicle, an animal such as a cow or sheep, or the like.
（２）上記実施形態およびその変形例においては、多クラスＳＶＭ法にて学習した密度推定器を例示したが、多クラスＳＶＭ法に代えて、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器とすることができる。 (2) In the above embodiment and its modification, the density estimator learned by the multiclass SVM method is exemplified, but instead of the multiclass SVM method, a decision tree type random forest method, multiclass adaboost ( It can be various density estimators, such as a density estimator learned by AdaBoost) method or multiclass logistic regression method.
或いは識別型のＣＮＮ（Convolutional Neural Network）を用いた密度推定器とすることもできる。 Alternatively, it may be a density estimator using a discrimination type CNN (Convolutional Neural Network).
（３）上記実施形態およびその各変形例においては、密度推定器が推定する背景以外の密度のクラスを３クラスとしたが、より細かくクラスを分けてもよい。その場合、クラス分けに対応したより細かい段階で伝送間隔が設定される。 (3) In the above-described embodiment and the respective variations thereof, classes of density other than the background estimated by the density estimator are three classes, but the classes may be divided more finely. In that case, transmission intervals are set in finer stages corresponding to classification.
（４）上記実施形態およびその各変形例においては、多クラスに分類する密度推定器を例示したがこれに代えて、特徴量から密度の値（推定密度）を回帰する回帰型の密度推定器とすることもできる。すなわち、リッジ回帰法、サポートベクターリグレッション法、回帰木型のランダムフォレスト法またはガウス過程回帰（Gaussian Process Regression）などによって、特徴量から推定密度を求めるための回帰関数のパラメータを学習した密度推定器とすることができる。 (4) In the above-described embodiment and each of the modifications thereof, a density estimator that classifies into multiple classes is illustrated, but instead, a regression-type density estimator that regresses the value of density (estimated density) from feature amounts It can also be done. That is, a density estimator which learns parameters of a regression function for obtaining an estimated density from feature amounts by ridge regression method, support vector regression method, regression tree type random forest method, Gaussian process regression, or the like can do.
或いは回帰型のＣＮＮを用いた密度推定器とすることもできる。 Alternatively, it may be a density estimator using a regression type CNN.
これらの場合、密度クラスの値の代わりに連続値で出力される推定密度の値域を、更新間隔と対応付けて設定しておく。 In these cases, the value range of the estimated density output as a continuous value instead of the value of the density class is set in association with the update interval.
（５）上記実施形態およびその各変形例において示した伝送間隔は一例であり、推定密度の範囲設定、検出対象の速さ、撮影装置２の撮影周期および画角等の撮影条件に応じて、それらの条件に適した別の値とすることができる。
(5) The transmission intervals shown in the above embodiment and the respective variations thereof are merely examples, and according to the imaging conditions such as the setting of the estimated density range, the speed of the detection target, the imaging cycle of the
（６）上記実施形態およびその各変形例においては、密度推定器が学習する特徴量および密度推定に用いる特徴量としてＧＬＣＭ特徴を例示したが、これらはＧＬＣＭ特徴に代えて、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量、輝度パターンなどの種々の特徴量とすることができ、またはＧＬＣＭ特徴とこれらのうちの複数を組み合わせた特徴量とすることもできる。 (6) In the above embodiment and each of the variations thereof, GLCM features are exemplified as feature quantities to be learned by the density estimator and feature quantities used for density estimation, but these are local binary patterns (in place of GLCM features) Local Binary Pattern (LBP) feature amounts, Haar-like feature amounts, HOG (Histograms of Oriented Gradients) feature amounts, various feature amounts such as luminance patterns, or GLCM features and the like A plurality of feature amounts can be combined.
（７）上記実施形態およびその各変形例においては、撮影画像上での密度推定手段４２の走査間隔を１画素ごととする例を示したが、当該走査間隔を２画素以上ごとのように間隔を空けて行うことも可能である。 (7) In the above-described embodiment and each of the modifications, the scanning interval of the density estimating means 42 on the photographed image is set to every one pixel, but the scanning interval is an interval like every two pixels or more It is also possible to do this by
（８）上記実施形態およびその各変形例においては、混雑度合いを推定する手段として例示した密度推定手段４２が、混雑度合いとして物体の密度を推定することによって物体の分布を推定する例を示したが、混雑度合いの推定処理として画像の複雑度の解析によって物体の分布を推定することもできる。例えば、撮影画像を互いに色が類似する隣接画素ごとの領域に分割し、上述したブロックごとに当該ブロックとの重なりを有する分割領域を計数して計数値が多いほど高い複雑度を求める。或いは、撮影画像のブロックごとに周波数解析を行って平均周波数が高いほど高い複雑度を求める。そして、予めの実験を通じて複雑度と混雑度合いの関係を定めておき（複雑度が高いほど混雑度合いが高い関係）、ブロックごとに、求めた複雑度に対応する混雑度合いを推定値とする。 (8) In the above-described embodiment and the respective variations thereof, the density estimating means 42 exemplified as the means for estimating the congestion degree shows an example of estimating the distribution of the object by estimating the density of the object as the congestion degree However, it is also possible to estimate the distribution of objects by analyzing the complexity of the image as estimation processing of the congestion degree. For example, the photographed image is divided into areas of adjacent pixels whose colors are similar to each other, and divided areas having an overlap with the block are counted for each of the blocks described above to obtain higher complexity as the count value increases. Alternatively, frequency analysis is performed for each block of the captured image, and the higher the average frequency, the higher the complexity. Then, the relationship between the degree of complexity and the degree of congestion is determined through experiments in advance (the relation that the degree of congestion is higher as the degree of complexity is higher), and the degree of congestion corresponding to the obtained degree of complexity is taken as the estimated value for each block.
１ 物体分布推定システム、２ 撮影装置、３ 中継装置、４ 分布推定装置、５ 表示装置、２０ 画像取得手段、２１ 撮影画像送信手段、３０ 撮影画像受信手段、３１ 撮影画像記憶手段、３２ 待ち時間受信手段、３３，４５ 待ち時間記憶手段、３４ 推定用画像送信手段、３５ 表示用画像送信手段、４０ 推定用画像受信手段、４１ 密度推定器記憶手段、４２ 密度推定手段、４３ 物体分布記憶手段、４４ 伝送間隔設定手段、４６ 待ち時間送信手段、４７ 物体分布送信手段。
Claims (4)
前記分布推定装置は、前記撮影画像内に複数設定された局所領域ごとの解析によって前記局所領域それぞれにおける前記物体の混雑度合いを求めることで前記分布を推定し、
前記中継装置は、前記局所領域それぞれにおける前記撮影画像を、当該局所領域について前記分布推定装置が求めた前記混雑度合いに応じたフレームレートで中継すること、を特徴とする物体分布推定システム。 A photographing device for photographing a space in which a predetermined object can exist at a predetermined frame rate; a distribution estimation device for analyzing the photographed image to estimate a distribution of the object in the space; and the distribution estimation device from the photographing device An object distribution estimation system in which a relay device for relaying the captured image is connected via a network,
The distribution estimation device estimates the distribution by obtaining the degree of congestion of the object in each of the local regions by analysis of each of the plurality of local regions set in the captured image,
An object distribution estimation system characterized in that the relay device relays the photographed image in each of the local regions at a frame rate according to the congestion degree obtained by the distribution estimation device for the local regions.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017206473A JP6889088B2 (en) | 2017-10-25 | 2017-10-25 | Object distribution estimation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017206473A JP6889088B2 (en) | 2017-10-25 | 2017-10-25 | Object distribution estimation system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019080202A true JP2019080202A (en) | 2019-05-23 |
| JP2019080202A5 JP2019080202A5 (en) | 2020-08-06 |
| JP6889088B2 JP6889088B2 (en) | 2021-06-18 |
Family
ID=66628857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017206473A Active JP6889088B2 (en) | 2017-10-25 | 2017-10-25 | Object distribution estimation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6889088B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005045666A (en) * | 2003-07-24 | 2005-02-17 | Mitsubishi Electric Corp | Transcoder |
| WO2009157227A1 (en) * | 2008-06-23 | 2009-12-30 | 三菱電機株式会社 | In-train monitor system |
| US20170061644A1 (en) * | 2015-08-27 | 2017-03-02 | Kabushiki Kaisha Toshiba | Image analyzer, image analysis method, computer program product, and image analysis system |
| JP2017045438A (en) * | 2015-08-27 | 2017-03-02 | 株式会社東芝 | Image analyzer, image analysis method, image analysis program and image analysis system |
| JP2017076181A (en) * | 2015-10-13 | 2017-04-20 | セコム株式会社 | Tracking device |
-
2017
- 2017-10-25 JP JP2017206473A patent/JP6889088B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005045666A (en) * | 2003-07-24 | 2005-02-17 | Mitsubishi Electric Corp | Transcoder |
| WO2009157227A1 (en) * | 2008-06-23 | 2009-12-30 | 三菱電機株式会社 | In-train monitor system |
| US20110069170A1 (en) * | 2008-06-23 | 2011-03-24 | Mitsubishi Electric Corporation | In-train monitor system |
| US20170061644A1 (en) * | 2015-08-27 | 2017-03-02 | Kabushiki Kaisha Toshiba | Image analyzer, image analysis method, computer program product, and image analysis system |
| JP2017045438A (en) * | 2015-08-27 | 2017-03-02 | 株式会社東芝 | Image analyzer, image analysis method, image analysis program and image analysis system |
| JP2017076181A (en) * | 2015-10-13 | 2017-04-20 | セコム株式会社 | Tracking device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6889088B2 (en) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109640007B (en) | Artificial intelligence image sensing equipment | |
| CN104052905B (en) | Method and apparatus for handling image | |
| EP3024227A1 (en) | Image processing apparatus and image processing method | |
| US8922674B2 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras | |
| JP2019118043A (en) | Image pickup apparatus, image processing apparatus, control method, and program | |
| EP3032376A1 (en) | Image recognition system, server apparatus, and image recognition method | |
| JP2007148988A (en) | Face authentication unit, face authentication method, and entrance/exit management device | |
| CN111242025A (en) | Action real-time monitoring method based on YOLO | |
| KR102127276B1 (en) | The System and Method for Panoramic Video Surveillance with Multiple High-Resolution Video Cameras | |
| KR20120035734A (en) | A method for detecting fire or smoke | |
| CN113781421A (en) | Underwater-based target identification method, device and system | |
| CN111259723A (en) | Action recognition device and action recognition method | |
| CN115346060A (en) | Picture abnormity identification method and device, electronic equipment and storage medium | |
| CN112232107A (en) | Image type smoke detection system and method | |
| JP2018113660A (en) | Information processing device, information processing method, and system | |
| JP6266946B2 (en) | Surveillance camera and image monitoring device | |
| JP5069091B2 (en) | Surveillance camera and surveillance camera system | |
| JP6889088B2 (en) | Object distribution estimation system | |
| US11275947B2 (en) | Image processing system, image processing method, and image processing program | |
| JP6949656B2 (en) | Object distribution estimator | |
| JPWO2020039897A1 (en) | Station monitoring system and station monitoring method | |
| JP6939065B2 (en) | Image recognition computer program, image recognition device and image recognition method | |
| KR20190028016A (en) | Apparatus for monitoring home, method and computer program | |
| US20220036114A1 (en) | Edge detection image capture and recognition system | |
| JP2005269473A (en) | Monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200625 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200625 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6889088 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |