JP2020086961A - Image analysis device, imaging device, image analysis method, and program - Google Patents
Image analysis device, imaging device, image analysis method, and program Download PDFInfo
- Publication number
- JP2020086961A JP2020086961A JP2018220677A JP2018220677A JP2020086961A JP 2020086961 A JP2020086961 A JP 2020086961A JP 2018220677 A JP2018220677 A JP 2018220677A JP 2018220677 A JP2018220677 A JP 2018220677A JP 2020086961 A JP2020086961 A JP 2020086961A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- detection
- analysis
- predetermined position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像解析装置、撮影装置、画像解析方法、及び、プログラムに関する。 The present invention relates to an image analysis device, a photographing device, an image analysis method, and a program.
従来から、競技場や駅、イベント会場、空港、小売店舗や大規模な商業店舗など、さまざまな施設で特定のエリアを通過する人の数をカウントしたいというニーズがあった。このようなニーズに対して、カメラで撮影した画像を画像解析することで特定エリアや特定ライン上を通過した人数をカウントする通過人数カウント技術がある。この技術では、画像内に映っている人体を画像解析により検出し、さらにその人体を画像内で追尾処理することで通過検知ラインを通過した人体を検出し、通過人数をカウントする。 Conventionally, there has been a need to count the number of people who pass through a specific area at various facilities such as stadiums, stations, event venues, airports, retail stores and large-scale commercial stores. In order to meet such needs, there is a passing person counting technology for counting the number of people who have passed through a specific area or a specific line by analyzing an image taken by a camera. In this technique, the human body shown in the image is detected by image analysis, and the human body that has passed through the passage detection line is detected by performing tracking processing on the human body in the image, and the number of passing persons is counted.
この通過人数カウント技術を適用することで、たとえば小売店舗においては、出入口や通路を撮影したカメラの映像からそれぞれの出入口や通路を通過した人数が分かるため、顧客の動線を把握し、回遊性と買上率を高める最適な商品レイアウトや店舗内広告表示を検討することが可能となる。 By applying this passing count technology, for example, in retail stores, the number of people who have passed through each entrance or aisle can be known from the image of the camera shooting the entrance or aisle. Therefore, it becomes possible to consider the optimal product layout and in-store advertisement display that increase the purchase rate.
通過人数カウント技術の一例として、非特許文献1のような方法がある。この方法では、連続して撮影した動画像の最初の画像に対して、画像全体を画像解析し、画像に映る人体を検出する(この処理を「全画面探索」と呼ぶ)。その後、後続の画像に対しては前の画像の全画面探索で検出した人体の周辺のみを探索範囲として人体検出することで追尾処理を行っている(この処理を「局所探索」と呼ぶ)。非特許文献1の方法では、計算負荷が大きな全画面探索処理を一度実行し、その後に計算負荷が小さい局所探索処理を複数回実行することで、すべての画像に全画面探索をすることなく人体追尾を実現している。 As an example of the passing person counting technology, there is a method described in Non-Patent Document 1. In this method, the whole image is analyzed for the first image of the moving images captured continuously, and the human body reflected in the image is detected (this process is called "full screen search"). After that, for the subsequent images, the tracking process is performed by detecting the human body only as a search range around the human body detected by the full-screen search of the previous image (this process is called “local search”). According to the method of Non-Patent Document 1, the full-screen search process having a large calculation load is executed once, and then the local search process having a small calculation load is executed a plurality of times, so that the full-screen search is not performed on all the images of the human body. Tracking is realized.
上記の小売店舗以外にも、イベント会場や空港などの広い領域にたくさんの人が集まるような場所においても通過人数をカウントしたいというニーズがある。イベント会場や空港などでは、撮影した画像内に多くの人物が含まれる。このような画像に非特許文献1の方法を適用した場合、全画面探索で多くの人物が検出される。全画面探索後の局所探索では、全画面探索で検出された人物の周辺で人物検出処理を行うため、全画面探索で検出された人物の数が多いほど計算負荷が高くなる。局所探索の計算負荷が高くなると、画像1枚当たりの処理時間が長くなってしまう。そして、画像1枚当たりの局所探索処理時間が長くなった場合、検出漏れが発生し、追尾精度の低下をまねくおそれがある。 In addition to the retail stores mentioned above, there is a need to count the number of people passing by even in places where many people gather in large areas such as event venues and airports. Many people are included in captured images at event venues and airports. When the method of Non-Patent Document 1 is applied to such an image, many people are detected in the full screen search. In the local search after the full-screen search, since the person detection processing is performed around the person detected in the full-screen search, the calculation load increases as the number of people detected in the full-screen search increases. If the calculation load of the local search becomes high, the processing time per image becomes long. If the local search processing time per image becomes long, detection omission may occur and the tracking accuracy may be deteriorated.
そこで本発明は、局所探索の計算負荷を低減させ、追尾精度の低下を防ぐことを可能にする技術を提供する。 Therefore, the present invention provides a technique that makes it possible to reduce the calculation load of local search and prevent a decrease in tracking accuracy.
上記課題を解決するための発明は、画像解析装置であって、
所定の監視領域を撮影して得られた複数の画像を解析し、前記複数の画像のうちの第1の画像について画像の全領域において人物の検出を行う第1の検出と、前記複数の画像のうち前記第1の画像に後続する第2の画像について前記第1の検出の検出結果に基づく画像の一部の領域において前記第1の検出において検出された人物の検出を行う第2の検出とを行う解析手段と、
前記解析手段による解析の結果に基づき、前記監視領域における所定の位置を通過した人数を計数する計数手段と
を備え、前記解析手段は、前記第2の検出において、前記第1の検出において検出された人物のうち、前記所定の位置に向かう人物を前記第2の画像において検出する。
The invention for solving the above-mentioned problems is an image analysis device,
A first detection of analyzing a plurality of images obtained by photographing a predetermined monitoring area and detecting a person in the entire area of the image of the first images of the plurality of images; and the plurality of images Second detection for detecting the person detected in the first detection in a partial region of the image based on the detection result of the first detection for the second image subsequent to the first image An analysis means for performing
Counting means for counting the number of people who have passed a predetermined position in the monitoring area based on the result of the analysis by the analyzing means, wherein the analyzing means is detected in the first detection in the second detection. A person heading for the predetermined position is detected in the second image from among the persons.
本発明によれば、局所探索の計算負荷を低減して追尾精度の低下を防ぐことができる。 According to the present invention, it is possible to reduce the calculation load of local search and prevent tracking accuracy from deteriorating.
以下、添付の図面に基づいて発明の実施形態を詳細に説明する。図1(A)は、発明の実施形態に係る情報処理システム100の構成例を示す図である。情報処理システム100は、ネットワーク101を介して接続された、少なくともひとつのネットワークカメラ102と、情報処理装置103とを備える。図1(A)に示した情報処理システム100の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1A is a diagram showing a configuration example of an
ネットワーク101は、LANやインターネット等のIPベースの通信が可能な通信回線である。ネットワーク101は、有線/無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。
The
ネットワークカメラ102は、例えば劇場、映画館、スタジアムといった監視対象区域に設置される監視カメラである。ネットワークカメラ102は、監視対象区域における所定の領域(監視領域)を撮影するように設置され、ネットワーク101を介して撮影した画像(動画像、静止画像)を情報処理装置103に配信する機能を持つ。また、ネットワークカメラ102は撮影した画像の解析を行う画像解析装置としても機能することができ、監視領域内に存在する人物の検出や、監視領域内の特定の領域(範囲、或いは、位置)を通過した人数を計数(カウント)する等の処理を行うことができる。ネットワークカメラ102は、PTZ(パン・チルト・ズーム)制御機能を持ち、パンおよびチルト制御用の雲台(不図示)を有していても良い。また、ネットワークカメラ102は複数台が用意され、監視対象区域内の複数の監視領域をそれぞれ撮影するため、個々に設置されていてもよい。
The
情報処理装置103は、ネットワーク101を介してネットワークカメラ102と通信し、ネットワークカメラ102の動作を制御することができる。例えば、雲台の制御をしたり、画質設定やPTZの制御等の変更要求を行ったりすることができる。ネットワークカメラ102で撮影された動画像及び静止画像、ネットワークカメラ102における画像解析結果を、ネットワーク101介して受信する。情報処理装置103は、例えばパソコン、サーバー、タブレット等として実現することができる。情報処理装置120は単一の装置により実現される場合だけでなく、複数の装置が協働して各機能を実現してもよい。
The
次に、図1(B)を参照してネットワークカメラ102のハードウェア構成を説明する。ネットワークカメラ102は、システムバス110に対してCPU111、RAM112、ROM113、記憶装置114、通信装置115、撮影装置116及び制御装置117が接続されて構成されている。
Next, the hardware configuration of the
CPU111は、ネットワークカメラ102の全体的な制御やデータの計算・加工を行う装置である。RAM112は、揮発性のメモリであり、CPU111の主メモリ、ワークエリア等の一時記憶領域として用いられる。ROM113は、不揮発性のメモリであり、画像データやその他のデータ、CPU111が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。CPU111は、例えばROM113に格納されるプログラムに従い、RAM112をワークメモリとして用いて、ネットワークカメラ102の各部を制御する。尚、CPU111が動作するためのプログラムは、ROM113に格納されるのに限られず、記憶装置114に記憶されていてもよい。
The
記憶装置114は、例えばHDDやフラッシュメモリなどの磁気ディスクにより構成される。記憶装置114には、アプリケーションプログラム、OS、制御プログラム、関連プログラム等が格納される。記憶装置114は、CPU111の制御に基づき、データを読み出したり、書き込みしたりすることができる。記憶装置114をRAM112やROM113の代わりに使用してもよい。
The
通信装置115は、CPU111の制御に基づき、ネットワーク101を介して情報処理装置103と通信するための通信インタフェースである。通信装置115は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、RF送受信器、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは1つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、USBやIEEE1394等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
The
撮影装置116は、実空間である監視対象区域内の監視領域を撮影することにより画像を生成する。撮影装置116では、CCDやCMOSイメージセンサなどの撮像素子を用いて光電変換により得られたアナログ画像信号をA/D変換によりデジタル画像信号に変換する。また、デジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理を実施する。現像処理された画像は、CPU111により解析され、本実施形態に対応する探索処理が行われる。更に、現像処理部が出力したデジタル画像信号を圧縮・符号化して、画像データを生成する。画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。符号化された画像データは、情報処理装置103に配信される。撮影装置116では、例えば、静止画像のほかに、1秒間に所定数のフレーム分(例えば、30フレーム)の画像を取得して、監視領域の30fpsの動画像(ライブ映像)を取得することが可能である。制御装置117は、撮影方向を変えるための雲台と、ズームやフォーカスや絞りなどの撮影の設定を変更する機構を含む。
The
図1(B)は、ネットワークカメラ102のハードウェア構成図として示しているが、情報処理装置103のハードウェア構成も図1(B)に準ずるものとすることができる。その場合、撮影装置116と制御装置117とは構成から除外される。
1B is shown as a hardware configuration diagram of the
次に、図2を参照してネットワークカメラ102の機能構成の一例について説明する。ネットワークカメラ102は、撮影部201、カメラ制御部202、通信部203、記憶部204、処理部205と、解析部206を含むことができる。これらの機能構成要素は、あくまで一例であって、これら以外の機能構成要素が更に追加されても良い。また、図2に示す機能構成はソフトウェアとして実現することが可能であるが、それに限らず、少なくとも一部または全部を専用ハードウェア回路として実装してもよい。
Next, an example of the functional configuration of the
撮影部201は、撮影装置116により生成された画像データを通信部203を介して、ネットワーク101経由で外部の情報処理装置103に配信することができる。撮影部201の機能は、CPU111が所定の制御プログラムを実行して撮影装置116の動作を制御することで実現される。
The
カメラ制御部202は、後述する処理部205から要求に基づき制御装置117を制御し、撮影装置116が有するレンズのピントを調整したり、ズームを制御したり、雲台を制御して撮影方向を変更したりすることにより、ネットワークカメラ102における撮影条件を調整・変更することができる。カメラ制御部202は、CPU111が所定の制御プログラムを実行して制御装置117の動作を制御することで実現される。
The
通信部203は、ネットワーク101を介して情報処理装置103との通信を行うことができる。通信部203の機能は、CPU111が所定の制御プログラムを実行して通信装置115の動作を制御することで実現される。記憶部204は、ネットワークカメラ102の機種情報や各種設定値を記憶装置114に書き込んだり、読み込んだりすることができる。記憶部204の機能は、CPU111が所定の制御プログラムを実行して記憶装置114の動作を制御することで実現される。
The
処理部205は、通信部203経由で情報処理装置103からリクエストコマンド(不図示)を受け付け、要求に対するレスポンスコマンド(不図示)を情報処理装置103に返送することができる。また、処理部205は、受け付けたリクエストコマンドの内容を解析し、当該リクエストコマンドに関する処理を実行することができる。例えば、リクエストコマンドがネットワークカメラ102のチルト制御に関する要求であれば、処理部204は当該リクエストコマンドの内容に基づき、カメラ制御部202にチルト制御の要求を送る。カメラ制御部202は受けつけたチルト制御の要求に基づき、チルトを変更するように制御装置117を制御する。別の例として、リクエストコマンドがネットワークカメラ102の設定の状態の問い合わせに関する要求であれば、処理部204は記憶部204に対して該当する設定の状態を取得するように要求し、設定の内容をレスポンスコマンドに変換して、情報処理装置103に返送することができる。これらの処理部205の機能は、CPU111が所定の制御プログラムを実行することで実現される。
The
解析部206は、撮影部201が撮影した画像について画像解析を行い、特定の対象物を認識・識別・抽出することができる。また、図5、図8及び図9を参照して後述するように、本実施形態に対応する通過人数カウント処理を実行することができる。更に、画像の中で動体部分のみを検知したり、人物を認識したり、人の顔を識別して個人を特定したり、車のナンバープレートを照合したり、することができる。解析部206の機能は、CPU111が所定の制御プログラムを実行することで実現される。
The
本実施形態では、図2に示す機能構成の全てをネットワークカメラ102側で有する場合、即ち、人物の撮影と、撮影により得られた画像の解析をネットワークカメラ102で行う場合を説明する。しかし、処理の一部を情報処理装置103において実施してもよい。例えば、解析部206の機能を情報処理装置103に持たせるようにして、画像解析装置として動作させてもよい。この場合、ネットワークカメラ102により撮影・生成された画像データが情報処理装置103側に提供され、情報処理装置103において人物の認識、識別、抽出、検出といった画像解析処理、及び、通過人数カウント処理が実行される。
In the present embodiment, a case will be described in which the
以下では、本実施形態に係るネットワークカメラ102側での通過人数カウント処理の流れを説明する。通過人数カウント処理とは、ネットワークカメラ102で撮影されている監視領域に予め設定された人物検知ラインを通過した人物の数(人数)を計数(カウント)する処理である。
The flow of the passing person counting process on the
ここで図3及び図4(A)を参照して、従来の通過人数カウント方法の問題及び本願発明の通過人数カウント処理の概念について説明する。まず、図3は、従来の通過人数のカウント方法の問題を説明するための図である。画像300、画像310、画像320は、それぞれ処理対象となる3枚の画像、例えば、動画像に含まれる複数の画像のうちの3枚の画像を示している。時系列において、画像300が一番古く最初に処理され、次に画像310が処理され、その後に画像320が処理される。3枚の画像は必ずしも時間的に隣接していなくてもよい。ここで、先頭の画像301には全画面探索が実行され、後続の画像311及び312には局所探索が実行される。
Here, with reference to FIG. 3 and FIG. 4A, the problem of the conventional passing person counting method and the concept of the passing person counting process of the present invention will be described. First, FIG. 3 is a diagram for explaining a problem of the conventional counting method of the number of passing people. An
画像300では、全画面探索により2人の人物301及び302が検出されている。検出された人物に基づき、人物領域303及び305が設定され、人物領域を包含するように後続の画像において人物を探索する対象の領域となる周辺領域を設定する。人物301については周辺領域304、人物302については周辺領域306がそれぞれ設定され、後続の画像310においては当該周辺領域304及び306の位置で対応する人物の探索が行われる。
In the
後続の画像310では、2人の人物301及び302が、画像300における位置よりも右方向に移動しているが、全画面探索の結果に基づき設定された周辺領域304及び306内にいるため、依然として検出可能であり、かつ、追尾可能である。そして、画像310における人物301及び302の検出結果に基づき、人物領域313及び315がそれぞれ設定される。
In the
画像310の後続の画像320においては、人物領域313及び315に基づいて周辺領域324及び326が設定され、人物探索が行われる。このとき、検出された人数が多いために画像310の局所探索処理に要する時間が長くなった場合、次の処理対象となる画像320は、想定よりも長い時間が経過した後の画像となる場合が考えられる。この場合、画像310と画像320における人物の位置の差(移動量)が大きくなってしまう。たとえば、人物301は移動速度が遅く、人物302は移動速度が速いとすると、画像320において、移動速度の遅い人物301は周辺領域324内にいるため検出可能だが、移動速度が速い人物302は周辺領域326の外に移動してしまうおそれがある。この場合、画像320からは人物302を検出できないので、人物320をこれ以降の画像において追跡することが困難となる。
In the
このように、1枚の画像における処理負荷が画像毎に異なる場合には、従来手法では局所探索処理を実施した場合であってもリアルタイムに人物追跡を行うことが困難となってしまう。これに対して本実施形態に対応する発明では、画像内に存在する人物のうち、検出対象(探索対象、或いは、追跡対象)とすべき人物を絞り込むことにより、探索処理における処理負荷の軽減を図り、検出漏れを防止可能とする。 As described above, when the processing load on one image is different for each image, it becomes difficult for the conventional method to perform human tracking in real time even when the local search processing is performed. On the other hand, the invention corresponding to the present embodiment reduces the processing load in the search processing by narrowing down the persons to be the detection target (search target or tracking target) among the people existing in the image. This makes it possible to prevent omissions in detection.
図4(A)を参照して本実施形態に対応する通過人数カウント処理について説明する。本実施形態では、検出対象の人物を絞り込むために人物の移動方向を考慮する。通過人数カウント処理では、ネットワークカメラ102で撮影する監視領域内の所定の領域、或いは、所定の位置を通過した人物の数を検知する。このとき、人物を検出するための基準位置が画像内に設定される。当該基準位置は、例えば、領域(矩形、円形、楕円形の他任意の2次元形状とすることができる)、または、線分により設定することができる。
The number-of-passages counting process corresponding to the present embodiment will be described with reference to FIG. In this embodiment, the moving direction of a person is considered in order to narrow down the person to be detected. In the passing person counting process, the number of persons who have passed a predetermined area in the monitoring area photographed by the
図4(A)では人物検出用の基準位置を線分として設定した例を示している。画像400はネットワークカメラ102で撮影した画像を示しており人物検知ラインとして線分401が重畳されている。人物検知ライン401は、情報処理装置103において画像における任意の位置に、任意の長さで設定することができる。また、人物検知領域を設定する場合には、情報処理装置103において画像における任意の位置に、任意の大きさ及び形状で領域を設定することができる。ネットワークカメラ102は、通信部203を介して情報処理装置103からリクエストコマンドを受信し、リクエストコマンドに含まれる設定情報に基づいて人物検知ライン401を設定することができる。人物検知ラインの設定情報は記憶装置114に保存される。
FIG. 4A shows an example in which the reference position for person detection is set as a line segment. An
本実施形態においては、人物の移動方向を当該人物検知ライン401を基準として判定する。矢印402は人物の移動方向を示している。本実施形態では、画像の左側から右側に向かって人物検知ライン401を横断する方向を順方向(IN)とみなし、右側から左側に向かって人物検知ライン401を放談する方向を逆方向(OUT)とみなし、順方向及び逆方向に移動している人物の数をそれぞれカウントする。カウントされた結果は、カウンター403にIN,OUTの人数がそれぞれ表示される。ここでは人物検知ライン401を左から右に横断した人物の数が10人、人物検知ライン401を右から左に横断した人物の数が18人となっている。
In the present embodiment, the moving direction of a person is determined based on the
画像400には、人物411から414の4人が映っているが、このうち人物411から413の移動方向415から417は人物検知ライン401に向かう方向となっている。これに対して、人物414の移動方向418は人物検知ライン401から遠ざかる方向を向いている。このとき人物414は既に人物検知ライン401を通過して画像400の撮影領域の外に向かっていると推測される。このような場合、人物414は通過人数カウントの対象から除外してもよく、対象を人物411から413の3人に限定してもよい。これにより局所探索処理は3人に対してのみ実行すればよいので処理負荷が軽減され、処理時間を短縮することができる。
The
次に、図5のフローチャートを参照して、発明の実施形態に対応するネットワークカメラ102における処理の流れを説明する。本フローチャートに対応する処理は、CPU111がROM113または記憶装置114に記憶された処理プログラムを実行して、図2に示す各機能構成要素として動作することにより実現される。
Next, the flow of processing in the
まず、S501において、解析部206は、記憶部204から記憶装置114に記憶されている人物検知ラインの情報を取得する。続くS502において、解析部206は情報処理装置103から処理の停止要求を受信したか否かを判定し、受信していないと判定すると処理はS503に進み、受信したと判定すると本処理を終了する。
First, in step S501, the
S503において解析部206は処理対象画像を取得する。例えば、撮影部201は解析部206からの要求に応じて監視領域を撮影した画像を解析部206に提供する。あるいは、記憶部204が記憶する画像を取得してもよい。続くS504において解析部206は取得した画像について画像解析を行って人物を検出する等の画像処理を行う。ここでの画像解析には、画像全体を対象として人物探索を行う全画面探索処理と局所探索処理とが含まれる。また、人物の追尾結果に基づいて人物の位置の軌跡を算出する。
In step S503, the
続くS505では、解析部206はS503で取得した処理対象画像について人物検知ラインを通過した人物がいた場合には、通過人数のカウント値を更新する。解析部206は、S504の画像解析により得られた人物の移動の軌跡と、人物検知ラインとが交差しているかどうかにより、当該人物が人物検知ラインを通過したかどうかを判定することができる。解析部206はまた、人物の移動軌跡と人物検知ラインの交わる向きによって、IN方向の通過か、OUT方向の通過かを判定する。続くS506において、解析部206は更新されたカウント値を通信部203を介して情報処理装置103に通知する。その後、処理はS502に戻って上記を繰り返す。
In subsequent S505, when there is a person who has passed the person detection line in the processing target image acquired in S503, the
次に、図4(B)及び図4(C)を参照して本実施形態における画像解析処理における全画面探索と局所探索との関係について説明する。本実施形態において、解析部206は処理対象となる複数の画像のうちの最初(または、先頭)の画像に対して、画像全体を対象とした画像解析を行って全画面探索を実施し、画像に含まれる人物を検出する。その後に続く画像に対しては、直前に探索を行った画像において検出された人物について設定された周辺領域を探索範囲として、対応する人物を検出する局所探索を実施し、監視領域内での人物の移動の軌跡を特定する追尾処理を行う。
Next, the relationship between the full-screen search and the local search in the image analysis processing in this embodiment will be described with reference to FIGS. 4(B) and 4(C). In the present embodiment, the
本実施形態において解析部206は、全画面探索処理と局所探索処理とを並列に実行することができる。図4(B)は、全画面探索処理と局所探索処理との処理結果の参照関係を示すチャートであり、図4(C)は、全画面探索処理と局所探索処理の実行タイミングを説明するための図である。図4(B)に示すように、本実施形態では、1回の全画面探索処理に付随して4回の局所探索処理を実行する。これは、新たな人物が監視領域内に入ってきた場合には局所探索処理では検出できなくなるために、定期的に全画面探索処理を行う必要があるためである。全画面探索処理は新たな人物が監視領域内に入ってきた後、人物検知ラインに到達するまでの時間(到達時間)よりも短い周期で実施されればよい。この到達時間は、監視条件、例えば、監視領域の大きさや監視を行う時間帯等によっても異なるので、監視条件に応じて設定することができる。よって、1回の全画面探索処理に付随して実行する局所探索処理の回数は、監視条件に応じてより多い回数、あるいは、より少ない回数としてもよい。
In the present embodiment, the
また、図4(C)に示すように、本実施形態では全画面探索処理を行っている間に、並列に局所探索処理を実施することができる。具体的に、解析部206は、画像G1に対する全画面探索処理を実行するのと並行して、その前の画像G0に対する全画面探索処理結果に基づいて画像L1から画像L4に対して局所探索処理を実行する。画像G1に対する全画面探索処理の結果は、画像G2に対する全画面探索処理が行われている間に実行される、画像L5からL8に対する局所探索処理において利用される。図4(C)では、簡単のために画像L7、L8の記載を省略している。
Further, as shown in FIG. 4C, in this embodiment, the local search processing can be performed in parallel while the full-screen search processing is being performed. Specifically, the
次に、本実施形態における全画面探索処理について説明する。まず、図6は、全画面探索処理において用いられる特徴量テーブル600の一例を示す図である。特徴量テーブル600は、例えばROM113、または記憶装置114に記憶しておくことができ、解析部206は、記憶部204から特徴量テーブル600を取得する。特徴量テーブル600は、ID601、人体モデル602、特徴量データ603を含むように構成することができる。ID601は、それぞれの特徴量データを一意に識別するための識別子である。人体モデル602は、例えば、人体の前面、右側面、左側面、背面、全身など人物の特徴を示す項目を規定する。特徴量データ603は、処理対象の画像が人体モデルの対応項目に該当するか否かを判定するための特徴量が登録される。特徴量データ603は、人体モデル602の各項目に対応して登録され、色の特徴やエッジの特徴などを示すデータ群を含む。
Next, the full-screen search process in this embodiment will be described. First, FIG. 6 is a diagram showing an example of the feature amount table 600 used in the full-screen search processing. The feature amount table 600 can be stored in, for example, the
解析部206は、処理対象の画像において特徴量データ603に登録されているデータに合致する特徴量を有する領域を検出し、検出した領域を人体を構成する領域と判定する。また、解析部206は、合致した特徴量データ603に対応する人体モデル602に基づいて監視領域内の人物の向きを推定する。例えば、解析部206が「全身(前)特徴量」のデータと合致すると判断した場合、検出された人物の人体モデル602は「全身(前)」となる。解析部206は、検出した人物の向きを「手前」を向いていると判定する。
The
本実施形態では、監視対象の人物は前方に進行しているとの前提のもと、検出した人物の向きに基づき移動方向を決定する。例えば、解析部206は人物の右側面が映っていると判定した場合には、画像の右方向に移動していると判定する。また、背面、或いは、前進(後)が映っていると判定した場合には、当該人物は画像の上方向に向かっていると判定し、前面、或いは、全身(前)が映っていると判定した場合には、当該人物は画像の下方向に向かっていると判定する。このようにして、人物の向きを判定することにより、その移動方向を判定することができる。
In the present embodiment, the moving direction is determined based on the detected direction of the person on the assumption that the person being monitored is moving forward. For example, when the
次に図7(A)を参照して、全画面探索処理について説明する。解析部206は、処理対象の画像700に対して走査窓701を用いて全領域の走査を行う。解析部206は、走査窓701を画像700の左上から右下まで全領域について位置をずらしながら、走査窓502が指し示す領域の特徴量と特徴量テーブル600に登録されている特徴量とが合致するか否かを解析する。また、解析部206は、画像700内の領域を全て走査したら、走査窓701の大きさを変えて、再度走査を行う。解析部206は、予め大きさの異なる走査窓を複数個用意しておくことができる。走査窓の大きさは、処理対象の画像に含まれる人体の大きさ等に応じて設定することができる。
Next, the full-screen search process will be described with reference to FIG. The
次に、図8を参照して、解析部206による全画面探索処理の流れを説明する。本フローチャートに対応する処理は、CPU111がROM113に記憶された処理プログラムを実行して、解析部206として動作することにより実現される。
Next, the flow of full-screen search processing by the
まず、S801において、解析部206は全画面探索処理の処理対象の画像に対して走査窓を、走査開始位置(画像の左上端)に設定する。最初に走査窓を設定する場合、複数の大きさの内のいずれか、例えば最小の大きさの操作窓を選択して、設定することができる。次に、S802において解析部206は、処理対象画像のうち、設定された走査窓に含まれる領域の画像から、特徴量テーブル600に登録されているそれぞれの特徴量データ603と対比可能な特徴量を抽出(あるいは、算出)する。
First, in step S801, the
続くS803において、抽出した特徴量を特徴量テーブル600に登録されている特徴量データのそれぞれと比較し、続くS804において一致度が閾値以上の特徴量があるか否かを判定する。一致度は、例えば、抽出した特徴量と特徴量データ603との差分の大きさに基づいて算出することができる。S804において、一致度が閾値以上となる特徴量があると判定された場合には処理はS805に進み、そのような特徴量がないと判定された場合、処理はS806に進む。
In subsequent S803, the extracted feature amount is compared with each of the feature amount data registered in the feature amount table 600, and in the following S804, it is determined whether or not there is a feature amount whose matching degree is equal to or more than a threshold value. The degree of coincidence can be calculated, for example, based on the magnitude of the difference between the extracted feature amount and the
S805では、一致度が閾値以上と判定された特徴量データ603の人体モデル602の登録値に基づいて、検出された人物の向きを判定する。続くS806では、走査窓の位置が終端位置、例えば処理対象画像の右下端であるか否かを判定し、終端位置でないと判定されると処理はS807に進む。一方、終端位置であると判定された場合、処理はS808に進む。S807では、解析部206は走査窓の位置を変更した後、S802に戻って上記の処理を繰り返す。また、S808では、解析部206は未使用の大きさの走査窓が残っているか否かを判定し、未使用の走査窓があると判定されると処理はS809に進む。一方、未使用の走査窓がないと判定されると処理はS810に進む。
In step S805, the detected orientation of the person is determined based on the registered value of the
S809において解析部206は未使用の走査窓のうちのいずれかを選択して、S801に戻って走査開始位置に当該走査窓を設定する。S810では、これまでの処理結果に基づいて、処理対象の画像において検出された人物に関する情報(検出人物情報)を生成する。検出人物情報には、検出された人物ごとに、画像内でそれぞれの人物が位置している領域を特定するための情報(座標情報)、それぞれの人物の向き(右、左、上、下、右上、右下、左下、左上、手前、奥、等)の情報、及び、画像の撮影時刻、画像を撮影したネットワークカメラ102の位置、処理対象となった画像を特定するための情報等が含まれる。生成された検出人物情報は記憶部204により記憶装置114に記憶される。
In S809, the
次に、図7(B)を参照して、局所探索処理について説明する。解析部206は、処理対象の画像710に対して、全画面探索処理で検出した人物の近傍の領域のみを走査する。全画面探索処理で複数の人物が検出されていた場合、解析部206は、局所探索処理の処理時間を減らすため、局所探索処理の対象とする人物を選別する。図7(B)を例にすると、全画面探索処理により人物711、人物712、人物713が検出される。ここで、検出された人物は全て右方向を向いており、移動方向は右方向と推定される。各人物と人物検知ライン714との位置関係から、解析部206は人物711と712とは移動方向が人物検知ライン714の方向を向いており、人物検知ライン714に対して近づいていると推定する。一方、人物713は移動方向が人物検知ライン714の方向を向いておらず、人物713は人物検知ライン714から遠ざかっていると推定する。人物検知ライン714に対して遠ざかる人物は通過カウントに影響しないため、解析部206は、人物713を局所探索処理の対象から除外する。
Next, the local search processing will be described with reference to FIG. The
また、解析部206は、注目した人物711、712の直前の探索において特定された位置及び向きに基づき、人物711、712の現在位置を推定する。解析部206は、各人物について推定された現在位置に基づき、当該現在位置を包含するように探索範囲715及び716を設定する。そして、例えば、探索範囲715であれば走査窓717を設定し、走査窓717を探索範囲内で移動させながら推定位置の近傍の画像から特徴量を抽出し、人物を検出する。探索範囲716についても同様である。
Further, the
図7(B)では、人物検知ライン714が画像710の縦方向をほぼカバーしている態様で設定されていたが、図7(C)に示すように人物検知ラインが縦方向の半分のみをカバーしている態様も想定される。この場合、実際には人物は人物検知ラインに向かって移動しているのにもかかわらず、人物の移動方向が人物検知ラインの方向を向いていないため当該人物が処理対象から除外されてしまうおそれがある。このような態様における対処方法は以下のとおりである。
In FIG. 7B, the
画像720には4人の人物が映っており、このうち人物721について着目すると、当該人物721の位置と向きから推定される移動方向はベクトル722で示すようになる。このとき、人物検知ライン723は画像720の下側から斜め右上方向に延び、中央付近で途切れている。従って、人物検知ライン723とベクトル722とは交差しておらず、人物721の移動方向は人物検知ラインの方向を向いているとは必ずしも言えない。しかし、人物検知ライン723を延長した延長線724を設定すると、ベクトル722と延長線724とは交差している。このように、人物の移動方向を示すベクトル722が人物検知ライン723の方向を向いていない場合であっても、その延長線と交差し、延長線の方向を向いている場合には、当該人物は人物検知ライン723に向かっていると判定することができる。
In the
上記方法以外にも、例えば人物検知ライン723の線分の端部と、人物721とを結ぶ線分725を設定し、当該線分725とベクトル722との間の角度726の大きさが、所定の閾値角度以下の場合には、当該人物は人物検知ライン723に向かっていると判定してもよい。この場合に、ベクトル722と人物検知ライン723とが交差していることを更なる条件としてもよい。
In addition to the above method, for example, a
次に、図9を参照して、解析部206による局所探索処理の流れを説明する。本フローチャートに対応する処理は、CPU111がROM113に記憶された処理プログラムを実行して、解析部206として動作することにより実現される。
Next, the flow of local search processing by the
解析部206は、S901において記憶部204から検出人物情報を取得する。検出人物情報は、全画面探索処理または、先に実行された局所探索処理により生成され、記憶装置114に記憶されている。続くS902において、解析部206は、検出人物情報に含まれる複数の人物のうちから、探索対象となる人物を選択する。続くS903において、解析部206は、S902で選択した人物について、検出人物情報に含まれる位置と向きの情報から当該人物の移動方向を推定する。続くS904において、解析部206は、推定した移動方向と、人物検知ラインとの位置関係に基づいて当該人物が人物検知ラインに向かっているかどうか判定する。当該人物が人物検知ラインに向かっていると判定される場合、処理はS905に進む。一方、当該人物が人物検知ラインに向かっていない、例えば人物検知ラインから遠ざかる方向に移動しているような場合には、当該人物を選択せずに次の選択候補の人物について判定を行うため、処理はS910に進む。
The
S905において解析部206は、S902で選択した人物の位置及び移動方向に基づいて探索領域を設定する。また、探索領域内に走査窓を設定して、設定された走査窓に含まれる領域の画像から、特徴量テーブル600に登録されているそれぞれの特徴量データ603と対比可能な特徴量を抽出する。続くS906において解析部206は、抽出した特徴量を特徴量テーブル600の特徴量データ603と比較する。ここで、解析部206は、局所探索処理において用いる特徴量テーブルを、全画面探索処理で使用した特徴量テーブル600とは異なるものとしてもよい。続くS907において一致度が閾値以上の特徴量があるか否かを判定する。S907において、一致度が閾値以上となる特徴量があると判定された場合には処理はS908に進み、そのような特徴量がないと判定された場合、処理はS909に進む。
In S905, the
S908では、一致度が閾値以上と判定された特徴量データ603の人体モデル602の登録値に基づいて、検出された人物の向きを判定する。続くS909では、走査窓の位置が探索領域における終端位置であるか否かを判定し、終端位置でないと判定されると処理はS905に進む。解析部206はS905において、走査窓の位置を変更して処理を継続する。一方、終端位置であると判定された場合、処理はS910に進む。
In step S908, the detected orientation of the person is determined based on the registered value of the
S910では、検出人物情報に含まれる検出人物のうちで未処理の人物が存在するか否かを判定し、未処理の人物が存在する場合には処理はS902に戻る。一方、未処理の人物が存在しない場合、S911において解析部206はこれまでの処理結果に基づいて、処理対象の画像において検出された人物に関する検出人物情報を生成する。生成された検出人物情報は記憶部204により記憶装置114に記憶される。
In S910, it is determined whether or not there is an unprocessed person among the detected persons included in the detected person information. If there is an unprocessed person, the process returns to S902. On the other hand, when there is no unprocessed person, in step S911, the
上記の図9のフローチャートに従う処理では、S903及びS904の処理により、局所探索の対象とする人物を一律に絞り込むこととしていたが、当該絞り込みは特定の条件が成立する場合に実行することとし、条件が成立しない場合には全人物を対象としてもよい。例えば、特定の条件を、検出人物情報に含まれる人物の数が所定数を超えるかどうかとし、人物数が所定数を超える場合に絞り込みを行ってもよい。また、局所探索を開始してからの経過時間が所定の時間を超えた場合に絞り込みを行うようにしてもよい。また、局所探索処理においても、全画面探索処理の場合と同様に、大きさの異なる複数の走査窓を用意し、走査窓を切り替えて探索処理を行ってもよい。 In the processing according to the flowchart of FIG. 9 described above, the persons to be the target of the local search are uniformly narrowed down by the processing of S903 and S904, but the narrowing down is performed when a specific condition is satisfied, and If is not established, all persons may be targeted. For example, the specific condition may be whether the number of persons included in the detected person information exceeds a predetermined number, and the narrowing may be performed when the number of persons exceeds the predetermined number. Further, the narrowing down may be performed when the elapsed time from the start of the local search exceeds a predetermined time. Further, also in the local search processing, similar to the case of the full-screen search processing, a plurality of scan windows having different sizes may be prepared and the scan windows may be switched to perform the search processing.
以上に説明した実施形態によれば、全画面探索処理で検出した人物の位置と向きとの情報から、当該人物が人物検知ラインに向かって進んでいるかを判定して、人物検知ラインを通過する見込みのある人物を優先して局所探索処理を実施することができる。これにより、画像に含まれる全人物が一律に探索対象とされることがなくなるので、局所探索の計算負荷を低減してリアルタイム性を確保しつつ、検出漏れを防止して通過人数カウントの精度を維持することができる。 According to the embodiment described above, it is determined from the information on the position and orientation of the person detected in the full-screen search process whether the person is moving toward the person detection line, and the person detection line is passed. A local search process can be implemented by giving priority to a prospective person. As a result, all the persons included in the image are not uniformly targeted for the search. Therefore, the calculation load of the local search is reduced and the real-time property is ensured, while the omission of detection is prevented and the accuracy of the passing person count is improved. Can be maintained.
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100:システム、101:ネットワーク、102:ネットワークカメラ、103:情報処理装置 100: system, 101: network, 102: network camera, 103: information processing device
Claims (13)
前記解析手段による解析の結果に基づき、前記監視領域における所定の位置を通過した人数を計数する計数手段と
を備え、
前記解析手段は、前記第2の検出において、前記第1の検出において検出された人物のうち、前記所定の位置に向かう人物を前記第2の画像において検出することを特徴とする画像解析装置。 A first detection of analyzing a plurality of images obtained by photographing a predetermined monitoring region and detecting a person in the entire region of the image of the first images of the plurality of images; and the plurality of images Second detection for detecting the person detected in the first detection in a partial region of the image based on the detection result of the first detection for the second image subsequent to the first image An analysis means for performing
A counting means for counting the number of people who have passed a predetermined position in the monitoring area based on the result of the analysis by the analyzing means,
In the second detection, the analysis unit detects, in the second image, a person heading for the predetermined position among the persons detected in the first detection.
前記撮影手段が撮影した画像を解析する請求項1から10のいずれか1項に記載の画像解析装置と
を備えることを特徴とする撮影装置。 A photographing means for photographing a predetermined monitoring area and generating an image,
An image capturing apparatus comprising: the image analyzing apparatus according to claim 1, which analyzes an image captured by the image capturing unit.
解析手段が、所定の監視領域を撮影して得られた複数の画像を解析し、前記複数の画像のうちの第1の画像について画像の全領域において人物を検出する第1の検出と、前記複数の画像のうち前記第1の画像に後続する第2の画像について前記第1の検出の検出結果に基づく画像の一部の領域において前記第1の検出において検出された人物を検出する第2の検出とを行う解析工程と、
計数手段が、前記解析工程における解析の結果に基づき、前記監視領域における所定の位置を通過した人数を計数する計数工程と
を含み、
前記解析工程では、前記第2の検出において、前記第1の検出において検出された人物のうち、前記所定の位置に向かう人物が前記第2の画像において検出されることを特徴とする画像解析方法。 An image analysis method,
Analysis means analyzes a plurality of images obtained by photographing a predetermined monitoring area and detects a person in the entire area of the image of the first image of the plurality of images; Second detecting a person detected in the first detection in a partial region of an image based on a detection result of the first detection for a second image subsequent to the first image among a plurality of images; And an analysis step for detecting
The counting means includes a counting step of counting the number of people who have passed a predetermined position in the monitoring area based on the result of the analysis in the analysis step,
In the analysis step, in the second detection, among the persons detected in the first detection, a person heading for the predetermined position is detected in the second image. ..
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220677A JP2020086961A (en) | 2018-11-26 | 2018-11-26 | Image analysis device, imaging device, image analysis method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220677A JP2020086961A (en) | 2018-11-26 | 2018-11-26 | Image analysis device, imaging device, image analysis method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020086961A true JP2020086961A (en) | 2020-06-04 |
Family
ID=70908324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018220677A Pending JP2020086961A (en) | 2018-11-26 | 2018-11-26 | Image analysis device, imaging device, image analysis method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020086961A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7361233B1 (en) * | 2023-03-02 | 2023-10-13 | セーフィー株式会社 | Systems, methods, and programs |
-
2018
- 2018-11-26 JP JP2018220677A patent/JP2020086961A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7361233B1 (en) * | 2023-03-02 | 2023-10-13 | セーフィー株式会社 | Systems, methods, and programs |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11809998B2 (en) | Maintaining fixed sizes for target objects in frames | |
JP6555906B2 (en) | Information processing apparatus, information processing method, and program | |
US11023707B2 (en) | System and method for selecting a part of a video image for a face detection operation | |
US8861784B2 (en) | Object recognition apparatus and object recognition method | |
US10719946B2 (en) | Information processing apparatus, method thereof, and computer-readable storage medium | |
KR101530255B1 (en) | Cctv system having auto tracking function of moving target | |
US20110222727A1 (en) | Object Localization Using Tracked Object Trajectories | |
US11037013B2 (en) | Camera and image processing method of camera | |
US20200145623A1 (en) | Method and System for Initiating a Video Stream | |
US20220004748A1 (en) | Video display method, device and system, and video camera | |
JP2017076909A (en) | Image processing device, image processing method and program | |
US20200184205A1 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
JP6396682B2 (en) | Surveillance camera system | |
JP6516702B2 (en) | People count system, number count method, and view method of number count result | |
JP6289308B2 (en) | Information processing apparatus and program | |
JP6798609B2 (en) | Video analysis device, video analysis method and program | |
JP2020086961A (en) | Image analysis device, imaging device, image analysis method, and program | |
US10783365B2 (en) | Image processing device and image processing system | |
KR20160068281A (en) | Method of object recognition | |
JP7104523B2 (en) | Information processing equipment, systems, information processing equipment control methods, and programs | |
JP7329967B2 (en) | IMAGE PROCESSING APPARATUS, SYSTEM, IMAGE PROCESSING APPARATUS CONTROL METHOD, AND PROGRAM | |
US11617024B2 (en) | Dual camera regions of interest display | |
JP7313850B2 (en) | Information processing device, information processing method, and program | |
Fu et al. | Crowd counting via head detection and motion flow estimation | |
JP7357649B2 (en) | Method and apparatus for facilitating identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |