JP2020086961A - Image analysis device, imaging device, image analysis method, and program - Google Patents

Image analysis device, imaging device, image analysis method, and program Download PDF

Info

Publication number
JP2020086961A
JP2020086961A JP2018220677A JP2018220677A JP2020086961A JP 2020086961 A JP2020086961 A JP 2020086961A JP 2018220677 A JP2018220677 A JP 2018220677A JP 2018220677 A JP2018220677 A JP 2018220677A JP 2020086961 A JP2020086961 A JP 2020086961A
Authority
JP
Japan
Prior art keywords
image
person
detection
analysis
predetermined position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018220677A
Other languages
Japanese (ja)
Inventor
良 前田
Makoto Maeda
良 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018220677A priority Critical patent/JP2020086961A/en
Publication of JP2020086961A publication Critical patent/JP2020086961A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

To provide an image analysis device capable of reducing the calculation load of local searching and preventing deterioration of tracking accuracy.SOLUTION: The image analysis device performs a first detection of analyzing a plurality of images obtained by shooting a predetermined monitoring area, and detecting persons in an entire image area for a first image among the plurality of images, and performs, for a second image subsequent to the first image, a second detection of detecting the persons detected in the first detection in a partial area of the image based on a detection result of the first detection, and in the second detection, detects a person who is heading toward a predetermined position from the second image, among the persons detected in the first detection .SELECTED DRAWING: Figure 4

Description

本発明は、画像解析装置、撮影装置、画像解析方法、及び、プログラムに関する。 The present invention relates to an image analysis device, a photographing device, an image analysis method, and a program.

従来から、競技場や駅、イベント会場、空港、小売店舗や大規模な商業店舗など、さまざまな施設で特定のエリアを通過する人の数をカウントしたいというニーズがあった。このようなニーズに対して、カメラで撮影した画像を画像解析することで特定エリアや特定ライン上を通過した人数をカウントする通過人数カウント技術がある。この技術では、画像内に映っている人体を画像解析により検出し、さらにその人体を画像内で追尾処理することで通過検知ラインを通過した人体を検出し、通過人数をカウントする。 Conventionally, there has been a need to count the number of people who pass through a specific area at various facilities such as stadiums, stations, event venues, airports, retail stores and large-scale commercial stores. In order to meet such needs, there is a passing person counting technology for counting the number of people who have passed through a specific area or a specific line by analyzing an image taken by a camera. In this technique, the human body shown in the image is detected by image analysis, and the human body that has passed through the passage detection line is detected by performing tracking processing on the human body in the image, and the number of passing persons is counted.

この通過人数カウント技術を適用することで、たとえば小売店舗においては、出入口や通路を撮影したカメラの映像からそれぞれの出入口や通路を通過した人数が分かるため、顧客の動線を把握し、回遊性と買上率を高める最適な商品レイアウトや店舗内広告表示を検討することが可能となる。 By applying this passing count technology, for example, in retail stores, the number of people who have passed through each entrance or aisle can be known from the image of the camera shooting the entrance or aisle. Therefore, it becomes possible to consider the optimal product layout and in-store advertisement display that increase the purchase rate.

通過人数カウント技術の一例として、非特許文献1のような方法がある。この方法では、連続して撮影した動画像の最初の画像に対して、画像全体を画像解析し、画像に映る人体を検出する(この処理を「全画面探索」と呼ぶ)。その後、後続の画像に対しては前の画像の全画面探索で検出した人体の周辺のみを探索範囲として人体検出することで追尾処理を行っている(この処理を「局所探索」と呼ぶ)。非特許文献1の方法では、計算負荷が大きな全画面探索処理を一度実行し、その後に計算負荷が小さい局所探索処理を複数回実行することで、すべての画像に全画面探索をすることなく人体追尾を実現している。 As an example of the passing person counting technology, there is a method described in Non-Patent Document 1. In this method, the whole image is analyzed for the first image of the moving images captured continuously, and the human body reflected in the image is detected (this process is called "full screen search"). After that, for the subsequent images, the tracking process is performed by detecting the human body only as a search range around the human body detected by the full-screen search of the previous image (this process is called “local search”). According to the method of Non-Patent Document 1, the full-screen search process having a large calculation load is executed once, and then the local search process having a small calculation load is executed a plurality of times, so that the full-screen search is not performed on all the images of the human body. Tracking is realized.

「多人数を高速にカウントする映像解析ソフトウェア」、二木 徹 他、画像ラボ、日本工業出版、平成29年3月10日、第28巻第3号(通巻327号)、P.53−57"Video analysis software for counting a large number of people at high speed", Toru Futaki et al., Image Lab, Nippon Kogyo Shuppan, March 10, 2017, Vol. 28, No. 3 (Vol. 327), p. 53-57

上記の小売店舗以外にも、イベント会場や空港などの広い領域にたくさんの人が集まるような場所においても通過人数をカウントしたいというニーズがある。イベント会場や空港などでは、撮影した画像内に多くの人物が含まれる。このような画像に非特許文献1の方法を適用した場合、全画面探索で多くの人物が検出される。全画面探索後の局所探索では、全画面探索で検出された人物の周辺で人物検出処理を行うため、全画面探索で検出された人物の数が多いほど計算負荷が高くなる。局所探索の計算負荷が高くなると、画像1枚当たりの処理時間が長くなってしまう。そして、画像1枚当たりの局所探索処理時間が長くなった場合、検出漏れが発生し、追尾精度の低下をまねくおそれがある。 In addition to the retail stores mentioned above, there is a need to count the number of people passing by even in places where many people gather in large areas such as event venues and airports. Many people are included in captured images at event venues and airports. When the method of Non-Patent Document 1 is applied to such an image, many people are detected in the full screen search. In the local search after the full-screen search, since the person detection processing is performed around the person detected in the full-screen search, the calculation load increases as the number of people detected in the full-screen search increases. If the calculation load of the local search becomes high, the processing time per image becomes long. If the local search processing time per image becomes long, detection omission may occur and the tracking accuracy may be deteriorated.

そこで本発明は、局所探索の計算負荷を低減させ、追尾精度の低下を防ぐことを可能にする技術を提供する。 Therefore, the present invention provides a technique that makes it possible to reduce the calculation load of local search and prevent a decrease in tracking accuracy.

上記課題を解決するための発明は、画像解析装置であって、
所定の監視領域を撮影して得られた複数の画像を解析し、前記複数の画像のうちの第1の画像について画像の全領域において人物の検出を行う第1の検出と、前記複数の画像のうち前記第1の画像に後続する第2の画像について前記第1の検出の検出結果に基づく画像の一部の領域において前記第1の検出において検出された人物の検出を行う第2の検出とを行う解析手段と、
前記解析手段による解析の結果に基づき、前記監視領域における所定の位置を通過した人数を計数する計数手段と
を備え、前記解析手段は、前記第2の検出において、前記第1の検出において検出された人物のうち、前記所定の位置に向かう人物を前記第2の画像において検出する。
The invention for solving the above-mentioned problems is an image analysis device,
A first detection of analyzing a plurality of images obtained by photographing a predetermined monitoring area and detecting a person in the entire area of the image of the first images of the plurality of images; and the plurality of images Second detection for detecting the person detected in the first detection in a partial region of the image based on the detection result of the first detection for the second image subsequent to the first image An analysis means for performing
Counting means for counting the number of people who have passed a predetermined position in the monitoring area based on the result of the analysis by the analyzing means, wherein the analyzing means is detected in the first detection in the second detection. A person heading for the predetermined position is detected in the second image from among the persons.

本発明によれば、局所探索の計算負荷を低減して追尾精度の低下を防ぐことができる。 According to the present invention, it is possible to reduce the calculation load of local search and prevent tracking accuracy from deteriorating.

発明の実施形態に係る情報処理システムの構成の一例を示す図、及び、ネットワークカメラ102のハードウェア構成の一例を示す図。1 is a diagram showing an example of the configuration of an information processing system according to an embodiment of the invention, and a diagram showing an example of the hardware configuration of a network camera 102. 発明の実施形態に係るネットワークカメラ102の機能構成の一例を示す図。The figure which shows an example of a functional structure of the network camera 102 which concerns on embodiment of invention. 従来の通過人数カウント方法を説明するための図。The figure for demonstrating the conventional passing number counting method. 発明の実施形態に係る通過人数カウント処理の概念を説明するための図、及び、画像解析処理における全画面探索と局所探索との関係を説明するための図。FIG. 3 is a diagram for explaining the concept of a passing person counting process according to the embodiment of the invention, and a diagram for explaining a relationship between a full-screen search and a local search in the image analysis process. 発明の実施形態に係るネットワークカメラ102が実行する処理の一例を示すフローチャート。6 is a flowchart showing an example of processing executed by the network camera 102 according to the embodiment of the invention. 発明の実施形態に係る特徴量テーブルのデータ構成の一例を示す図。The figure which shows an example of the data structure of the feature-value table which concerns on embodiment of invention. 発明の実施形態に係る全画面探索処理及び局所探索処理を説明するための図。The figure for demonstrating the full screen search process and local search process which concern on embodiment of invention. 発明の実施形態に係る全画面探索処理の一例を示すフローチャート。6 is a flowchart showing an example of a full-screen search process according to the embodiment of the invention. 発明の実施形態に係る局所探索処理の一例を示すフローチャート。6 is a flowchart showing an example of local search processing according to the embodiment of the invention.

以下、添付の図面に基づいて発明の実施形態を詳細に説明する。図1(A)は、発明の実施形態に係る情報処理システム100の構成例を示す図である。情報処理システム100は、ネットワーク101を介して接続された、少なくともひとつのネットワークカメラ102と、情報処理装置103とを備える。図1(A)に示した情報処理システム100の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1A is a diagram showing a configuration example of an information processing system 100 according to the embodiment of the invention. The information processing system 100 includes at least one network camera 102 and an information processing device 103, which are connected via a network 101. The constituent elements of the information processing system 100 shown in FIG. 1A are merely examples, and constituent elements other than these may be further added. Hereinafter, each component will be described.

ネットワーク101は、LANやインターネット等のIPベースの通信が可能な通信回線である。ネットワーク101は、有線/無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。 The network 101 is a communication line capable of IP-based communication such as a LAN or the Internet. The network 101 is provided with a communication line of a required form depending on the use or purpose regardless of a wired/wireless form.

ネットワークカメラ102は、例えば劇場、映画館、スタジアムといった監視対象区域に設置される監視カメラである。ネットワークカメラ102は、監視対象区域における所定の領域(監視領域)を撮影するように設置され、ネットワーク101を介して撮影した画像(動画像、静止画像)を情報処理装置103に配信する機能を持つ。また、ネットワークカメラ102は撮影した画像の解析を行う画像解析装置としても機能することができ、監視領域内に存在する人物の検出や、監視領域内の特定の領域(範囲、或いは、位置)を通過した人数を計数(カウント)する等の処理を行うことができる。ネットワークカメラ102は、PTZ(パン・チルト・ズーム)制御機能を持ち、パンおよびチルト制御用の雲台(不図示)を有していても良い。また、ネットワークカメラ102は複数台が用意され、監視対象区域内の複数の監視領域をそれぞれ撮影するため、個々に設置されていてもよい。 The network camera 102 is a surveillance camera installed in a surveillance target area such as a theater, a movie theater, or a stadium. The network camera 102 is installed so as to capture a predetermined area (monitoring area) in the monitoring target area, and has a function of delivering images (moving images, still images) captured via the network 101 to the information processing apparatus 103. .. Further, the network camera 102 can also function as an image analysis device that analyzes a captured image, detects a person existing in the monitoring area, and detects a specific area (range or position) in the monitoring area. Processing such as counting the number of people who have passed can be performed. The network camera 102 has a PTZ (pan/tilt/zoom) control function and may have a pan/tilt control pan head (not shown). In addition, a plurality of network cameras 102 are prepared and may be individually installed in order to capture images of a plurality of monitoring areas in the monitoring target area.

情報処理装置103は、ネットワーク101を介してネットワークカメラ102と通信し、ネットワークカメラ102の動作を制御することができる。例えば、雲台の制御をしたり、画質設定やPTZの制御等の変更要求を行ったりすることができる。ネットワークカメラ102で撮影された動画像及び静止画像、ネットワークカメラ102における画像解析結果を、ネットワーク101介して受信する。情報処理装置103は、例えばパソコン、サーバー、タブレット等として実現することができる。情報処理装置120は単一の装置により実現される場合だけでなく、複数の装置が協働して各機能を実現してもよい。 The information processing apparatus 103 can communicate with the network camera 102 via the network 101 and control the operation of the network camera 102. For example, it is possible to control the pan head or make a change request such as image quality setting or PTZ control. The moving image and still image captured by the network camera 102 and the image analysis result of the network camera 102 are received via the network 101. The information processing device 103 can be realized as, for example, a personal computer, a server, a tablet, or the like. The information processing device 120 is not limited to being realized by a single device, but a plurality of devices may cooperate to realize each function.

次に、図1(B)を参照してネットワークカメラ102のハードウェア構成を説明する。ネットワークカメラ102は、システムバス110に対してCPU111、RAM112、ROM113、記憶装置114、通信装置115、撮影装置116及び制御装置117が接続されて構成されている。 Next, the hardware configuration of the network camera 102 will be described with reference to FIG. The network camera 102 is configured by connecting a CPU 111, a RAM 112, a ROM 113, a storage device 114, a communication device 115, a photographing device 116, and a control device 117 to a system bus 110.

CPU111は、ネットワークカメラ102の全体的な制御やデータの計算・加工を行う装置である。RAM112は、揮発性のメモリであり、CPU111の主メモリ、ワークエリア等の一時記憶領域として用いられる。ROM113は、不揮発性のメモリであり、画像データやその他のデータ、CPU111が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。CPU111は、例えばROM113に格納されるプログラムに従い、RAM112をワークメモリとして用いて、ネットワークカメラ102の各部を制御する。尚、CPU111が動作するためのプログラムは、ROM113に格納されるのに限られず、記憶装置114に記憶されていてもよい。 The CPU 111 is a device that controls the network camera 102 as a whole and calculates and processes data. The RAM 112 is a volatile memory and is used as a main memory of the CPU 111 and a temporary storage area such as a work area. The ROM 113 is a non-volatile memory, and stores image data and other data, various programs for operating the CPU 111, and the like in predetermined areas. The CPU 111 controls each unit of the network camera 102 by using the RAM 112 as a work memory according to a program stored in the ROM 113, for example. The program for operating the CPU 111 is not limited to being stored in the ROM 113, and may be stored in the storage device 114.

記憶装置114は、例えばHDDやフラッシュメモリなどの磁気ディスクにより構成される。記憶装置114には、アプリケーションプログラム、OS、制御プログラム、関連プログラム等が格納される。記憶装置114は、CPU111の制御に基づき、データを読み出したり、書き込みしたりすることができる。記憶装置114をRAM112やROM113の代わりに使用してもよい。 The storage device 114 is composed of a magnetic disk such as an HDD or a flash memory. The storage device 114 stores an application program, an OS, a control program, related programs, and the like. The storage device 114 can read and write data under the control of the CPU 111. The storage device 114 may be used instead of the RAM 112 or the ROM 113.

通信装置115は、CPU111の制御に基づき、ネットワーク101を介して情報処理装置103と通信するための通信インタフェースである。通信装置115は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、RF送受信器、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは1つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、USBやIEEE1394等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。 The communication device 115 is a communication interface for communicating with the information processing device 103 via the network 101 under the control of the CPU 111. The communication device 115 may include a wireless communication module, which is an antenna system, an RF transceiver, one or more amplifiers, a tuner, one or more oscillators, a digital signal processor, a CODEC chipset, a subscriber identification. Well-known circuitry may be included, including module cards, memory, and the like. Also, a wired communication module for wired connection can be included. The wired communication module enables communication with other devices via one or more external ports. It may also include various software components that process the data. The external port is coupled to another device directly via Ethernet, USB or IEEE1394, or indirectly via a network. It should be noted that software that realizes the same function as each of the above devices may be configured as an alternative to the hardware device.

撮影装置116は、実空間である監視対象区域内の監視領域を撮影することにより画像を生成する。撮影装置116では、CCDやCMOSイメージセンサなどの撮像素子を用いて光電変換により得られたアナログ画像信号をA/D変換によりデジタル画像信号に変換する。また、デジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理を実施する。現像処理された画像は、CPU111により解析され、本実施形態に対応する探索処理が行われる。更に、現像処理部が出力したデジタル画像信号を圧縮・符号化して、画像データを生成する。画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。符号化された画像データは、情報処理装置103に配信される。撮影装置116では、例えば、静止画像のほかに、1秒間に所定数のフレーム分(例えば、30フレーム)の画像を取得して、監視領域の30fpsの動画像(ライブ映像)を取得することが可能である。制御装置117は、撮影方向を変えるための雲台と、ズームやフォーカスや絞りなどの撮影の設定を変更する機構を含む。 The image capturing device 116 generates an image by capturing an image of the monitoring area in the monitoring target area that is the real space. In the imaging device 116, an analog image signal obtained by photoelectric conversion using an image pickup device such as a CCD or a CMOS image sensor is converted into a digital image signal by A/D conversion. The digital image signal is subjected to development processing such as debayering processing, white balance processing, and gradation conversion processing. The developed image is analyzed by the CPU 111, and the search process corresponding to this embodiment is performed. Further, the digital image signal output by the development processing unit is compressed and encoded to generate image data. The image compression method can be based on a standard such as H.264, H.265, MJPEG, or JPEG. Further, image data of any format including mp4 or avi format may be generated. The encoded image data is distributed to the information processing device 103. In the imaging device 116, for example, in addition to a still image, a predetermined number of frames (for example, 30 frames) of images are acquired per second, and a moving image (live video) of 30 fps in the monitoring area can be acquired. It is possible. The control device 117 includes a platform for changing the shooting direction and a mechanism for changing shooting settings such as zoom, focus, and aperture.

図1(B)は、ネットワークカメラ102のハードウェア構成図として示しているが、情報処理装置103のハードウェア構成も図1(B)に準ずるものとすることができる。その場合、撮影装置116と制御装置117とは構成から除外される。 1B is shown as a hardware configuration diagram of the network camera 102, the hardware configuration of the information processing apparatus 103 can be similar to that of FIG. 1B. In that case, the imaging device 116 and the control device 117 are excluded from the configuration.

次に、図2を参照してネットワークカメラ102の機能構成の一例について説明する。ネットワークカメラ102は、撮影部201、カメラ制御部202、通信部203、記憶部204、処理部205と、解析部206を含むことができる。これらの機能構成要素は、あくまで一例であって、これら以外の機能構成要素が更に追加されても良い。また、図2に示す機能構成はソフトウェアとして実現することが可能であるが、それに限らず、少なくとも一部または全部を専用ハードウェア回路として実装してもよい。 Next, an example of the functional configuration of the network camera 102 will be described with reference to FIG. The network camera 102 can include a photographing unit 201, a camera control unit 202, a communication unit 203, a storage unit 204, a processing unit 205, and an analysis unit 206. These functional components are merely examples, and functional components other than these may be further added. The functional configuration shown in FIG. 2 can be implemented as software, but the configuration is not limited to this, and at least a part or all of the functional configuration may be implemented as a dedicated hardware circuit.

撮影部201は、撮影装置116により生成された画像データを通信部203を介して、ネットワーク101経由で外部の情報処理装置103に配信することができる。撮影部201の機能は、CPU111が所定の制御プログラムを実行して撮影装置116の動作を制御することで実現される。 The image capturing unit 201 can deliver the image data generated by the image capturing device 116 to the external information processing device 103 via the network 101 via the communication unit 203. The function of the image capturing unit 201 is realized by the CPU 111 executing a predetermined control program to control the operation of the image capturing apparatus 116.

カメラ制御部202は、後述する処理部205から要求に基づき制御装置117を制御し、撮影装置116が有するレンズのピントを調整したり、ズームを制御したり、雲台を制御して撮影方向を変更したりすることにより、ネットワークカメラ102における撮影条件を調整・変更することができる。カメラ制御部202は、CPU111が所定の制御プログラムを実行して制御装置117の動作を制御することで実現される。 The camera control unit 202 controls the control device 117 based on a request from the processing unit 205, which will be described later, and adjusts the focus of the lens of the imaging device 116, controls the zoom, and controls the pan head to control the imaging direction. By making changes, the shooting conditions of the network camera 102 can be adjusted/changed. The camera control unit 202 is realized by the CPU 111 executing a predetermined control program to control the operation of the control device 117.

通信部203は、ネットワーク101を介して情報処理装置103との通信を行うことができる。通信部203の機能は、CPU111が所定の制御プログラムを実行して通信装置115の動作を制御することで実現される。記憶部204は、ネットワークカメラ102の機種情報や各種設定値を記憶装置114に書き込んだり、読み込んだりすることができる。記憶部204の機能は、CPU111が所定の制御プログラムを実行して記憶装置114の動作を制御することで実現される。 The communication unit 203 can communicate with the information processing apparatus 103 via the network 101. The function of the communication unit 203 is realized by the CPU 111 executing a predetermined control program to control the operation of the communication device 115. The storage unit 204 can write and read the model information of the network camera 102 and various setting values in the storage device 114. The function of the storage unit 204 is realized by the CPU 111 executing a predetermined control program to control the operation of the storage device 114.

処理部205は、通信部203経由で情報処理装置103からリクエストコマンド(不図示)を受け付け、要求に対するレスポンスコマンド(不図示)を情報処理装置103に返送することができる。また、処理部205は、受け付けたリクエストコマンドの内容を解析し、当該リクエストコマンドに関する処理を実行することができる。例えば、リクエストコマンドがネットワークカメラ102のチルト制御に関する要求であれば、処理部204は当該リクエストコマンドの内容に基づき、カメラ制御部202にチルト制御の要求を送る。カメラ制御部202は受けつけたチルト制御の要求に基づき、チルトを変更するように制御装置117を制御する。別の例として、リクエストコマンドがネットワークカメラ102の設定の状態の問い合わせに関する要求であれば、処理部204は記憶部204に対して該当する設定の状態を取得するように要求し、設定の内容をレスポンスコマンドに変換して、情報処理装置103に返送することができる。これらの処理部205の機能は、CPU111が所定の制御プログラムを実行することで実現される。 The processing unit 205 can accept a request command (not shown) from the information processing apparatus 103 via the communication unit 203 and return a response command (not shown) to the request to the information processing apparatus 103. In addition, the processing unit 205 can analyze the content of the received request command and execute the process related to the request command. For example, if the request command is a request for tilt control of the network camera 102, the processing unit 204 sends a tilt control request to the camera control unit 202 based on the content of the request command. The camera control unit 202 controls the control device 117 to change the tilt based on the received request for the tilt control. As another example, if the request command is a request relating to an inquiry about the setting status of the network camera 102, the processing unit 204 requests the storage unit 204 to acquire the corresponding setting status and displays the setting content. It can be converted into a response command and returned to the information processing apparatus 103. The functions of these processing units 205 are realized by the CPU 111 executing a predetermined control program.

解析部206は、撮影部201が撮影した画像について画像解析を行い、特定の対象物を認識・識別・抽出することができる。また、図5、図8及び図9を参照して後述するように、本実施形態に対応する通過人数カウント処理を実行することができる。更に、画像の中で動体部分のみを検知したり、人物を認識したり、人の顔を識別して個人を特定したり、車のナンバープレートを照合したり、することができる。解析部206の機能は、CPU111が所定の制御プログラムを実行することで実現される。 The analysis unit 206 can perform image analysis on the image captured by the image capturing unit 201 to recognize, identify, and extract a specific target object. Further, as will be described later with reference to FIGS. 5, 8 and 9, it is possible to execute the passing person counting process corresponding to the present embodiment. Further, it is possible to detect only a moving body part in an image, recognize a person, identify a person by identifying a person's face, and collate a car license plate. The function of the analysis unit 206 is realized by the CPU 111 executing a predetermined control program.

本実施形態では、図2に示す機能構成の全てをネットワークカメラ102側で有する場合、即ち、人物の撮影と、撮影により得られた画像の解析をネットワークカメラ102で行う場合を説明する。しかし、処理の一部を情報処理装置103において実施してもよい。例えば、解析部206の機能を情報処理装置103に持たせるようにして、画像解析装置として動作させてもよい。この場合、ネットワークカメラ102により撮影・生成された画像データが情報処理装置103側に提供され、情報処理装置103において人物の認識、識別、抽出、検出といった画像解析処理、及び、通過人数カウント処理が実行される。 In the present embodiment, a case will be described in which the network camera 102 has all of the functional configurations shown in FIG. 2, that is, a case where the network camera 102 captures a person and analyzes an image obtained by the capture. However, a part of the processing may be performed by the information processing device 103. For example, the information processing apparatus 103 may be provided with the function of the analysis unit 206 to operate as an image analysis apparatus. In this case, the image data photographed and generated by the network camera 102 is provided to the information processing apparatus 103 side, and the information processing apparatus 103 performs image analysis processing such as person recognition, identification, extraction, and detection, and passing person counting processing. Executed.

以下では、本実施形態に係るネットワークカメラ102側での通過人数カウント処理の流れを説明する。通過人数カウント処理とは、ネットワークカメラ102で撮影されている監視領域に予め設定された人物検知ラインを通過した人物の数(人数)を計数(カウント)する処理である。 The flow of the passing person counting process on the network camera 102 side according to the present embodiment will be described below. The passing number counting process is a process of counting the number of persons (the number of persons) who have passed the preset person detection line in the monitoring area imaged by the network camera 102.

ここで図3及び図4(A)を参照して、従来の通過人数カウント方法の問題及び本願発明の通過人数カウント処理の概念について説明する。まず、図3は、従来の通過人数のカウント方法の問題を説明するための図である。画像300、画像310、画像320は、それぞれ処理対象となる3枚の画像、例えば、動画像に含まれる複数の画像のうちの3枚の画像を示している。時系列において、画像300が一番古く最初に処理され、次に画像310が処理され、その後に画像320が処理される。3枚の画像は必ずしも時間的に隣接していなくてもよい。ここで、先頭の画像301には全画面探索が実行され、後続の画像311及び312には局所探索が実行される。 Here, with reference to FIG. 3 and FIG. 4A, the problem of the conventional passing person counting method and the concept of the passing person counting process of the present invention will be described. First, FIG. 3 is a diagram for explaining a problem of the conventional counting method of the number of passing people. An image 300, an image 310, and an image 320 represent three images to be processed, for example, three images out of a plurality of images included in a moving image. In time series, the image 300 is processed oldest first, then the image 310, and then the image 320. The three images do not have to be temporally adjacent. Here, the full-screen search is executed on the first image 301, and the local search is executed on the subsequent images 311 and 312.

画像300では、全画面探索により2人の人物301及び302が検出されている。検出された人物に基づき、人物領域303及び305が設定され、人物領域を包含するように後続の画像において人物を探索する対象の領域となる周辺領域を設定する。人物301については周辺領域304、人物302については周辺領域306がそれぞれ設定され、後続の画像310においては当該周辺領域304及び306の位置で対応する人物の探索が行われる。 In the image 300, two persons 301 and 302 are detected by the full screen search. Based on the detected person, person areas 303 and 305 are set, and a peripheral area to be a person search target area in a subsequent image is set so as to include the person area. A peripheral area 304 is set for the person 301, and a peripheral area 306 is set for the person 302, and a corresponding person is searched for at the positions of the peripheral areas 304 and 306 in the subsequent image 310.

後続の画像310では、2人の人物301及び302が、画像300における位置よりも右方向に移動しているが、全画面探索の結果に基づき設定された周辺領域304及び306内にいるため、依然として検出可能であり、かつ、追尾可能である。そして、画像310における人物301及び302の検出結果に基づき、人物領域313及び315がそれぞれ設定される。 In the subsequent image 310, the two persons 301 and 302 have moved to the right of the position in the image 300, but since they are within the peripheral areas 304 and 306 set based on the result of the full-screen search, It is still detectable and trackable. Then, based on the detection results of the persons 301 and 302 in the image 310, the person regions 313 and 315 are set, respectively.

画像310の後続の画像320においては、人物領域313及び315に基づいて周辺領域324及び326が設定され、人物探索が行われる。このとき、検出された人数が多いために画像310の局所探索処理に要する時間が長くなった場合、次の処理対象となる画像320は、想定よりも長い時間が経過した後の画像となる場合が考えられる。この場合、画像310と画像320における人物の位置の差(移動量)が大きくなってしまう。たとえば、人物301は移動速度が遅く、人物302は移動速度が速いとすると、画像320において、移動速度の遅い人物301は周辺領域324内にいるため検出可能だが、移動速度が速い人物302は周辺領域326の外に移動してしまうおそれがある。この場合、画像320からは人物302を検出できないので、人物320をこれ以降の画像において追跡することが困難となる。 In the image 320 subsequent to the image 310, the peripheral areas 324 and 326 are set based on the person areas 313 and 315, and the person search is performed. At this time, when the time required for the local search processing of the image 310 becomes long due to the large number of detected persons, the image 320 to be processed next is an image after a time longer than expected. Can be considered. In this case, the difference (movement amount) between the positions of the persons in the images 310 and 320 becomes large. For example, if the person 301 has a low moving speed and the person 302 has a high moving speed, the person 301 having a slow moving speed can be detected in the image 320 because the person 301 having a slow moving speed is in the peripheral area 324, but the person 302 having a high moving speed can detect the surrounding area. There is a risk of moving out of the area 326. In this case, since the person 302 cannot be detected from the image 320, it becomes difficult to track the person 320 in subsequent images.

このように、1枚の画像における処理負荷が画像毎に異なる場合には、従来手法では局所探索処理を実施した場合であってもリアルタイムに人物追跡を行うことが困難となってしまう。これに対して本実施形態に対応する発明では、画像内に存在する人物のうち、検出対象(探索対象、或いは、追跡対象)とすべき人物を絞り込むことにより、探索処理における処理負荷の軽減を図り、検出漏れを防止可能とする。 As described above, when the processing load on one image is different for each image, it becomes difficult for the conventional method to perform human tracking in real time even when the local search processing is performed. On the other hand, the invention corresponding to the present embodiment reduces the processing load in the search processing by narrowing down the persons to be the detection target (search target or tracking target) among the people existing in the image. This makes it possible to prevent omissions in detection.

図4(A)を参照して本実施形態に対応する通過人数カウント処理について説明する。本実施形態では、検出対象の人物を絞り込むために人物の移動方向を考慮する。通過人数カウント処理では、ネットワークカメラ102で撮影する監視領域内の所定の領域、或いは、所定の位置を通過した人物の数を検知する。このとき、人物を検出するための基準位置が画像内に設定される。当該基準位置は、例えば、領域(矩形、円形、楕円形の他任意の2次元形状とすることができる)、または、線分により設定することができる。 The number-of-passages counting process corresponding to the present embodiment will be described with reference to FIG. In this embodiment, the moving direction of a person is considered in order to narrow down the person to be detected. In the passing person counting process, the number of persons who have passed a predetermined area in the monitoring area photographed by the network camera 102 or a predetermined position is detected. At this time, a reference position for detecting a person is set in the image. The reference position can be set by, for example, a region (which can be a rectangle, a circle, an ellipse, or any other two-dimensional shape) or a line segment.

図4(A)では人物検出用の基準位置を線分として設定した例を示している。画像400はネットワークカメラ102で撮影した画像を示しており人物検知ラインとして線分401が重畳されている。人物検知ライン401は、情報処理装置103において画像における任意の位置に、任意の長さで設定することができる。また、人物検知領域を設定する場合には、情報処理装置103において画像における任意の位置に、任意の大きさ及び形状で領域を設定することができる。ネットワークカメラ102は、通信部203を介して情報処理装置103からリクエストコマンドを受信し、リクエストコマンドに含まれる設定情報に基づいて人物検知ライン401を設定することができる。人物検知ラインの設定情報は記憶装置114に保存される。 FIG. 4A shows an example in which the reference position for person detection is set as a line segment. An image 400 shows an image taken by the network camera 102, and a line segment 401 is superimposed as a person detection line. The person detection line 401 can be set at an arbitrary position in the image in the information processing apparatus 103 and with an arbitrary length. Further, when setting the person detection area, the area can be set at an arbitrary position in the image in the information processing apparatus 103 with an arbitrary size and shape. The network camera 102 can receive the request command from the information processing apparatus 103 via the communication unit 203 and set the person detection line 401 based on the setting information included in the request command. The setting information of the person detection line is stored in the storage device 114.

本実施形態においては、人物の移動方向を当該人物検知ライン401を基準として判定する。矢印402は人物の移動方向を示している。本実施形態では、画像の左側から右側に向かって人物検知ライン401を横断する方向を順方向(IN)とみなし、右側から左側に向かって人物検知ライン401を放談する方向を逆方向(OUT)とみなし、順方向及び逆方向に移動している人物の数をそれぞれカウントする。カウントされた結果は、カウンター403にIN,OUTの人数がそれぞれ表示される。ここでは人物検知ライン401を左から右に横断した人物の数が10人、人物検知ライン401を右から左に横断した人物の数が18人となっている。 In the present embodiment, the moving direction of a person is determined based on the person detection line 401. The arrow 402 indicates the moving direction of the person. In the present embodiment, the direction crossing the person detection line 401 from the left side to the right side of the image is regarded as the forward direction (IN), and the direction in which the person detection line 401 is talked from the right side to the left side is the reverse direction (OUT). And the number of persons moving in the forward direction and the backward direction is counted. As a result of the counting, the numbers of IN and OUT are displayed on the counter 403. Here, the number of persons crossing the person detection line 401 from left to right is 10, and the number of persons crossing the person detection line 401 from right to left is 18.

画像400には、人物411から414の4人が映っているが、このうち人物411から413の移動方向415から417は人物検知ライン401に向かう方向となっている。これに対して、人物414の移動方向418は人物検知ライン401から遠ざかる方向を向いている。このとき人物414は既に人物検知ライン401を通過して画像400の撮影領域の外に向かっていると推測される。このような場合、人物414は通過人数カウントの対象から除外してもよく、対象を人物411から413の3人に限定してもよい。これにより局所探索処理は3人に対してのみ実行すればよいので処理負荷が軽減され、処理時間を短縮することができる。 The image 400 shows four persons 411 to 414, of which the moving directions 415 to 417 of the persons 411 to 413 are the directions toward the person detection line 401. On the other hand, the moving direction 418 of the person 414 is directed away from the person detection line 401. At this time, it is assumed that the person 414 has already passed through the person detection line 401 and is heading out of the shooting area of the image 400. In such a case, the person 414 may be excluded from the objects for counting the number of passing people, or the object may be limited to three people 411 to 413. As a result, the local search process only needs to be executed for three people, so the processing load is reduced and the processing time can be shortened.

次に、図5のフローチャートを参照して、発明の実施形態に対応するネットワークカメラ102における処理の流れを説明する。本フローチャートに対応する処理は、CPU111がROM113または記憶装置114に記憶された処理プログラムを実行して、図2に示す各機能構成要素として動作することにより実現される。 Next, the flow of processing in the network camera 102 corresponding to the embodiment of the invention will be described with reference to the flowchart in FIG. The processing corresponding to this flowchart is realized by the CPU 111 executing a processing program stored in the ROM 113 or the storage device 114 and operating as each functional component shown in FIG.

まず、S501において、解析部206は、記憶部204から記憶装置114に記憶されている人物検知ラインの情報を取得する。続くS502において、解析部206は情報処理装置103から処理の停止要求を受信したか否かを判定し、受信していないと判定すると処理はS503に進み、受信したと判定すると本処理を終了する。 First, in step S501, the analysis unit 206 acquires information about a person detection line stored in the storage device 114 from the storage unit 204. In subsequent S502, the analysis unit 206 determines whether or not a processing stop request has been received from the information processing apparatus 103. If it is determined that the request has not been received, the processing proceeds to S503, and if it is determined that the request has been received, the present processing ends. ..

S503において解析部206は処理対象画像を取得する。例えば、撮影部201は解析部206からの要求に応じて監視領域を撮影した画像を解析部206に提供する。あるいは、記憶部204が記憶する画像を取得してもよい。続くS504において解析部206は取得した画像について画像解析を行って人物を検出する等の画像処理を行う。ここでの画像解析には、画像全体を対象として人物探索を行う全画面探索処理と局所探索処理とが含まれる。また、人物の追尾結果に基づいて人物の位置の軌跡を算出する。 In step S503, the analysis unit 206 acquires a processing target image. For example, the imaging unit 201 provides the analysis unit 206 with an image of the monitored area in response to a request from the analysis unit 206. Alternatively, the image stored in the storage unit 204 may be acquired. In subsequent S504, the analysis unit 206 performs image processing on the acquired image to detect a person or the like. The image analysis here includes a full-screen search process and a local search process for performing a person search on the entire image. Also, the locus of the position of the person is calculated based on the result of tracking the person.

続くS505では、解析部206はS503で取得した処理対象画像について人物検知ラインを通過した人物がいた場合には、通過人数のカウント値を更新する。解析部206は、S504の画像解析により得られた人物の移動の軌跡と、人物検知ラインとが交差しているかどうかにより、当該人物が人物検知ラインを通過したかどうかを判定することができる。解析部206はまた、人物の移動軌跡と人物検知ラインの交わる向きによって、IN方向の通過か、OUT方向の通過かを判定する。続くS506において、解析部206は更新されたカウント値を通信部203を介して情報処理装置103に通知する。その後、処理はS502に戻って上記を繰り返す。 In subsequent S505, when there is a person who has passed the person detection line in the processing target image acquired in S503, the analysis unit 206 updates the count value of the passing persons. The analysis unit 206 can determine whether the person has passed the person detection line based on whether or not the locus of movement of the person obtained by the image analysis of S504 and the person detection line intersect. The analysis unit 206 also determines whether the passage is in the IN direction or the OUT direction depending on the direction in which the movement trajectory of the person and the person detection line intersect. In subsequent S506, the analysis unit 206 notifies the information processing apparatus 103 of the updated count value via the communication unit 203. After that, the process returns to S502 and the above is repeated.

次に、図4(B)及び図4(C)を参照して本実施形態における画像解析処理における全画面探索と局所探索との関係について説明する。本実施形態において、解析部206は処理対象となる複数の画像のうちの最初(または、先頭)の画像に対して、画像全体を対象とした画像解析を行って全画面探索を実施し、画像に含まれる人物を検出する。その後に続く画像に対しては、直前に探索を行った画像において検出された人物について設定された周辺領域を探索範囲として、対応する人物を検出する局所探索を実施し、監視領域内での人物の移動の軌跡を特定する追尾処理を行う。 Next, the relationship between the full-screen search and the local search in the image analysis processing in this embodiment will be described with reference to FIGS. 4(B) and 4(C). In the present embodiment, the analysis unit 206 performs the full-screen search by performing the image analysis on the entire image for the first (or the first) image of the plurality of images to be processed, Detect people included in. For the images that follow it, a local search is performed to detect the corresponding person using the surrounding area set for the person detected in the image that was searched immediately before as the search range, and the person in the monitoring area The tracking process for specifying the locus of movement of the is performed.

本実施形態において解析部206は、全画面探索処理と局所探索処理とを並列に実行することができる。図4(B)は、全画面探索処理と局所探索処理との処理結果の参照関係を示すチャートであり、図4(C)は、全画面探索処理と局所探索処理の実行タイミングを説明するための図である。図4(B)に示すように、本実施形態では、1回の全画面探索処理に付随して4回の局所探索処理を実行する。これは、新たな人物が監視領域内に入ってきた場合には局所探索処理では検出できなくなるために、定期的に全画面探索処理を行う必要があるためである。全画面探索処理は新たな人物が監視領域内に入ってきた後、人物検知ラインに到達するまでの時間(到達時間)よりも短い周期で実施されればよい。この到達時間は、監視条件、例えば、監視領域の大きさや監視を行う時間帯等によっても異なるので、監視条件に応じて設定することができる。よって、1回の全画面探索処理に付随して実行する局所探索処理の回数は、監視条件に応じてより多い回数、あるいは、より少ない回数としてもよい。 In the present embodiment, the analysis unit 206 can execute the full-screen search process and the local search process in parallel. FIG. 4B is a chart showing the reference relationship of the processing results of the full-screen search processing and the local search processing, and FIG. 4C is for explaining the execution timing of the full-screen search processing and the local search processing. FIG. As shown in FIG. 4B, in the present embodiment, four local search processes are executed in association with one full screen search process. This is because when a new person enters the monitoring area, it cannot be detected by the local search processing, and therefore it is necessary to perform the full-screen search processing periodically. The full-screen search process may be performed in a cycle shorter than the time (arrival time) until a person detection line arrives after a new person enters the monitoring area. The arrival time differs depending on the monitoring condition, for example, the size of the monitoring area, the time zone for monitoring, and the like, and can be set according to the monitoring condition. Therefore, the number of local search processes executed in association with one full-screen search process may be more or less depending on the monitoring condition.

また、図4(C)に示すように、本実施形態では全画面探索処理を行っている間に、並列に局所探索処理を実施することができる。具体的に、解析部206は、画像G1に対する全画面探索処理を実行するのと並行して、その前の画像G0に対する全画面探索処理結果に基づいて画像L1から画像L4に対して局所探索処理を実行する。画像G1に対する全画面探索処理の結果は、画像G2に対する全画面探索処理が行われている間に実行される、画像L5からL8に対する局所探索処理において利用される。図4(C)では、簡単のために画像L7、L8の記載を省略している。 Further, as shown in FIG. 4C, in this embodiment, the local search processing can be performed in parallel while the full-screen search processing is being performed. Specifically, the analysis unit 206 executes the full-screen search process for the image G1 and, at the same time, performs the local search process for the images L1 to L4 based on the previous full-screen search process result for the image G0. To execute. The result of the full-screen search process for the image G1 is used in the local search process for the images L5 to L8, which is executed while the full-screen search process for the image G2 is being performed. In FIG. 4C, the images L7 and L8 are omitted for simplicity.

次に、本実施形態における全画面探索処理について説明する。まず、図6は、全画面探索処理において用いられる特徴量テーブル600の一例を示す図である。特徴量テーブル600は、例えばROM113、または記憶装置114に記憶しておくことができ、解析部206は、記憶部204から特徴量テーブル600を取得する。特徴量テーブル600は、ID601、人体モデル602、特徴量データ603を含むように構成することができる。ID601は、それぞれの特徴量データを一意に識別するための識別子である。人体モデル602は、例えば、人体の前面、右側面、左側面、背面、全身など人物の特徴を示す項目を規定する。特徴量データ603は、処理対象の画像が人体モデルの対応項目に該当するか否かを判定するための特徴量が登録される。特徴量データ603は、人体モデル602の各項目に対応して登録され、色の特徴やエッジの特徴などを示すデータ群を含む。 Next, the full-screen search process in this embodiment will be described. First, FIG. 6 is a diagram showing an example of the feature amount table 600 used in the full-screen search processing. The feature amount table 600 can be stored in, for example, the ROM 113 or the storage device 114, and the analysis unit 206 acquires the feature amount table 600 from the storage unit 204. The feature amount table 600 can be configured to include an ID 601, a human body model 602, and feature amount data 603. The ID 601 is an identifier for uniquely identifying each feature amount data. The human body model 602 defines items indicating the characteristics of a person, such as the front surface, right side surface, left side surface, back surface, and whole body of the human body. In the feature amount data 603, the feature amount for determining whether or not the image to be processed corresponds to the corresponding item of the human body model is registered. The feature amount data 603 includes a data group that is registered corresponding to each item of the human body model 602 and indicates color features, edge features, and the like.

解析部206は、処理対象の画像において特徴量データ603に登録されているデータに合致する特徴量を有する領域を検出し、検出した領域を人体を構成する領域と判定する。また、解析部206は、合致した特徴量データ603に対応する人体モデル602に基づいて監視領域内の人物の向きを推定する。例えば、解析部206が「全身(前)特徴量」のデータと合致すると判断した場合、検出された人物の人体モデル602は「全身(前)」となる。解析部206は、検出した人物の向きを「手前」を向いていると判定する。 The analysis unit 206 detects an area having a feature amount that matches the data registered in the feature amount data 603 in the image to be processed, and determines the detected region as a region forming a human body. The analysis unit 206 also estimates the orientation of the person in the monitoring area based on the human body model 602 corresponding to the matched feature amount data 603. For example, when the analysis unit 206 determines that the data matches the “whole body (front) feature amount” data, the human body model 602 of the detected person becomes “whole body (front)”. The analysis unit 206 determines that the detected orientation of the person is “front”.

本実施形態では、監視対象の人物は前方に進行しているとの前提のもと、検出した人物の向きに基づき移動方向を決定する。例えば、解析部206は人物の右側面が映っていると判定した場合には、画像の右方向に移動していると判定する。また、背面、或いは、前進(後)が映っていると判定した場合には、当該人物は画像の上方向に向かっていると判定し、前面、或いは、全身(前)が映っていると判定した場合には、当該人物は画像の下方向に向かっていると判定する。このようにして、人物の向きを判定することにより、その移動方向を判定することができる。 In the present embodiment, the moving direction is determined based on the detected direction of the person on the assumption that the person being monitored is moving forward. For example, when the analysis unit 206 determines that the right side surface of the person is reflected, it is determined that the analysis unit 206 is moving to the right of the image. In addition, when it is determined that the back or forward (rear) is reflected, it is determined that the person is facing the upper direction of the image, and it is determined that the front or the whole body (front) is reflected. If so, it is determined that the person is heading downward in the image. By thus determining the direction of the person, the moving direction of the person can be determined.

次に図7(A)を参照して、全画面探索処理について説明する。解析部206は、処理対象の画像700に対して走査窓701を用いて全領域の走査を行う。解析部206は、走査窓701を画像700の左上から右下まで全領域について位置をずらしながら、走査窓502が指し示す領域の特徴量と特徴量テーブル600に登録されている特徴量とが合致するか否かを解析する。また、解析部206は、画像700内の領域を全て走査したら、走査窓701の大きさを変えて、再度走査を行う。解析部206は、予め大きさの異なる走査窓を複数個用意しておくことができる。走査窓の大きさは、処理対象の画像に含まれる人体の大きさ等に応じて設定することができる。 Next, the full-screen search process will be described with reference to FIG. The analysis unit 206 scans the entire area of the image 700 to be processed using the scanning window 701. The analysis unit 206 shifts the positions of the scanning window 701 for the entire region from the upper left to the lower right of the image 700, and the feature amount of the region indicated by the scan window 502 matches the feature amount registered in the feature amount table 600. Analyze whether or not. Further, after scanning the entire area within the image 700, the analysis unit 206 changes the size of the scanning window 701 and scans again. The analysis unit 206 can prepare a plurality of scanning windows having different sizes in advance. The size of the scanning window can be set according to the size of the human body included in the image to be processed.

次に、図8を参照して、解析部206による全画面探索処理の流れを説明する。本フローチャートに対応する処理は、CPU111がROM113に記憶された処理プログラムを実行して、解析部206として動作することにより実現される。 Next, the flow of full-screen search processing by the analysis unit 206 will be described with reference to FIG. The processing corresponding to this flowchart is realized by the CPU 111 executing the processing program stored in the ROM 113 and operating as the analysis unit 206.

まず、S801において、解析部206は全画面探索処理の処理対象の画像に対して走査窓を、走査開始位置(画像の左上端)に設定する。最初に走査窓を設定する場合、複数の大きさの内のいずれか、例えば最小の大きさの操作窓を選択して、設定することができる。次に、S802において解析部206は、処理対象画像のうち、設定された走査窓に含まれる領域の画像から、特徴量テーブル600に登録されているそれぞれの特徴量データ603と対比可能な特徴量を抽出(あるいは、算出)する。 First, in step S801, the analysis unit 206 sets the scanning window at the scanning start position (upper left corner of the image) for the image to be processed by the full-screen search process. When the scanning window is first set, it is possible to select and set the operation window having any of a plurality of sizes, for example, the smallest size. Next, in step S<b>802, the analysis unit 206 compares the feature amount data 603 registered in the feature amount table 600 with the feature amount that can be compared with the image of the region included in the set scanning window in the processing target image. Is extracted (or calculated).

続くS803において、抽出した特徴量を特徴量テーブル600に登録されている特徴量データのそれぞれと比較し、続くS804において一致度が閾値以上の特徴量があるか否かを判定する。一致度は、例えば、抽出した特徴量と特徴量データ603との差分の大きさに基づいて算出することができる。S804において、一致度が閾値以上となる特徴量があると判定された場合には処理はS805に進み、そのような特徴量がないと判定された場合、処理はS806に進む。 In subsequent S803, the extracted feature amount is compared with each of the feature amount data registered in the feature amount table 600, and in the following S804, it is determined whether or not there is a feature amount whose matching degree is equal to or more than a threshold value. The degree of coincidence can be calculated, for example, based on the magnitude of the difference between the extracted feature amount and the feature amount data 603. In S804, when it is determined that there is a feature amount whose matching degree is equal to or higher than the threshold value, the process proceeds to S805, and when it is determined that there is no such feature amount, the process proceeds to S806.

S805では、一致度が閾値以上と判定された特徴量データ603の人体モデル602の登録値に基づいて、検出された人物の向きを判定する。続くS806では、走査窓の位置が終端位置、例えば処理対象画像の右下端であるか否かを判定し、終端位置でないと判定されると処理はS807に進む。一方、終端位置であると判定された場合、処理はS808に進む。S807では、解析部206は走査窓の位置を変更した後、S802に戻って上記の処理を繰り返す。また、S808では、解析部206は未使用の大きさの走査窓が残っているか否かを判定し、未使用の走査窓があると判定されると処理はS809に進む。一方、未使用の走査窓がないと判定されると処理はS810に進む。 In step S805, the detected orientation of the person is determined based on the registered value of the human body model 602 of the feature amount data 603 for which the degree of coincidence is determined to be equal to or greater than the threshold value. In subsequent S806, it is determined whether or not the position of the scanning window is the end position, for example, the lower right end of the processing target image. If it is determined that the position is not the end position, the process proceeds to S807. On the other hand, if it is determined that the end position is reached, the process proceeds to S808. In S807, the analysis unit 206 changes the position of the scanning window, and then returns to S802 to repeat the above processing. Further, in S808, the analysis unit 206 determines whether or not a scan window having an unused size remains, and if it is determined that there is an unused scan window, the process proceeds to S809. On the other hand, if it is determined that there is no unused scanning window, the process proceeds to S810.

S809において解析部206は未使用の走査窓のうちのいずれかを選択して、S801に戻って走査開始位置に当該走査窓を設定する。S810では、これまでの処理結果に基づいて、処理対象の画像において検出された人物に関する情報(検出人物情報)を生成する。検出人物情報には、検出された人物ごとに、画像内でそれぞれの人物が位置している領域を特定するための情報(座標情報)、それぞれの人物の向き(右、左、上、下、右上、右下、左下、左上、手前、奥、等)の情報、及び、画像の撮影時刻、画像を撮影したネットワークカメラ102の位置、処理対象となった画像を特定するための情報等が含まれる。生成された検出人物情報は記憶部204により記憶装置114に記憶される。 In S809, the analysis unit 206 selects one of the unused scanning windows, returns to S801, and sets the scanning window at the scanning start position. In S810, the information (detected person information) about the person detected in the image to be processed is generated based on the processing result up to now. The detected person information includes, for each detected person, information (coordinate information) for identifying the area where each person is located in the image, and the direction of each person (right, left, top, bottom, Upper right, lower right, lower left, upper left, front, back, etc.), and the image capturing time, the position of the network camera 102 that captured the image, information for identifying the image to be processed, and the like. Be done. The generated detection person information is stored in the storage device 114 by the storage unit 204.

次に、図7(B)を参照して、局所探索処理について説明する。解析部206は、処理対象の画像710に対して、全画面探索処理で検出した人物の近傍の領域のみを走査する。全画面探索処理で複数の人物が検出されていた場合、解析部206は、局所探索処理の処理時間を減らすため、局所探索処理の対象とする人物を選別する。図7(B)を例にすると、全画面探索処理により人物711、人物712、人物713が検出される。ここで、検出された人物は全て右方向を向いており、移動方向は右方向と推定される。各人物と人物検知ライン714との位置関係から、解析部206は人物711と712とは移動方向が人物検知ライン714の方向を向いており、人物検知ライン714に対して近づいていると推定する。一方、人物713は移動方向が人物検知ライン714の方向を向いておらず、人物713は人物検知ライン714から遠ざかっていると推定する。人物検知ライン714に対して遠ざかる人物は通過カウントに影響しないため、解析部206は、人物713を局所探索処理の対象から除外する。 Next, the local search processing will be described with reference to FIG. The analysis unit 206 scans only the region near the person detected by the full-screen search process for the image 710 to be processed. When a plurality of persons are detected in the full-screen search process, the analysis unit 206 selects a person to be the target of the local search process in order to reduce the processing time of the local search process. In the case of FIG. 7B as an example, a person 711, a person 712, and a person 713 are detected by the full-screen search processing. Here, all the detected persons face the right direction, and the moving direction is estimated to be the right direction. From the positional relationship between each person and the person detection line 714, the analysis unit 206 estimates that the moving directions of the persons 711 and 712 are the direction of the person detection line 714 and that they are approaching the person detection line 714. .. On the other hand, it is estimated that the person 713 does not move in the direction of the person detection line 714 and that the person 713 is moving away from the person detection line 714. Since a person moving away from the person detection line 714 does not affect the passage count, the analysis unit 206 excludes the person 713 from the target of the local search processing.

また、解析部206は、注目した人物711、712の直前の探索において特定された位置及び向きに基づき、人物711、712の現在位置を推定する。解析部206は、各人物について推定された現在位置に基づき、当該現在位置を包含するように探索範囲715及び716を設定する。そして、例えば、探索範囲715であれば走査窓717を設定し、走査窓717を探索範囲内で移動させながら推定位置の近傍の画像から特徴量を抽出し、人物を検出する。探索範囲716についても同様である。 Further, the analysis unit 206 estimates the current positions of the persons 711 and 712 based on the positions and orientations of the focused persons 711 and 712 identified in the search immediately before. The analysis unit 206 sets the search ranges 715 and 716 so as to include the current position based on the current position estimated for each person. Then, for example, in the case of the search range 715, the scanning window 717 is set, the feature amount is extracted from the image near the estimated position while moving the scanning window 717 within the search range, and the person is detected. The same applies to the search range 716.

図7(B)では、人物検知ライン714が画像710の縦方向をほぼカバーしている態様で設定されていたが、図7(C)に示すように人物検知ラインが縦方向の半分のみをカバーしている態様も想定される。この場合、実際には人物は人物検知ラインに向かって移動しているのにもかかわらず、人物の移動方向が人物検知ラインの方向を向いていないため当該人物が処理対象から除外されてしまうおそれがある。このような態様における対処方法は以下のとおりである。 In FIG. 7B, the person detection line 714 is set so as to cover almost the vertical direction of the image 710, but as shown in FIG. 7C, the person detection line covers only half of the vertical direction. Covering aspects are also envisioned. In this case, although the person is actually moving toward the person detection line, the person may be excluded from the processing target because the moving direction of the person is not toward the person detection line. There is. The coping method in such an aspect is as follows.

画像720には4人の人物が映っており、このうち人物721について着目すると、当該人物721の位置と向きから推定される移動方向はベクトル722で示すようになる。このとき、人物検知ライン723は画像720の下側から斜め右上方向に延び、中央付近で途切れている。従って、人物検知ライン723とベクトル722とは交差しておらず、人物721の移動方向は人物検知ラインの方向を向いているとは必ずしも言えない。しかし、人物検知ライン723を延長した延長線724を設定すると、ベクトル722と延長線724とは交差している。このように、人物の移動方向を示すベクトル722が人物検知ライン723の方向を向いていない場合であっても、その延長線と交差し、延長線の方向を向いている場合には、当該人物は人物検知ライン723に向かっていると判定することができる。 In the image 720, four persons are reflected, and when attention is paid to the person 721, the moving direction estimated from the position and direction of the person 721 is indicated by a vector 722. At this time, the person detection line 723 extends obliquely from the lower side of the image 720 to the upper right direction, and is interrupted near the center. Therefore, the person detection line 723 and the vector 722 do not intersect, and the movement direction of the person 721 cannot necessarily be said to be in the direction of the person detection line. However, when the extension line 724 that is an extension of the person detection line 723 is set, the vector 722 and the extension line 724 intersect. As described above, even when the vector 722 indicating the moving direction of the person does not face the direction of the person detection line 723, if the vector intersects with the extension line and faces the extension line, the person Can be determined to be heading for the person detection line 723.

上記方法以外にも、例えば人物検知ライン723の線分の端部と、人物721とを結ぶ線分725を設定し、当該線分725とベクトル722との間の角度726の大きさが、所定の閾値角度以下の場合には、当該人物は人物検知ライン723に向かっていると判定してもよい。この場合に、ベクトル722と人物検知ライン723とが交差していることを更なる条件としてもよい。 In addition to the above method, for example, a line segment 725 that connects the end of the line segment of the person detection line 723 and the person 721 is set, and the size of the angle 726 between the line segment 725 and the vector 722 is set to a predetermined value. When the angle is less than or equal to the threshold angle of, it may be determined that the person is heading for the person detection line 723. In this case, the condition that the vector 722 and the person detection line 723 intersect may be a further condition.

次に、図9を参照して、解析部206による局所探索処理の流れを説明する。本フローチャートに対応する処理は、CPU111がROM113に記憶された処理プログラムを実行して、解析部206として動作することにより実現される。 Next, the flow of local search processing by the analysis unit 206 will be described with reference to FIG. The processing corresponding to this flowchart is realized by the CPU 111 executing the processing program stored in the ROM 113 and operating as the analysis unit 206.

解析部206は、S901において記憶部204から検出人物情報を取得する。検出人物情報は、全画面探索処理または、先に実行された局所探索処理により生成され、記憶装置114に記憶されている。続くS902において、解析部206は、検出人物情報に含まれる複数の人物のうちから、探索対象となる人物を選択する。続くS903において、解析部206は、S902で選択した人物について、検出人物情報に含まれる位置と向きの情報から当該人物の移動方向を推定する。続くS904において、解析部206は、推定した移動方向と、人物検知ラインとの位置関係に基づいて当該人物が人物検知ラインに向かっているかどうか判定する。当該人物が人物検知ラインに向かっていると判定される場合、処理はS905に進む。一方、当該人物が人物検知ラインに向かっていない、例えば人物検知ラインから遠ざかる方向に移動しているような場合には、当該人物を選択せずに次の選択候補の人物について判定を行うため、処理はS910に進む。 The analysis unit 206 acquires the detected person information from the storage unit 204 in S901. The detected person information is generated by the full-screen search process or the previously executed local search process, and is stored in the storage device 114. In subsequent S902, the analysis unit 206 selects a person to be searched from among a plurality of persons included in the detected person information. In subsequent S903, the analysis unit 206 estimates the moving direction of the person selected in S902 from the position and orientation information included in the detected person information. In subsequent S904, the analysis unit 206 determines whether or not the person is heading for the person detection line based on the positional relationship between the estimated moving direction and the person detection line. When it is determined that the person is heading for the person detection line, the process proceeds to S905. On the other hand, when the person is not heading for the person detection line, for example, when the person is moving in a direction away from the person detection line, in order to determine the next selection candidate person without selecting the person, The process proceeds to S910.

S905において解析部206は、S902で選択した人物の位置及び移動方向に基づいて探索領域を設定する。また、探索領域内に走査窓を設定して、設定された走査窓に含まれる領域の画像から、特徴量テーブル600に登録されているそれぞれの特徴量データ603と対比可能な特徴量を抽出する。続くS906において解析部206は、抽出した特徴量を特徴量テーブル600の特徴量データ603と比較する。ここで、解析部206は、局所探索処理において用いる特徴量テーブルを、全画面探索処理で使用した特徴量テーブル600とは異なるものとしてもよい。続くS907において一致度が閾値以上の特徴量があるか否かを判定する。S907において、一致度が閾値以上となる特徴量があると判定された場合には処理はS908に進み、そのような特徴量がないと判定された場合、処理はS909に進む。 In S905, the analysis unit 206 sets the search area based on the position and moving direction of the person selected in S902. In addition, a scanning window is set in the search area, and feature quantities that can be compared with the respective feature quantity data 603 registered in the feature quantity table 600 are extracted from the image of the area included in the set scan window. .. In subsequent S906, the analysis unit 206 compares the extracted feature amount with the feature amount data 603 of the feature amount table 600. Here, the analysis unit 206 may make the feature amount table used in the local search process different from the feature amount table 600 used in the full-screen search process. In subsequent S907, it is determined whether or not there is a feature amount whose degree of coincidence is equal to or more than a threshold value. In S907, when it is determined that there is a feature amount whose matching degree is equal to or more than the threshold value, the process proceeds to S908, and when it is determined that there is no such feature amount, the process proceeds to S909.

S908では、一致度が閾値以上と判定された特徴量データ603の人体モデル602の登録値に基づいて、検出された人物の向きを判定する。続くS909では、走査窓の位置が探索領域における終端位置であるか否かを判定し、終端位置でないと判定されると処理はS905に進む。解析部206はS905において、走査窓の位置を変更して処理を継続する。一方、終端位置であると判定された場合、処理はS910に進む。 In step S908, the detected orientation of the person is determined based on the registered value of the human body model 602 of the feature amount data 603 for which the degree of coincidence is determined to be greater than or equal to the threshold value. In subsequent S909, it is determined whether or not the position of the scanning window is the end position in the search area. If it is determined that the position is not the end position, the process proceeds to S905. In step S905, the analysis unit 206 changes the position of the scanning window and continues the process. On the other hand, if it is determined that the current position is the end position, the process proceeds to S910.

S910では、検出人物情報に含まれる検出人物のうちで未処理の人物が存在するか否かを判定し、未処理の人物が存在する場合には処理はS902に戻る。一方、未処理の人物が存在しない場合、S911において解析部206はこれまでの処理結果に基づいて、処理対象の画像において検出された人物に関する検出人物情報を生成する。生成された検出人物情報は記憶部204により記憶装置114に記憶される。 In S910, it is determined whether or not there is an unprocessed person among the detected persons included in the detected person information. If there is an unprocessed person, the process returns to S902. On the other hand, when there is no unprocessed person, in step S911, the analysis unit 206 generates detected person information regarding the person detected in the image to be processed, based on the processing results up to now. The generated detection person information is stored in the storage device 114 by the storage unit 204.

上記の図9のフローチャートに従う処理では、S903及びS904の処理により、局所探索の対象とする人物を一律に絞り込むこととしていたが、当該絞り込みは特定の条件が成立する場合に実行することとし、条件が成立しない場合には全人物を対象としてもよい。例えば、特定の条件を、検出人物情報に含まれる人物の数が所定数を超えるかどうかとし、人物数が所定数を超える場合に絞り込みを行ってもよい。また、局所探索を開始してからの経過時間が所定の時間を超えた場合に絞り込みを行うようにしてもよい。また、局所探索処理においても、全画面探索処理の場合と同様に、大きさの異なる複数の走査窓を用意し、走査窓を切り替えて探索処理を行ってもよい。 In the processing according to the flowchart of FIG. 9 described above, the persons to be the target of the local search are uniformly narrowed down by the processing of S903 and S904, but the narrowing down is performed when a specific condition is satisfied, and If is not established, all persons may be targeted. For example, the specific condition may be whether the number of persons included in the detected person information exceeds a predetermined number, and the narrowing may be performed when the number of persons exceeds the predetermined number. Further, the narrowing down may be performed when the elapsed time from the start of the local search exceeds a predetermined time. Further, also in the local search processing, similar to the case of the full-screen search processing, a plurality of scan windows having different sizes may be prepared and the scan windows may be switched to perform the search processing.

以上に説明した実施形態によれば、全画面探索処理で検出した人物の位置と向きとの情報から、当該人物が人物検知ラインに向かって進んでいるかを判定して、人物検知ラインを通過する見込みのある人物を優先して局所探索処理を実施することができる。これにより、画像に含まれる全人物が一律に探索対象とされることがなくなるので、局所探索の計算負荷を低減してリアルタイム性を確保しつつ、検出漏れを防止して通過人数カウントの精度を維持することができる。 According to the embodiment described above, it is determined from the information on the position and orientation of the person detected in the full-screen search process whether the person is moving toward the person detection line, and the person detection line is passed. A local search process can be implemented by giving priority to a prospective person. As a result, all the persons included in the image are not uniformly targeted for the search. Therefore, the calculation load of the local search is reduced and the real-time property is ensured, while the omission of detection is prevented and the accuracy of the passing person count is improved. Can be maintained.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100:システム、101:ネットワーク、102:ネットワークカメラ、103:情報処理装置 100: system, 101: network, 102: network camera, 103: information processing device

Claims (13)

所定の監視領域を撮影して得られた複数の画像を解析し、前記複数の画像のうちの第1の画像について画像の全領域において人物の検出を行う第1の検出と、前記複数の画像のうち前記第1の画像に後続する第2の画像について前記第1の検出の検出結果に基づく画像の一部の領域において前記第1の検出において検出された人物の検出を行う第2の検出とを行う解析手段と、
前記解析手段による解析の結果に基づき、前記監視領域における所定の位置を通過した人数を計数する計数手段と
を備え、
前記解析手段は、前記第2の検出において、前記第1の検出において検出された人物のうち、前記所定の位置に向かう人物を前記第2の画像において検出することを特徴とする画像解析装置。
A first detection of analyzing a plurality of images obtained by photographing a predetermined monitoring region and detecting a person in the entire region of the image of the first images of the plurality of images; and the plurality of images Second detection for detecting the person detected in the first detection in a partial region of the image based on the detection result of the first detection for the second image subsequent to the first image An analysis means for performing
A counting means for counting the number of people who have passed a predetermined position in the monitoring area based on the result of the analysis by the analyzing means,
In the second detection, the analysis unit detects, in the second image, a person heading for the predetermined position among the persons detected in the first detection.
前記解析手段は、人物が検出された位置と、該人物の向きとに基づいて、該人物が前記所定の位置に向かう人物であるかを判定することを特徴とする請求項1に記載の画像解析装置。 The image according to claim 1, wherein the analysis unit determines whether the person is a person who is heading to the predetermined position based on the position where the person is detected and the direction of the person. Analyzer. 前記解析手段は、前記位置と前記向きとに基づいて前記人物の移動方向を推定し、前記移動方向と前記画像における前記所定の位置との関係に基づいて、当該人物が前記所定の位置に向かう人物であるかを判定することを特徴とする請求項2に記載の画像解析装置。 The analyzing unit estimates a moving direction of the person based on the position and the orientation, and moves the person toward the predetermined position based on a relationship between the moving direction and the predetermined position in the image. The image analysis apparatus according to claim 2, wherein it is determined whether the person is a person. 前記解析手段は、前記移動方向が、前記所定の位置を規定する線分の方向を向いている場合に、当該人物が前記所定の位置に向かう人物であると判定することを特徴とする請求項3に記載の画像解析装置。 The analysis means determines that the person is a person who is heading to the predetermined position when the movement direction is in the direction of a line segment that defines the predetermined position. The image analysis device according to item 3. 前記解析手段は、前記移動方向が、前記所定の位置を規定する線分の延長線の方向を向いている場合に、当該人物が前記所定の位置に向かう人物であると判定することを特徴とする請求項3に記載の画像解析装置。 The analyzing unit determines that the person is a person who is heading to the predetermined position when the moving direction is in a direction of an extension line of a line segment that defines the predetermined position. The image analysis device according to claim 3. 前記解析手段は、前記所定の位置を規定する線分の端部と前記人物とを結ぶ線分の方向と、前記移動方向とで規定される角度が所定の角度より小さい場合に、当該人物が前記所定の位置に向かう人物であると判定することを特徴とする請求項3または5に記載の画像解析装置。 When the angle defined by the moving direction and the direction of the line segment connecting the end of the line segment defining the predetermined position and the person is smaller than the predetermined angle, the analyzing unit determines that the person is The image analysis apparatus according to claim 3, wherein the image analysis apparatus determines that the person is heading to the predetermined position. 前記解析手段は、前記第1の検出において検出された人物の数が所定数を超えた場合に、前記第2の検出において前記所定の位置に向かう人物のみを検出することを特徴とする請求項1から6のいずれか1項に記載の画像解析装置。 The analysis means detects only the person heading for the predetermined position in the second detection when the number of people detected in the first detection exceeds a predetermined number. The image analysis device according to any one of 1 to 6. 前記検出手段は、1枚の画像についての前記第2の検出に要している処理時間が所定の処理時間を超えた場合に、前記所定の位置に向かう人物のみを検出することを特徴とする請求項1から6のいずれか1項に記載の画像解析装置。 The detection means may detect only a person heading to the predetermined position when the processing time required for the second detection of one image exceeds a predetermined processing time. The image analysis device according to claim 1. 前記一部の領域は、前記第1の検出において検出された人物の前記第1の画像における位置、及び、該人物の向きに基づき推定される、前記第2の画像における該人物の位置を包含するように設定されることを特徴とする請求項1から8のいずれか1項に記載の画像解析装置。 The partial region includes the position of the person in the first image detected in the first detection, and the position of the person in the second image estimated based on the orientation of the person. The image analysis apparatus according to claim 1, wherein the image analysis apparatus is set to 前記解析手段は、前記第2の画像について前記第2の検出を行っている間に、前記複数の画像のうち前記第2の画像に後続する第3の画像について前記第1の検出を並列に行うことを特徴とする請求項1から9のいずれか1項に記載の画像解析装置。 While the second detection is being performed on the second image, the analysis means may perform the first detection in parallel on a third image subsequent to the second image among the plurality of images. The image analysis device according to claim 1, wherein the image analysis device is performed. 所定の監視領域を撮影して画像を生成する撮影手段と、
前記撮影手段が撮影した画像を解析する請求項1から10のいずれか1項に記載の画像解析装置と
を備えることを特徴とする撮影装置。
A photographing means for photographing a predetermined monitoring area and generating an image,
An image capturing apparatus comprising: the image analyzing apparatus according to claim 1, which analyzes an image captured by the image capturing unit.
画像解析方法であって、
解析手段が、所定の監視領域を撮影して得られた複数の画像を解析し、前記複数の画像のうちの第1の画像について画像の全領域において人物を検出する第1の検出と、前記複数の画像のうち前記第1の画像に後続する第2の画像について前記第1の検出の検出結果に基づく画像の一部の領域において前記第1の検出において検出された人物を検出する第2の検出とを行う解析工程と、
計数手段が、前記解析工程における解析の結果に基づき、前記監視領域における所定の位置を通過した人数を計数する計数工程と
を含み、
前記解析工程では、前記第2の検出において、前記第1の検出において検出された人物のうち、前記所定の位置に向かう人物が前記第2の画像において検出されることを特徴とする画像解析方法。
An image analysis method,
Analysis means analyzes a plurality of images obtained by photographing a predetermined monitoring area and detects a person in the entire area of the image of the first image of the plurality of images; Second detecting a person detected in the first detection in a partial region of an image based on a detection result of the first detection for a second image subsequent to the first image among a plurality of images; And an analysis step for detecting
The counting means includes a counting step of counting the number of people who have passed a predetermined position in the monitoring area based on the result of the analysis in the analysis step,
In the analysis step, in the second detection, among the persons detected in the first detection, a person heading for the predetermined position is detected in the second image. ..
コンピュータを請求項1から10のいずれか1項に記載の画像解析装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each unit of the image analysis apparatus according to claim 1.
JP2018220677A 2018-11-26 2018-11-26 Image analysis device, imaging device, image analysis method, and program Pending JP2020086961A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018220677A JP2020086961A (en) 2018-11-26 2018-11-26 Image analysis device, imaging device, image analysis method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018220677A JP2020086961A (en) 2018-11-26 2018-11-26 Image analysis device, imaging device, image analysis method, and program

Publications (1)

Publication Number Publication Date
JP2020086961A true JP2020086961A (en) 2020-06-04

Family

ID=70908324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018220677A Pending JP2020086961A (en) 2018-11-26 2018-11-26 Image analysis device, imaging device, image analysis method, and program

Country Status (1)

Country Link
JP (1) JP2020086961A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361233B1 (en) * 2023-03-02 2023-10-13 セーフィー株式会社 Systems, methods, and programs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361233B1 (en) * 2023-03-02 2023-10-13 セーフィー株式会社 Systems, methods, and programs

Similar Documents

Publication Publication Date Title
US11809998B2 (en) Maintaining fixed sizes for target objects in frames
JP6555906B2 (en) Information processing apparatus, information processing method, and program
US11023707B2 (en) System and method for selecting a part of a video image for a face detection operation
US8861784B2 (en) Object recognition apparatus and object recognition method
US10719946B2 (en) Information processing apparatus, method thereof, and computer-readable storage medium
KR101530255B1 (en) Cctv system having auto tracking function of moving target
US20110222727A1 (en) Object Localization Using Tracked Object Trajectories
US11037013B2 (en) Camera and image processing method of camera
US20200145623A1 (en) Method and System for Initiating a Video Stream
US20220004748A1 (en) Video display method, device and system, and video camera
JP2017076909A (en) Image processing device, image processing method and program
US20200184205A1 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
JP6396682B2 (en) Surveillance camera system
JP6516702B2 (en) People count system, number count method, and view method of number count result
JP6289308B2 (en) Information processing apparatus and program
JP6798609B2 (en) Video analysis device, video analysis method and program
JP2020086961A (en) Image analysis device, imaging device, image analysis method, and program
US10783365B2 (en) Image processing device and image processing system
KR20160068281A (en) Method of object recognition
JP7104523B2 (en) Information processing equipment, systems, information processing equipment control methods, and programs
JP7329967B2 (en) IMAGE PROCESSING APPARATUS, SYSTEM, IMAGE PROCESSING APPARATUS CONTROL METHOD, AND PROGRAM
US11617024B2 (en) Dual camera regions of interest display
JP7313850B2 (en) Information processing device, information processing method, and program
Fu et al. Crowd counting via head detection and motion flow estimation
JP7357649B2 (en) Method and apparatus for facilitating identification

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113