JP2020191585A - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
JP2020191585A
JP2020191585A JP2019096917A JP2019096917A JP2020191585A JP 2020191585 A JP2020191585 A JP 2020191585A JP 2019096917 A JP2019096917 A JP 2019096917A JP 2019096917 A JP2019096917 A JP 2019096917A JP 2020191585 A JP2020191585 A JP 2020191585A
Authority
JP
Japan
Prior art keywords
subject
image
recording
information
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019096917A
Other languages
Japanese (ja)
Inventor
安達　啓史
Hiroshi Adachi
啓史 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019096917A priority Critical patent/JP2020191585A/en
Publication of JP2020191585A publication Critical patent/JP2020191585A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

To prevent a video related to an event required when checking the video from being automatically deleted by preserving only a recorded video of an event occurrence time in a monitoring system equipped with an automatic deletion function for deleting images from old images after a certain period of time passing from a recording time on a video recording device.SOLUTION: In a network camera system, an image analysis server 104 includes detection means for detecting a subject from a captured image, judgement means for judging a related subject related to a specific subject, and determination means for determining a recording protection range of a recorded video based on a time range in which the related subject exists. Thereby, it is prevented that a video related to an event required when checking the video from being automatically deleted.SELECTED DRAWING: Figure 3

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method and a program.

近年、多数のネットワークカメラを用いた大規模な監視システムが登場してきている。このような監視システムでは、オフィスや、店舗、ショッピングモール、スタジアム、街頭、地域全体等、広い範囲にネットワークカメラが設置されるようになっており、セキュリティの向上に役立っている。
このような監視システムとして、ネットワークカメラで撮像した画像に対して画像解析及び認識処理を行うことで、画像中の被写体認識を行い、被写体を検出する被写体検出システムが提案されている。被写体検出システムでは、検出すべき特定の被写体の画像をシステムに予め登録しておき、リアルタイムにカメラ映像を解析し検出対象の被写体を検出した際に警報（アラーム）を監視員又は警備員に通知する。被写体検出システムは、検出時に監視モニタへアラーム表示を行うことで、監視員らに通知することができる。このとき監視員らはアラーム通知の原因となったカメラ映像も確認できる。
このような被写体検出システムにつき特許文献１では、ネットワークカメラで撮像した人物の顔画像と、予め登録した要注意人物の顔画像と照合することで、要注意人物であるか否かを判定するシステムが提案されている。 In recent years, large-scale surveillance systems using a large number of network cameras have appeared. In such a monitoring system, network cameras are installed in a wide range such as offices, stores, shopping malls, stadiums, streets, and the entire area, which is useful for improving security.
As such a monitoring system, a subject detection system has been proposed in which an image captured by a network camera is subjected to image analysis and recognition processing to recognize the subject in the image and detect the subject. In the subject detection system, an image of a specific subject to be detected is registered in the system in advance, the camera image is analyzed in real time, and an alarm is notified to a guard or a guard when the subject to be detected is detected. To do. The subject detection system can notify the observers by displaying an alarm on the monitoring monitor at the time of detection. At this time, the observers can also confirm the camera image that caused the alarm notification.
Regarding such a subject detection system, in Patent Document 1, a system for determining whether or not a person needs attention by collating a face image of a person captured by a network camera with a face image of a person requiring attention registered in advance. Has been proposed.

また、このような被写体検出システムではカメラ映像を録画及び保存しておくことにより、監視員や、警備員、施設管理者が問題発生時の映像を遡って確認すること及び証拠映像保全の用途に記録映像を活用することができる。
また、監視システムが大規模化するにつれカメラ台数が増加し、その映像を記録するための記録装置も増強する必要がありコストアップの要因となっている。そのため映像記録装置に記録時刻から一定時間経過後に古い映像から削除を行う自動削除機能を備え、必要な記憶媒体の容量を削減することが実現されている。
特許文献２では、映像信号に関連して発生したイベントの開始日時と終了日時に基づいて映像記録配信装置から長期保存装置に映像データを取り出して保存する技術が提案されている。 In addition, in such a subject detection system, by recording and saving camera images, observers, security guards, and facility managers can retroactively check the images when a problem occurs and use them for evidence image preservation. Recorded video can be used.
In addition, as the scale of the surveillance system increases, the number of cameras increases, and it is necessary to increase the number of recording devices for recording the video, which is a factor of cost increase. Therefore, the video recording device is provided with an automatic deletion function for deleting old videos after a certain period of time has elapsed from the recording time, and the capacity of the required storage medium has been reduced.
Patent Document 2 proposes a technique for extracting and storing video data from a video recording / distribution device to a long-term storage device based on the start date / time and end date / time of an event generated in connection with a video signal.

特開２０１６−００９２３４号公報Japanese Unexamined Patent Publication No. 2016-009234 特許第４３４３６７０号公報Japanese Patent No. 4343670

上述のようなシステムでは、イベント発生時刻の録画映像のみが保全され、イベントに関連する映像が自動消去されてしまう恐れがある。
そのため、イベント検出された特定人物と接触した人物の足跡を映像で確認したり、特定人物と接近した人物の行方を映像で追ったりする際に映像が消去されてしまっている恐れがある。 In a system as described above, only the recorded video at the time of event occurrence is preserved, and there is a risk that the video related to the event will be automatically deleted.
Therefore, there is a possibility that the image may be erased when the footprint of the person who has come into contact with the specific person whose event has been detected is confirmed by the image or when the whereabouts of the person who approaches the specific person is tracked by the image.

本発明の情報処理装置は、撮像画像より被写体を検出する検出手段と、特定の被写体と関連する関連被写体を判定する判定手段と、前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定手段と、を有することを特徴とする。 The information processing apparatus of the present invention protects the recording of a recorded image based on a detection means for detecting a subject from a captured image, a determination means for determining a related subject related to a specific subject, and a time range in which the related subject exists. It is characterized by having a determination means for determining a range.

本発明によれば、映像を確認する際に必要な映像が削除されてしまうことを防ぐことができる。 According to the present invention, it is possible to prevent the video necessary for checking the video from being deleted.

録画システムのシステム構成の一例を示した図である。It is a figure which showed an example of the system configuration of a recording system. カメラのハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware configuration of a camera. 画像解析サーバの機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of an image analysis server. 軌跡管理部が管理する管理情報の一例を示す図である。It is a figure which shows an example of the management information which the locus management part manages. 録画サーバの機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of a recording server. 操作端末の機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of an operation terminal. 被写体情報登録処理の一例を示すフローチャートである。It is a flowchart which shows an example of the subject information registration process. 登録者リストの一例を示す図である。It is a figure which shows an example of the registrant list. 登録者リスト管理テーブルの構成の一例を示す図である。It is a figure which shows an example of the structure of the registrant list management table. 録画制御処理の一例を示すフローチャートである。It is a flowchart which shows an example of a recording control process. アラーム設定リストの一例を示す図である。It is a figure which shows an example of an alarm setting list. アラーム表示情報テーブルの一例を示す図である。It is a figure which shows an example of an alarm display information table. カメラ情報テーブルの一例を示す図である。It is a figure which shows an example of a camera information table. マップ情報テーブルの一例を示す図である。It is a figure which shows an example of a map information table. アラーム表示処理の一例を示すフローチャートである。It is a flowchart which shows an example of an alarm display processing. 画像録画サーバの録画状態を説明する図である。It is a figure explaining the recording state of an image recording server. 変形例の録画制御処理の一例を示すフローチャートである。It is a flowchart which shows an example of the recording control processing of a modification. 録画状態を説明するための図である。It is a figure for demonstrating the recording state.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜実施形態１＞
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
図１は、録画システムのシステム構成の一例を示した図である。本実施形態では、録画システムをネットワークカメラシステム１０に適用する。
ネットワークカメラシステム１０は、少なくとも１台のネットワークカメラ（以下、単に「カメラ」ともいう）１０２と、情報処理装置１０３、１０４、１０５と、を備える。情報処理装置１０３は画像録画サーバ、情報処理装置１０４は画像解析サーバ、情報処理装置１０５は操作端末として、それぞれ構成することができる。これらの情報処理装置は、物理的に独立した装置として構成しても、又は、一体的に構成してもよい。
カメラ１０２と情報処理装置１０３、１０４、１０５とは、ネットワーク回線であるＬＡＮ（Local Area Network）１０１によって接続されている。ネットワーク回線はＬＡＮに限定されるものではなく、インターネット、又はＷＡＮ（Wide Area Network）等であってもよい。また、ＬＡＮ１０１への物理的な接続形態は、有線であってもよいし、無線であってもよい。更に、図１において、カメラ１０２及び情報処理装置１０３、１０４、１０５は、１台又は２台がＬＡＮ１０１に接続されているが、接続台数は図１に示す数に限定されない。
カメラ１０２は、所定の画角で監視対象空間内に存在する所定の被写体を撮像する、監視カメラ等の撮像装置である。カメラ１０２は、撮像画像（以下、単に「画像」ともいう。）を、ＬＡＮ１０１を介して各情報処理装置１０３、１０４、１０５へ送信する機能を有する。 <Embodiment 1>
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a diagram showing an example of a system configuration of a recording system. In this embodiment, the recording system is applied to the network camera system 10.
The network camera system 10 includes at least one network camera (hereinafter, also simply referred to as “camera”) 102, and information processing devices 103, 104, and 105. The information processing device 103 can be configured as an image recording server, the information processing device 104 can be configured as an image analysis server, and the information processing device 105 can be configured as an operation terminal. These information processing devices may be configured as physically independent devices or may be configured integrally.
The camera 102 and the information processing devices 103, 104, and 105 are connected by a LAN (Local Area Network) 101, which is a network line. The network line is not limited to LAN, and may be the Internet, WAN (Wide Area Network), or the like. Further, the physical connection form to the LAN 101 may be wired or wireless. Further, in FIG. 1, one or two cameras 102 and information processing devices 103, 104, 105 are connected to the LAN 101, but the number of connected cameras is not limited to the number shown in FIG.
The camera 102 is an imaging device such as a surveillance camera that captures a predetermined subject existing in the monitoring target space at a predetermined angle of view. The camera 102 has a function of transmitting an captured image (hereinafter, also simply referred to as “image”) to the information processing devices 103, 104, and 105 via the LAN 101.

画像録画サーバ１０３は、カメラ１０２から送信された撮像画像をＬＡＮ１０１経由で受信して保存、蓄積する。また、画像録画サーバ１０３は、画像解析サーバ１０４及び操作端末１０５から受け付けた要求に応じて保存している撮像画像を各装置に送信する。
また、画像録画サーバ１０３は、画像解析サーバ１０４から受け付けた録画の開始及び終了、録画画像の削除、削除されないよう指定範囲の映像へのロックの設定、指定された時刻以前の録画映像の一括削除等の録画映像の制御機能を有する。
本実施形態では、画像録画サーバ１０３は、カメラ１０２の画像を常時録画しているものとする。また本実施形態での画像録画サーバ１０３の画像を記録するための記憶媒体は有限であるため、画像録画サーバ１０３で定期的に古い画像を削除する定期削除処理が実行される。 The image recording server 103 receives, stores, and stores the captured image transmitted from the camera 102 via the LAN 101. Further, the image recording server 103 transmits the captured image stored in response to the request received from the image analysis server 104 and the operation terminal 105 to each device.
Further, the image recording server 103 starts and ends recording received from the image analysis server 104, deletes the recorded image, sets a lock on the video in a specified range so as not to be deleted, and collectively deletes the recorded video before the specified time. It has a control function for recorded images such as.
In the present embodiment, it is assumed that the image recording server 103 constantly records the image of the camera 102. Further, since the storage medium for recording the image of the image recording server 103 in the present embodiment is finite, the image recording server 103 periodically executes a periodic deletion process of deleting an old image.

画像解析サーバ１０４は、撮像画像から検出すべき被写体の画像等を操作端末１０５からＬＡＮ１０１経由で受信し、被写体検出処理に必要な特徴量を生成し被写体を検出するために用いる特徴情報として保存しておく。
また、画像解析サーバ１０４は、カメラ１０２が撮像した撮像画像をＬＡＮ１０１経由でカメラ１０２から受信して画像解析処理を行い、検出すべき被写体が撮像画像に含まれているかどうかの被写体検出処理を行うことができる。また、画像録画サーバ１０３に記録されている撮像画像をＬＡＮ１０１経由で受信した場合も、画像解析サーバ１０４は、撮像画像について同様に被写体検出処理を行うことができる。
画像解析サーバ１０４は、撮像画像中で検出すべき被写体を検出した場合にはアラーム表示情報を生成し、操作端末１０５に生成したアラーム表示情報を送信する。画像解析サーバ１０４は、アラーム表示情報の送信を、操作端末１０５からの要求に基づき実行してもよい。また、操作端末１０５が検出結果をリアルタイムで受信する設定であれば、画像解析サーバ１０４は、解析結果を解析処理終了毎に操作端末１０５へ送信してもよい。
また、画像解析サーバ１０４は、撮像画像からアラームを生成した際に、アラームを発生させた被写体と関連のある別の被写体を検出し、関連被写体検出の結果に応じて画像解析サーバ１０４への録画制御を行う。 The image analysis server 104 receives an image of a subject to be detected from the captured image from the operation terminal 105 via LAN 101, generates a feature amount required for subject detection processing, and stores it as feature information used for detecting the subject. Keep it.
Further, the image analysis server 104 receives the captured image captured by the camera 102 from the camera 102 via the LAN 101, performs image analysis processing, and performs subject detection processing to determine whether or not the subject to be detected is included in the captured image. be able to. Further, even when the captured image recorded on the image recording server 103 is received via the LAN 101, the image analysis server 104 can perform the subject detection process on the captured image in the same manner.
When the image analysis server 104 detects a subject to be detected in the captured image, the image analysis server 104 generates alarm display information and transmits the generated alarm display information to the operation terminal 105. The image analysis server 104 may execute the transmission of the alarm display information based on the request from the operation terminal 105. Further, if the operation terminal 105 is set to receive the detection result in real time, the image analysis server 104 may transmit the analysis result to the operation terminal 105 every time the analysis process is completed.
Further, when the image analysis server 104 generates an alarm from the captured image, it detects another subject related to the subject that caused the alarm, and records the image on the image analysis server 104 according to the result of the related subject detection. Take control.

本実施形態の以下の説明では、画像解析サーバ１０４がカメラ１０２の撮像画像を画像録画サーバ１０３経由で受信する場合を想定しているが、カメラ１０２から直接受信する場合も同様にして各種の処理を実行することができる。また、以下の説明では、画像解析サーバ１０４が解析結果及び登録情報を保持する場合を想定しているが、ネットワークを介した他のデータベース、又は操作端末１０５に保存するようにしてもよい。
操作端末１０５は、表示装置（ディスプレイ）を備え、カメラ１０２から受信した撮像画像、画像録画サーバ１０３に記録された画像データの再生及び表示、画像解析サーバ１０４から受信したアラーム表示情報を表示するための表示制御機能を有する。また操作端末１０５は、被写体検出用のユーザインタフェースと入力部とを備え、被写体検出のための画像解析処理に関するパラメータ設定、登録情報の設定、アラーム表示情報の各種パラメータの設定、一括録画削除時刻設定の操作を行うための機能を有する。 In the following description of the present embodiment, it is assumed that the image analysis server 104 receives the captured image of the camera 102 via the image recording server 103, but various processes are similarly performed when the image is directly received from the camera 102. Can be executed. Further, in the following description, it is assumed that the image analysis server 104 holds the analysis result and the registration information, but it may be stored in another database via the network or the operation terminal 105.
The operation terminal 105 is provided with a display device (display), and is for displaying the captured image received from the camera 102, the reproduction and display of the image data recorded in the image recording server 103, and the alarm display information received from the image analysis server 104. Has a display control function. Further, the operation terminal 105 includes a user interface for subject detection and an input unit, and sets parameters related to image analysis processing for subject detection, sets registration information, sets various parameters of alarm display information, and sets batch recording deletion time. It has a function to perform the operation of.

次に、各装置の構成について説明する。
図２は、カメラ１０２のハードウェア構成の一例を示す図である。カメラ１０２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、撮像部２０５、入力部２０６、通信Ｉ／Ｆ２０７、システムバス２０８を含んで構成することができる。これ以外の構成を更に含んでいてもよい。
ＣＰＵ２０１は、カメラ１０２における動作を統括的に制御する制御部であって、システムバス２０８を介して、各構成要素（２０２〜２０７）の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。プログラムは、外部メモリ２０４、又は着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。即ち、ＣＰＵ２０１は、処理の実行に際してＲＯＭ２０２から必要なプログラム等をＲＡＭ２０３にロードし、プログラム等を実行することで各種の機能動作を実現する。 Next, the configuration of each device will be described.
FIG. 2 is a diagram showing an example of the hardware configuration of the camera 102. The camera 102 can be configured to include a CPU 201, a ROM 202, a RAM 203, an external memory 204, an imaging unit 205, an input unit 206, a communication I / F 207, and a system bus 208. Other configurations may be further included.
The CPU 201 is a control unit that comprehensively controls the operation of the camera 102, and controls the operation of each component (202 to 207) via the system bus 208. The ROM 202 is a non-volatile memory that stores a control program or the like required for the CPU 201 to execute a process. The program may be stored in an external memory 204 or a removable storage medium (not shown). The RAM 203 functions as a main memory, a work area, and the like of the CPU 201. That is, the CPU 201 realizes various functional operations by loading a program or the like required from the ROM 202 into the RAM 203 when executing the process and executing the program or the like.

外部メモリ２０４は、例えば、ＣＰＵ２０１がプログラムを用いた処理を行う際に必要な各種データ及び各種情報等を記憶している。また、外部メモリ２０４には、例えば、ＣＰＵ２０１がプログラム等を用いた処理を行うことにより得られた各種データ及び各種情報等が記憶される。撮像部２０５は、被写体の撮像を行って撮像画像を生成する。撮像部２０５は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子、Ａ／Ｄ変換器、現像処理部等を含んで構成することができる。
入力部２０６は電源ボタン及び設定ボタン等から構成され、カメラ１０２の操作者は、入力部２０６を介してカメラ１０２に指示を与えることができる。通信Ｉ／Ｆ２０７は、外部装置（ここでは、情報処理装置１０３）と通信するためのインターフェースである。通信Ｉ／Ｆ２０７は、例えばＬＡＮインターフェースである。システムバス２０８は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、撮像部２０５、入力部２０６及び通信Ｉ／Ｆ２０７を通信可能に接続する。カメラ１０２の各部の機能は、ＣＰＵ２０１がＲＯＭ２０２、又は外部メモリ２０４に記憶されたプログラムを実行することで実現される。 The external memory 204 stores, for example, various data and various information required when the CPU 201 performs processing using a program. Further, in the external memory 204, for example, various data and various information obtained by the CPU 201 performing processing using a program or the like are stored. The imaging unit 205 captures the subject and generates an captured image. The image pickup unit 205 can be configured to include, for example, an image pickup element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), an A / D converter, a development processing unit, or the like.
The input unit 206 is composed of a power button, a setting button, and the like, and the operator of the camera 102 can give an instruction to the camera 102 via the input unit 206. The communication I / F 207 is an interface for communicating with an external device (here, the information processing device 103). The communication I / F 207 is, for example, a LAN interface. The system bus 208 communicatively connects the CPU 201, ROM 202, RAM 203, external memory 204, image pickup unit 205, input unit 206, and communication I / F 207. The functions of each part of the camera 102 are realized by the CPU 201 executing a program stored in the ROM 202 or the external memory 204.

本実施形態において、情報処理装置１０３から１０５までのそれぞれのハードウェア構成についても、図２（Ａ）に示すハードウェア構成に準ずることができる。但し、その場合には、撮像部２０５に代えて、表示部等のハードウェア構成を具備することができる。ここで、表示部は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。また、情報処理装置１０３から１０５までは、入力部２０６として、キーボード及びマウス等のポインティングデバイスを具備し、操作者が情報処理装置に対して指示を与えることができるように構成される。また、外部メモリ２０４は、種々の情報を記憶しておくためのデータベースを含むことができる。 In the present embodiment, the hardware configurations of the information processing devices 103 to 105 can also conform to the hardware configurations shown in FIG. 2 (A). However, in that case, a hardware configuration such as a display unit can be provided instead of the imaging unit 205. Here, the display unit is composed of a monitor such as a liquid crystal display (LCD). Further, the information processing devices 103 to 105 are provided with a pointing device such as a keyboard and a mouse as an input unit 206 so that the operator can give an instruction to the information processing device. Further, the external memory 204 can include a database for storing various information.

図３は、画像解析サーバ１０４の機能構成の一例を示す図である。画像解析サーバ１０４は、画像取得部３０１、被写体検出部３０２、特徴量取得部３０３、特定被写体情報登録部３０４、特定被写体情報管理部３０５、照合部３０６を備えることができる。更に、画像解析サーバ１０４は、アラーム情報設定部３０７、アラーム情報管理部３０８、アラーム作成部３０９、関連被写体判定部３１０、軌跡管理部３１１、録画制御部３１２、定期削除管理部３１３、通信部３１４を備えることができる。
図３に示す各機能構成要素は、画像解析サーバ１０４のＣＰＵ２０１が対応する処理プログラムを実行することによって実現され得る。但し、図３に示す各要素のうち少なくとも一部を専用のハードウェアで実現するように構成してもよい。この場合、専用のハードウェアは、ＣＰＵ２０１の制御に基づいて動作する。
本実施形態では、図３の各機能を画像解析サーバ１０４内に搭載する場合を説明するが、機能の一部を他の機器に搭載してもよい。例えば、機能の一部をカメラ１０２内に搭載してもよいし、画像録画サーバ１０３を含む他の情報処理装置に搭載してもよい。また、本実施形態においては、画像解析サーバ１０４が被写体として主に人物を検出する場合を説明するが、検出対象となる被写体は人物に限定されるものではない。例えば、車両、又は不審物等の特定の被写体を検出対象とすることもできる。 FIG. 3 is a diagram showing an example of the functional configuration of the image analysis server 104. The image analysis server 104 can include an image acquisition unit 301, a subject detection unit 302, a feature amount acquisition unit 303, a specific subject information registration unit 304, a specific subject information management unit 305, and a collation unit 306. Further, the image analysis server 104 includes an alarm information setting unit 307, an alarm information management unit 308, an alarm creation unit 309, a related subject determination unit 310, a trajectory management unit 311, a recording control unit 312, a periodic deletion management unit 313, and a communication unit 314. Can be provided.
Each functional component shown in FIG. 3 can be realized by the CPU 201 of the image analysis server 104 executing the corresponding processing program. However, at least a part of each element shown in FIG. 3 may be configured to be realized by dedicated hardware. In this case, the dedicated hardware operates under the control of the CPU 201.
In the present embodiment, the case where each function of FIG. 3 is mounted in the image analysis server 104 will be described, but a part of the functions may be mounted in another device. For example, a part of the function may be mounted in the camera 102, or may be mounted in another information processing device including the image recording server 103. Further, in the present embodiment, the case where the image analysis server 104 mainly detects a person as a subject will be described, but the subject to be detected is not limited to the person. For example, a specific subject such as a vehicle or a suspicious object can be detected.

画像取得部３０１は、カメラ１０２から送信された撮像画像を画像録画サーバ１０３経由で受信し、伸長、復号化して画像（動画像若しくは静止画像）を取得する。画像取得部３０１は、取得した画像を順次、被写体検出部３０２へ送出する。ここで、本実施形態においてカメラ１０２から提供される撮像画像は、静止画であっても動画であってもよい。また、撮像画像の供給元については特に限定するものではない。供給元は、有線、又は無線を介して撮像画像を供給するカメラ１０２、画像録画サーバ１０３、又は、それら以外の他の撮像装置であってもよい。また、画像取得部３０１は、同一の装置内のメモリ（例えば、外部メモリ２０４）から撮像画像を取得するようにしてもよい。以下の説明では、動画像を取得した場合であっても静止画像を取得した場合であっても、画像取得部３０１は、被写体検出部３０２へ１枚の画像を送出する場合について説明する。前者の場合は、１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、１枚の画像が静止画像に相当する。動画像の場合は、各フレームについて同様の処理を繰り返せばよい。
次に、被写体検出部３０２は、画像取得部３０１が受信した撮像画像に対し、照合パターン辞書等を用いて被写体検出処理を実施する。これにより、撮像画像中で被写体（例えば、人物）が含まれる被写体領域（人物領域）が抽出される。特徴量取得部３０３は、被写体検出部３０２で抽出された被写体領域の画像から、所定の演算に基づいて特徴量を抽出する特徴量抽出処理を行う。例えば、被写体として人物が抽出される場合、特徴量として人物の顔の特徴量を抽出することができる。また、顔以外にも上半身、下半身、全身、後姿、着衣等の特徴量を抽出してもよい。又は、人物がかばん、又はバックパック等の荷物を持つことを抽出してもよい。 The image acquisition unit 301 receives the captured image transmitted from the camera 102 via the image recording server 103, decompresses and decodes it, and acquires an image (moving image or still image). The image acquisition unit 301 sequentially sends the acquired images to the subject detection unit 302. Here, the captured image provided by the camera 102 in the present embodiment may be a still image or a moving image. Further, the source of the captured image is not particularly limited. The supply source may be a camera 102 that supplies captured images via wire or wireless, an image recording server 103, or another imaging device other than these. Further, the image acquisition unit 301 may acquire an captured image from a memory (for example, an external memory 204) in the same device. In the following description, the case where the image acquisition unit 301 sends one image to the subject detection unit 302 will be described regardless of whether the moving image is acquired or the still image is acquired. In the former case, one image corresponds to each frame constituting the moving image, and in the latter case, one image corresponds to a still image. In the case of a moving image, the same process may be repeated for each frame.
Next, the subject detection unit 302 performs subject detection processing on the captured image received by the image acquisition unit 301 using a collation pattern dictionary or the like. As a result, a subject area (person area) including a subject (for example, a person) is extracted from the captured image. The feature amount acquisition unit 303 performs a feature amount extraction process for extracting a feature amount from an image of a subject area extracted by the subject detection unit 302 based on a predetermined calculation. For example, when a person is extracted as a subject, the feature amount of the person's face can be extracted as the feature amount. In addition to the face, features such as upper body, lower body, whole body, rear view, and clothes may be extracted. Alternatively, it may be extracted that the person has luggage such as a bag or a backpack.

次に、特定被写体情報登録部３０４は、検出対象とする特定被写体の画像を含む情報を操作端末１０５からＬＡＮ１０１経由で受信し、特定被写体検出処理に必要な特徴量を生成し特定被写体の特徴情報（以下、「特定被写体情報」という）として特定被写体情報管理部３０５に登録する。ここでの特徴量の生成については、特徴量取得部３０３が行う処理と同様に実施することができる。特定被写体情報管理部３０５は、特定被写体情報登録部３０４が生成した登録対象の被写体の特徴量、画像を、登録名、登録時刻等の情報と共に特定被写体情報として管理する。
照合部３０６は、特徴量取得部３０３が取得した特徴量と特定被写体情報管理部３０５が保持及び管理する検出対象の被写体の特徴量とを照合し、類似度を算出する。照合部３０６は、算出した類似度が所定の閾値以上である場合、撮像された被写体は、検出対象の被写体に類似していると判断し、検出対象の特定被写体が検出されたと認識する。 Next, the specific subject information registration unit 304 receives information including an image of the specific subject to be detected from the operation terminal 105 via the LAN 101, generates a feature amount required for the specific subject detection process, and generates the feature information of the specific subject. (Hereinafter, referred to as "specific subject information") is registered in the specific subject information management unit 305. The feature amount generation here can be performed in the same manner as the process performed by the feature amount acquisition unit 303. The specific subject information management unit 305 manages the feature amount and the image of the subject to be registered generated by the specific subject information registration unit 304 as the specific subject information together with the information such as the registered name and the registration time.
The collation unit 306 collates the feature amount acquired by the feature amount acquisition unit 303 with the feature amount of the subject to be detected held and managed by the specific subject information management unit 305, and calculates the similarity. When the calculated similarity is equal to or higher than a predetermined threshold value, the collation unit 306 determines that the captured subject is similar to the subject to be detected, and recognizes that the specific subject to be detected has been detected.

上述のように本実施形態において検出すべき対象である被写体は人物に限定されない。したがって、特定被写体情報登録部３０４は、操作端末１０５から提供された特定被写体画像から、当該被写体を撮像画像において検出するのに有効となる特徴量を抽出する。検出対象が車両であれば、車両を検出可能な車両の形状的特徴、又は車両に固有の識別情報（例えばナンバープレートの番号）を特徴量として抽出することができる。 As described above, the subject to be detected in this embodiment is not limited to a person. Therefore, the specific subject information registration unit 304 extracts a feature amount effective for detecting the subject in the captured image from the specific subject image provided from the operation terminal 105. If the detection target is a vehicle, the shape characteristics of the vehicle that can detect the vehicle or the identification information unique to the vehicle (for example, the number of the license plate) can be extracted as the feature amount.

アラーム情報設定部３０７は、画像解析サーバ１０４での解析処理結果に応じたアラームの通知内容、対象カメラ等のアラーム設定を行う。アラーム情報設定部３０７は、アラーム設定を操作端末１０５からＬＡＮ１０１経由で受信し、アラーム情報管理部３０８へ登録する。アラーム作成部３０９は、検出対象の特定被写体が検出されたことを通知するためのアラーム表示情報をアラーム情報管理部３０８の設定等に基づき作成する。
通信部３１４は、アラーム作成部３０９が作成したアラーム表示情報をＬＡＮ１０１経由で操作端末１０５へ送信する。設定管理部３１５は、画像解析サーバ１０４の設定、画像録画サーバ１０３の設定、映像解析に必要な設定、カメラ設定等映像解析処理及びアラーム作成処理に必要な情報を保持している。 The alarm information setting unit 307 sets the alarm notification content, the target camera, and the like according to the analysis processing result of the image analysis server 104. The alarm information setting unit 307 receives the alarm setting from the operation terminal 105 via the LAN 101 and registers it in the alarm information management unit 308. The alarm creation unit 309 creates alarm display information for notifying that a specific subject to be detected has been detected, based on the settings of the alarm information management unit 308 and the like.
The communication unit 314 transmits the alarm display information created by the alarm creation unit 309 to the operation terminal 105 via the LAN 101. The setting management unit 315 holds information necessary for image analysis processing such as image analysis server 104 setting, image recording server 103 setting, image analysis setting, camera setting, and alarm creation processing.

軌跡管理部３１１は、被写体検出部３０２及び照合部３０６で取得する被写体情報を、管理情報として被写体毎に管理する。図４を参照して、軌跡管理部３１１が管理する管理情報の例を説明する。管理情報７０１には、被写体ＩＤ（Object ID）ごとに被写体情報７０２が管理されている。１つの被写体に対する被写体情報７０２には、被写体が検出されたフレーム毎の情報７０３が管理されている。情報７０３には、情報が作成された日時を示すタイムスタンプ（Time Stamp）、検出された被写体の座標位置（Position）、検出された被写体の領域を包含する外接矩形を規定する情報（Bounding box）、被写体のサイズ（size）、被写体の属性(Attribute)が含まれている。但し、情報７０３に含まれる情報はこれらに限らず、如何なる情報を含めてもよい。
例えば被写体の属性(Attribute)は被写体検出部３０２で検出する属性を示しているが、これに限らず、検出した被写体に対して任意の特徴量を抽出し属性を判別するようにして情報７０３へ含めるようにしてもよい。また例えば、被写体として人物が抽出される場合、被写体の特徴として性別推定、年齢推定、物体所持の有無、帽子の有無、着衣の色等を含めるようにしてもよい。また例えば、被写体外接矩形に換え被写体検出部３０２で被写体の輪郭を検出するようにし検出した被写体輪郭を記録することで被写体間の重なり及び距離をより正確に計測することができる。 The locus management unit 311 manages the subject information acquired by the subject detection unit 302 and the collation unit 306 for each subject as management information. An example of management information managed by the locus management unit 311 will be described with reference to FIG. In the management information 701, the subject information 702 is managed for each subject ID (Object ID). The subject information 702 for one subject manages information 703 for each frame in which the subject is detected. The information 703 includes a time stamp indicating the date and time when the information was created, a coordinate position of the detected subject (Position), and information defining an extrinsic rectangle including the area of the detected subject (Bounding box). , Subject size (size), subject attribute (Attribute) are included. However, the information included in the information 703 is not limited to these, and any information may be included.
For example, the attribute of the subject indicates the attribute detected by the subject detection unit 302, but the attribute is not limited to this, and an arbitrary feature amount is extracted for the detected subject to determine the attribute to the information 703. It may be included. Further, for example, when a person is extracted as a subject, the characteristics of the subject may include gender estimation, age estimation, presence / absence of possession of an object, presence / absence of a hat, color of clothes, and the like. Further, for example, the overlap and distance between the subjects can be measured more accurately by changing the subject extrinsic rectangle to the subject detection unit 302 to detect the contour of the subject and recording the detected contour of the subject.

また、被写体情報７０２には、被写体と関連する被写体に関する情報が管理されている。関連被写体情報７０４には、関連被写体のＩＤ（Relation object ID）、関連情報が作成された日時を示すタイムスタンプ（Time Stamp）、種類（Event type）が含まれている。但し、関連被写体情報７０４に含まれる情報はこれらに限らず、如何なる情報を含めてもよい。
被写体情報７０２の関連被写体のＩＤには、管理情報７０１の被写体ＩＤと関連付けられており、関連被写体ＩＤから関連被写体の情報を参照することができる。
また、軌跡管理部３１１は、対象被写体が照合部３０６の照合処理において特定被写体情報登録部３０４で登録されている特定被写体と判定された場合、被写体情報７０２の特定被写体ID(Member ID)へ判定された特定被写体IDが入力される。
関連被写体判定部３１０は、アラーム作成部３０９でアラーム対象となった被写体について、関連する被写体を軌跡管理部３１１の管理情報７０１に基づいて抽出する。抽出された関連被写体は軌跡管理部３１１の管理情報７０１で関連被写体情報として管理される。
また、関連被写体判定部３１０は、アラーム対象被写体の関連被写体の存在する時間範囲に基づき録画保護範囲を決定する。 Further, the subject information 702 manages information about a subject related to the subject. The related subject information 704 includes an ID (Relation object ID) of the related subject, a time stamp (Time Stamp) indicating the date and time when the related information was created, and a type (Event type). However, the information included in the related subject information 704 is not limited to these, and any information may be included.
The ID of the related subject of the subject information 702 is associated with the subject ID of the management information 701, and the information of the related subject can be referred from the related subject ID.
Further, when the target subject is determined to be a specific subject registered by the specific subject information registration unit 304 in the collation process of the collation unit 306, the locus management unit 311 determines the specific subject ID (Member ID) of the subject information 702. The specific subject ID is entered.
The related subject determination unit 310 extracts the related subject from the subject subject to the alarm by the alarm creation unit 309 based on the management information 701 of the trajectory management unit 311. The extracted related subject is managed as related subject information by the management information 701 of the trajectory management unit 311.
Further, the related subject determination unit 310 determines the recording protection range based on the time range in which the related subject of the alarm target subject exists.

定期削除管理部３１３は、画像録画サーバ１０３で保存されている録画映像に対して所定時間経過した古い映像の削除指示を行う。所定時間は操作端末１０５からの入力で設定管理部３１５に設定することができる。
録画制御部３１２は、定期削除管理部３１３からの定期削除情報に基づき画像録画サーバ１０３へ録画制御を行う。また録画制御部３１２は、関連被写体判定部３１０から受信した録画保護範囲に基づき、画像録画サーバ１０３へ録画保護制御を行う。
設定管理部３１５に設定で保存される定期削除情報として、録画経過時間と削除頻度及び時刻がある。本実施形態では、録画経過時間を１週間以上、削除頻度及び時刻を１日毎、午前０時０分とする。この定期削除情報に基づき録画制御部３１２は、毎日午前０時０分に、録画した映像のうち１週間以上経過した範囲を削除する。但しこの定期削除処理において、録画保護範囲が設定されている場合はこの定期削除処理で録画保護範囲は削除されない。 The periodic deletion management unit 313 gives an instruction to delete the old video that has passed a predetermined time with respect to the recorded video stored in the image recording server 103. The predetermined time can be set in the setting management unit 315 by input from the operation terminal 105.
The recording control unit 312 performs recording control to the image recording server 103 based on the periodic deletion information from the periodic deletion management unit 313. Further, the recording control unit 312 performs recording protection control to the image recording server 103 based on the recording protection range received from the related subject determination unit 310.
Periodic deletion information stored in the setting management unit 315 by setting includes the elapsed recording time, the deletion frequency, and the time. In the present embodiment, the elapsed recording time is one week or longer, the deletion frequency and time are set to every day at 0:00 am. Based on this periodic deletion information, the recording control unit 312 deletes the range of the recorded video that has passed one week or more at 0:00 am every day. However, if the recording protection range is set in this periodic deletion process, the recording protection range is not deleted by this periodic deletion process.

また、定期削除処理において、アラーム発生により録画保護制御が行われた際に、アラーム発生のタイミングにより定期削除が正しく行われない可能性がある。そのため、定期削除処理は録画保護範囲が及ばない程度に数秒等ではなく十分に長い１週間以上経過した範囲等を設定することが望ましい。また、定期削除処理自体もアラーム発生時刻と被らずに処理負荷の低い時間帯（例えば深夜）等に時刻設定しておくことが望ましい。
通信部３１４は、アラーム作成部３０９が作成したアラーム表示情報、定期削除管理部３１３の録画削除情報、関連被写体判定部３１０の録画保護範囲情報をＬＡＮ１０１経由で操作端末１０５へ送信する。
設定管理部３１５は、画像解析サーバ１０４の設定、画像録画サーバ１０３の設定、映像解析に必要な設定、カメラ設定等映像解析処理及びアラーム作成処理に必要な情報を保持している。 Further, in the periodic deletion process, when the recording protection control is performed due to the occurrence of an alarm, the periodic deletion may not be performed correctly depending on the timing of the alarm occurrence. Therefore, it is desirable to set a sufficiently long range such as one week or more for the periodic deletion process, not a few seconds or the like so that the recording protection range does not reach. In addition, it is desirable to set the time of the periodic deletion process itself in a time zone (for example, midnight) where the processing load is low without suffering from the alarm occurrence time.
The communication unit 314 transmits the alarm display information created by the alarm creation unit 309, the recording deletion information of the periodic deletion management unit 313, and the recording protection range information of the related subject determination unit 310 to the operation terminal 105 via the LAN 101.
The setting management unit 315 holds information necessary for image analysis processing such as image analysis server 104 setting, image recording server 103 setting, image analysis setting, camera setting, and alarm creation processing.

図５は、画像録画サーバ１０３の機能構成の一例を示す図である。
画像録画サーバ１０３は、通信部４０１と、記録部４０２と、録画映像制御部４０３とを備える。
通信部４０１は、カメラ１０２から映像データを受信する。また通信部４０１は、画像解析サーバ１０４からアラーム表示情報、録画削除情報、録画保護範囲情報をＬＡＮ１０１経由で受信する。
記録部４０２は、通信部４０１が受信したカメラ映像データを保存及び蓄積する。
録画映像制御部４０３は、通信部４０１が受信した録画削除情報、録画保護範囲情報に基づき記録部４０２で保存している録画映像に対し録画映像制御を行う。 FIG. 5 is a diagram showing an example of the functional configuration of the image recording server 103.
The image recording server 103 includes a communication unit 401, a recording unit 402, and a recorded video control unit 403.
The communication unit 401 receives video data from the camera 102. Further, the communication unit 401 receives the alarm display information, the recording deletion information, and the recording protection range information from the image analysis server 104 via the LAN 101.
The recording unit 402 stores and stores the camera image data received by the communication unit 401.
The recorded video control unit 403 controls the recorded video for the recorded video stored in the recording unit 402 based on the recording deletion information and the recording protection range information received by the communication unit 401.

図６は、操作端末１０５の機能構成の一例を示す図である。操作端末１０５は、アラーム受信部５０１と、画像取得部５０２と、設定入力部５０３と、通信部５０４と、表示部５０５とを備える。設定入力部５０３は、検出対象とする被写体の画像を含む被写体に関する情報及びアラーム設定情報を入力する。通信部５０４は、入力された情報をＬＡＮ１０１経由で画像解析サーバ１０４に送信する。アラーム受信部５０１は、画像解析サーバ１０４からアラーム表示情報をＬＡＮ１０１経由で受信する。画像取得部５０２は、受信したアラーム表示情報のアラーム発生時刻の撮像画像、アラーム対象が記録されている範囲の撮像画像、又はアラーム対象の関連被写体が記録されている範囲の撮像画像を画像録画サーバ１０３から取得する。表示部５０５は、受信したアラーム表示情報とアラームに関する撮像画像等とを含むアラーム表示画面をディスプレイに表示し操作者へアラームを通知する。 FIG. 6 is a diagram showing an example of the functional configuration of the operation terminal 105. The operation terminal 105 includes an alarm receiving unit 501, an image acquisition unit 502, a setting input unit 503, a communication unit 504, and a display unit 505. The setting input unit 503 inputs information about the subject including an image of the subject to be detected and alarm setting information. The communication unit 504 transmits the input information to the image analysis server 104 via the LAN 101. The alarm receiving unit 501 receives the alarm display information from the image analysis server 104 via the LAN 101. The image acquisition unit 502 captures an image of the received alarm display information at the alarm occurrence time, an image of the range in which the alarm target is recorded, or an image of the range in which the related subject of the alarm target is recorded. Obtained from 103. The display unit 505 displays an alarm display screen including the received alarm display information and the captured image related to the alarm on the display, and notifies the operator of the alarm.

録画システムの動作の詳細を説明する。まず画像解析サーバ１０４が実行する被写体情報登録処理手順について、図７を参照しながら説明する。
Ｓ６０１では、特定被写体情報登録部３０４は、検出対象となる特定被写体に関する情報が入力されたか否かを判定する。本実施形態では、操作端末１０５から画像解析サーバ１０４に対して情報を入力することができる。操作端末１０５の操作者は、特定被写体情報登録時に、登録しようとする被写体の名称（人物であれば氏名、名称）、被写体画像、被写体に関する記述的情報を含めることができる。例えば、記述的情報には、被写体に関するコメント、被写体が人物である場合には性別、年齢、その他の当該人物に関連する任意の属性情報を含めることができる。被写体画像は、例えば人物の場合には顔画像とすることができ、複数枚数の画像を登録することができる。複数枚の画像を登録することで、人物を検出する精度をより高めることが可能となる。情報が入力された場合、処理はＳ６０２へ進む。 The details of the operation of the recording system will be described. First, the subject information registration processing procedure executed by the image analysis server 104 will be described with reference to FIG. 7.
In S601, the specific subject information registration unit 304 determines whether or not information regarding the specific subject to be detected has been input. In the present embodiment, information can be input from the operation terminal 105 to the image analysis server 104. When registering the specific subject information, the operator of the operation terminal 105 can include the name of the subject to be registered (name, name if it is a person), the subject image, and descriptive information about the subject. For example, the descriptive information can include comments about the subject, gender, age, and any other attribute information related to the person if the subject is a person. The subject image can be, for example, a face image in the case of a person, and a plurality of images can be registered. By registering a plurality of images, it is possible to further improve the accuracy of detecting a person. When the information is input, the process proceeds to S602.

Ｓ６０２では、特定被写体情報登録部３０４は、Ｓ６０１で入力された情報のチェックを行う。入力値のチェックとして、入力された画像に対し特徴量の抽出処理を行う。例えば、検出対象の被写体が人物の場合には、特定被写体情報登録部３０４は、顔検出処理を行って、入力画像に顔画像が含まれるかどうかを判定する。顔画像が含まれる場合には、特定被写体情報登録部３０４は、顔特徴量抽出処理を更に行って、顔特徴量が抽出する。Ｓ６０１において顔画像が複数枚入力された場合には、特定被写体情報登録部３０４は、顔画像ごとに顔特徴量を抽出する。顔特徴量が抽出できる場合には、処理はＳ６０３へ進む。一方、検出対象の被写体の特徴量が抽出できない場合には、入力された情報は、登録するには不十分な情報であるので、処理はＳ６０１に戻る。Ｓ６０３では、特定被写体情報登録部３０４は、Ｓ６０１で入力された被写体画像等の情報と、Ｓ６０２で抽出した特徴量とを関連付けて特定被写体情報管理部３０５に被写体情報として登録する。 In S602, the specific subject information registration unit 304 checks the information input in S601. As a check of the input value, the feature amount is extracted from the input image. For example, when the subject to be detected is a person, the specific subject information registration unit 304 performs face detection processing to determine whether or not the input image includes a face image. When a face image is included, the specific subject information registration unit 304 further performs a face feature amount extraction process to extract the face feature amount. When a plurality of face images are input in S601, the specific subject information registration unit 304 extracts the face feature amount for each face image. If the facial feature amount can be extracted, the process proceeds to S603. On the other hand, when the feature amount of the subject to be detected cannot be extracted, the input information is insufficient information for registration, and the process returns to S601. In S603, the specific subject information registration unit 304 associates the information such as the subject image input in S601 with the feature amount extracted in S602 and registers it in the specific subject information management unit 305 as subject information.

ここで、特定被写体情報管理部３０５が管理する被写体情報について説明する。図８は被写体情報として人物情報を登録している登録者リスト８００の一例を示す。登録者リスト８００は、登録者ＩＤ８０１、登録時刻８０２、登録名８０３、特徴量８０４、顔画像８０５、性別８０６、コメント８０７のフィールドを有するが、登録人物に関する更なる情報が登録されていてもよい。
登録者ＩＤ８０１は、登録人物に対して一意に割り当てられる識別情報であり、登録人物と関連付けられた登録情報を識別するために用いることができる。登録時刻８０２は、特定被写体情報管理部３０５に人物情報が登録された時刻を示す。登録名８０３は、登録された人物の指名、名称等が登録される。登録名８０３は、操作端末１０５から被写体情報を画像解析サーバ１０４に登録する際に、端末操作者により入力することができる。同様に顔画像８０５、性別８０６、コメント８０７は端末操作者により入力された内容を登録することができる。特徴量８０４には、登録人物が含まれる画像において、人物を特定するために利用可能な特徴量が登録される。本実施形態では、顔画像８０５から抽出された顔特徴量を登録することができる。また、顔画像以外の他の画像（全身画像、上半身画像、下半身画像、後姿、着衣の画像）が提供される場合にも、それらの画像から抽出された特徴量が登録される。また、提供された他の画像も登録者リスト８００に登録することができる。
このようにして登録者リストを生成することができるが、登録者リストは登録される対象の属性に応じて複数種類を生成することもできる。 Here, the subject information managed by the specific subject information management unit 305 will be described. FIG. 8 shows an example of the registrant list 800 in which personal information is registered as subject information. The registrant list 800 has fields of registrant ID 801, registration time 802, registered name 803, feature amount 804, face image 805, gender 806, and comment 807, but further information about the registered person may be registered. ..
The registrant ID 801 is identification information uniquely assigned to the registered person, and can be used to identify the registered information associated with the registered person. The registration time 802 indicates the time when the person information is registered in the specific subject information management unit 305. In the registered name 803, the nomination, name, etc. of the registered person are registered. The registration name 803 can be input by the terminal operator when the subject information is registered in the image analysis server 104 from the operation terminal 105. Similarly, the face image 805, the gender 806, and the comment 807 can register the contents input by the terminal operator. In the feature amount 804, a feature amount that can be used to identify a person is registered in an image including a registered person. In the present embodiment, the facial feature amount extracted from the facial image 805 can be registered. Further, when images other than the face image (whole body image, upper body image, lower body image, rear view, clothing image) are provided, the feature amount extracted from those images is registered. In addition, other images provided can also be registered in the registrant list 800.
Although the registrant list can be generated in this way, a plurality of types of the registrant list can also be generated according to the attribute of the target to be registered.

図９は、複数種類のリストが生成される場合に、リストを管理するための登録者リスト管理テーブルの構成の一例を示す図である。図９に示すように、図８の一般的な登録人物のリストの他に、例えば要注意人物リスト、又は従業員リストといったリストを作成することもできる。テーブル９００は、これらのリストを識別するための識別情報であるリストＩＤ、リスト名９０２、コメント９０３が登録される。ここで、リストＩＤ００１の登録者リスト１が図８に示した登録者リスト８００に対応している。
登録者リスト８００は、一部の情報が操作端末１０５に保持されてもよい。例えば、登録者ＩＤ８０１、登録時刻８０２、登録名８０３、顔画像８０５、性別８０６、コメント８０７の情報は、操作端末１０５側にもリストとして保持されてもよい。このリストを操作端末１０５側で保持しておくことにより、画像解析サーバ１０４から受信したアラーム表示情報を操作端末１０５の表示装置に表示する際に、検出された被写体の画像を特定してアラーム表示に含めることができる。 FIG. 9 is a diagram showing an example of the configuration of a registrant list management table for managing the list when a plurality of types of lists are generated. As shown in FIG. 9, in addition to the general list of registered persons in FIG. 8, a list such as a list of persons requiring attention or a list of employees can be created. In the table 900, a list ID, a list name 902, and a comment 903, which are identification information for identifying these lists, are registered. Here, the registrant list 1 of the list ID 001 corresponds to the registrant list 800 shown in FIG.
In the registrant list 800, some information may be held in the operation terminal 105. For example, the information of the registrant ID 801 and the registration time 802, the registered name 803, the face image 805, the gender 806, and the comment 807 may be stored as a list on the operation terminal 105 side as well. By holding this list on the operation terminal 105 side, when displaying the alarm display information received from the image analysis server 104 on the display device of the operation terminal 105, the detected image of the subject is specified and the alarm is displayed. Can be included in.

次に、画像解析サーバ１０４が実行するアラーム制御、録画制御処理について、図１０のフローチャートを参照しながら説明する。まず、Ｓ１６０１では、画像取得部３０１が、カメラ１０２が撮像した撮像画像を画像録画サーバ１０３経由で受信し、伸長、復号化して画像（動画像又は静止画像）を取得する。画像取得部３０１は、取得した画像を、順次、被写体検出部３０２へ送出する。Ｓ１６０２では、被写体検出部３０２が、照合パターン辞書等を用いて取得した画像から被写体を検出する処理を実施する。ここで検出すべき被写体が特定の人物である場合には、撮像画像から人物領域を抽出する。その場合、被写体検出部３０２は、画像から人物が含まれる領域であって、少なくとも顔特徴量等を抽出可能な領域を検出する機能を有していればよく、人物領域の検出処理はパターン処理に限定されない。 Next, the alarm control and the recording control process executed by the image analysis server 104 will be described with reference to the flowchart of FIG. First, in S1601, the image acquisition unit 301 receives the captured image captured by the camera 102 via the image recording server 103, expands and decodes it, and acquires an image (moving image or still image). The image acquisition unit 301 sequentially sends the acquired images to the subject detection unit 302. In S1602, the subject detection unit 302 performs a process of detecting a subject from an image acquired by using a collation pattern dictionary or the like. When the subject to be detected here is a specific person, the person area is extracted from the captured image. In that case, the subject detection unit 302 only needs to have a function of detecting an area including a person from the image and capable of extracting at least a facial feature amount, and the detection process of the person area is a pattern process. Not limited to.

人物領域を検出するための他の手法としては例えば、以下の方法がある。被写体検出部３０２は、所定の大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの２クラス判別を行う。この判別には、アダブーストを使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別精度を向上させる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。弱判別器はＨＯＧ特徴量で構成されている。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人物かどうかの判別を行う。 As another method for detecting the person area, for example, there are the following methods. The subject detection unit 302 scans a detection window of a predetermined size on the input image, and performs two-class determination as to whether or not the pattern image obtained by cutting out the image in the detection window is a person. For this discrimination, AdaBoost is used to effectively combine many weak discriminators to form a discriminator, and the discrimination accuracy is improved. In addition, these discriminators are connected in series to form a cascade type detector. The weak discriminator is composed of HOG features. Then, the cascade type detector first removes the candidate of the pattern which is clearly not the subject on the spot by using the simple discriminator in the previous stage. Only for other candidates, it is determined whether or not the person is a person by using a complicated discriminator in the latter stage, which has higher discrimination performance.

また、被写体検出部３０２による被写体検出処理においては、必ずしも受信した撮像画像の全体について処理を行う必要はない。例えば、撮像画像のうち特定の領域又は範囲を予め処理対象に定めておき、処理対象の範囲内で被写体が存在するか否かを判定し、被写体を抽出してもよい。また、検出対象とする被写体の最大サイズと最小サイズとに基づく範囲を指定しておき、この範囲から外れた被写体の検出を行わないようにすることもできる。このような処理により、被写体検出処理を高速化することができる。範囲等の指定は、情報処理装置１０４又は操作端末１０５のユーザインタフェースを介して被写体検出部３０２に処理パラメータを設定することにより行うことができる。 Further, in the subject detection process by the subject detection unit 302, it is not always necessary to perform the process on the entire received captured image. For example, a specific region or range of the captured image may be set as a processing target in advance, it may be determined whether or not a subject exists within the processing target range, and the subject may be extracted. It is also possible to specify a range based on the maximum size and the minimum size of the subject to be detected so that the subject outside this range is not detected. By such processing, the subject detection processing can be speeded up. The range and the like can be specified by setting processing parameters in the subject detection unit 302 via the user interface of the information processing device 104 or the operation terminal 105.

Ｓ１６０３では、軌跡管理部３１１が、Ｓ１６０１で取得された被写体から被写体に関する情報を管理情報として被写体単位で軌跡管理部３１１へ記録する。被写体情報は被写体検出部３０２から送信される被写***置情報を時刻ごとに記録するため被写体の移動軌跡が取得できる。また被写体の外接矩形を管理しているため、同時刻における他の被写体の位置及び外接矩形情報により、被写体間における接近度合い、又は接触を判定することができる。被写体間の接触は、各被写体の外接矩形の重なりの有無により判定を行う。被写体間の接近は、被写***置又は外接矩形と、他の被写体の被写***置又は外接矩形との間の距離が所定値以内のときに接近と判定する。被写体間の関連については、被写体外接矩形に換え被写体検出部３０２で被写体の輪郭検出を行い得た被写体輪郭に基づき行うことでより正確に判定することができる。
又は、被写体間が接近又は接触した状態が一定時間以上継続した場合に被写体間で接近又は接触したと判断するようにしてもよい。このように一定時間以上継続した場合のみ判断することにより判断の見逃しは増加するが精度を向上させることができる。また又は、人物の所持する荷物が人物間の接触時に荷物を所持する人物が入れ替わった場合は荷物を受け渡したとして判断できる。
Ｓ１６０３で行った被写体間の接触、又は接近といった判定結果は、関連被写体情報７０４として軌跡管理部３１１へ登録される。 In S1603, the locus management unit 311 records the information about the subject from the subject acquired in S1601 as management information in the locus management unit 311 for each subject. As the subject information, the subject position information transmitted from the subject detection unit 302 is recorded for each time, so that the movement trajectory of the subject can be acquired. Further, since the circumscribed rectangle of the subject is managed, the degree of approach or contact between the subjects can be determined from the position of another subject and the circumscribed rectangle information at the same time. The contact between the subjects is determined by the presence or absence of overlapping of the circumscribed rectangles of each subject. The approach between the subjects is determined to be approaching when the distance between the subject position or the extrinsic rectangle and the subject position or the extrinsic rectangle of another subject is within a predetermined value. The relationship between the subjects can be determined more accurately by changing to the subject extrinsic rectangle and performing the contour detection of the subject by the subject detection unit 302 based on the subject contour.
Alternatively, when the state in which the subjects are approaching or in contact continues for a certain period of time or longer, it may be determined that the subjects are approaching or in contact with each other. By making a judgment only when the judgment is continued for a certain period of time or longer in this way, the oversight of the judgment is increased, but the accuracy can be improved. Alternatively, if the person carrying the baggage is replaced when the person carrying the baggage is in contact with each other, it can be determined that the baggage has been delivered.
The determination result such as contact or approach between subjects performed in S1603 is registered in the locus management unit 311 as related subject information 704.

Ｓ１６０４では、特徴量取得部３０３が、Ｓ１６０２で取得した被写体領域画像から特徴量を抽出する抽出処理を行う。例えば、被写体が人物である場合には、特徴量取得部３０３は、被写体領域である人物領域から顔検出処理を行って顔領域を特定し、顔領域から顔特徴量を抽出する。顔検出処理は、画像から目、口等のエッジを検出して人物の顔の特徴部分を検出する処理を行う。即ち、顔検出処理では、顔位置、顔の大きさ、顔の確からしさ等から顔領域を検出する。
Ｓ１６０５では、照合部３０６が、Ｓ１６０４で取得した特徴量と、特定被写体情報管理部３０５に保持されている被写体情報における特徴量とを照合し、類似度を算出する。例えば、検出しようとする被写体が図８に示す登録者リスト１に含まれる人物である場合、照合部３０６は、Ｓ１６０４で取得した特徴量としての顔特徴量と、登録者リスト８００に登録されている各人物の特徴量８０４とを順に比較して、それぞれについて類似度を算出する。 In S1604, the feature amount acquisition unit 303 performs an extraction process for extracting the feature amount from the subject area image acquired in S1602. For example, when the subject is a person, the feature amount acquisition unit 303 performs face detection processing from the person area which is the subject area to specify the face area, and extracts the face feature amount from the face area. The face detection process is a process of detecting edges such as eyes and mouth from an image to detect a characteristic portion of a person's face. That is, in the face detection process, the face region is detected from the face position, the size of the face, the certainty of the face, and the like.
In S1605, the collation unit 306 collates the feature amount acquired in S1604 with the feature amount in the subject information held in the specific subject information management unit 305, and calculates the similarity. For example, when the subject to be detected is a person included in the registrant list 1 shown in FIG. 8, the collation unit 306 is registered in the face feature amount as the feature amount acquired in S1604 and the registrant list 800. The feature amount 804 of each person is compared in order, and the degree of similarity is calculated for each.

Ｓ１６０６では、照合部３０６が、特定被写体情報管理部３０５に登録されている特定被写体と同一とみなされる被写体が検出されたか否かの判定を行う。判定は、Ｓ１６０５で算出した類似度が所定の類似度閾値以上となるかどうかに基づく。具体的に図８のリストを用いた場合では、登録者リスト８００に登録されている各人物の特徴量８０４と比較して算出された類似度のうち、閾値以上となった特徴量８０４があれば、特徴量８０４に対応する人物が判定対象の撮像画像に写っている人物とみなすことができるので、登録人物が検出されたことになる。一方、類似度が閾値以上となる特徴量８０４が存在しない場合には、撮像画像に写っている人物は、登録人物ではないとみなすことができる。類似度が閾値以上になる人物が複数存在する場合には、照合部３０６は、類似度がより高い人物を選択する。また、複数の登録画像が存在する場合には、照合部３０６は、画像ごとに算出された特徴量との比較を行い、算出された類似度の平均値がより高くなる人物を選択してもよい。
Ｓ１６０６において、照合部３０６が登録被写体を検出したと判定される場合、処理はＳ１６０７に進む。一方、照合部３０６が登録被写体を検出していないと判定される場合、処理はＳ１６１０に進む。Ｓ１６０７では、アラーム作成部３０９が、登録された被写体が検出されたことを操作端末１０５において報知（画面表示）するためのアラーム表示情報の作成を行う。このアラーム表示情報は、アラーム情報管理部３０８で設定された条件を満たす検出結果について生成される。 In S1606, the collation unit 306 determines whether or not a subject deemed to be the same as the specific subject registered in the specific subject information management unit 305 has been detected. The determination is based on whether or not the similarity calculated in S1605 is equal to or greater than a predetermined similarity threshold. Specifically, when the list of FIG. 8 is used, among the similarity calculated by comparing with the feature amount 804 of each person registered in the registrant list 800, the feature amount 804 that is equal to or higher than the threshold value is For example, since the person corresponding to the feature amount 804 can be regarded as the person appearing in the captured image to be determined, the registered person is detected. On the other hand, when the feature amount 804 whose similarity is equal to or higher than the threshold value does not exist, the person shown in the captured image can be regarded as not a registered person. When there are a plurality of persons whose similarity is equal to or higher than the threshold value, the collation unit 306 selects a person having a higher degree of similarity. Further, when there are a plurality of registered images, the collation unit 306 compares with the feature amount calculated for each image, and even if a person having a higher average value of the calculated similarity is selected. Good.
If it is determined in S1606 that the collation unit 306 has detected the registered subject, the process proceeds to S1607. On the other hand, if it is determined that the collation unit 306 has not detected the registered subject, the process proceeds to S1610. In S1607, the alarm creation unit 309 creates alarm display information for notifying (screen display) on the operation terminal 105 that the registered subject has been detected. This alarm display information is generated for the detection result that satisfies the condition set by the alarm information management unit 308.

Ｓ１６０８において、通信部３１４が、Ｓ１６０７で作成したアラーム表示情報を操作端末１０５へ送信する。
Ｓ１６０８における送信では、生成したアラーム表示情報を外部装置である操作端末１０５に送信する場合を記載したが、画像解析サーバ１０４がディスプレイ等の表示装置を有する場合に、表示装置にも表示してもよい。 In S1608, the communication unit 314 transmits the alarm display information created in S1607 to the operation terminal 105.
In the transmission in S1608, the case where the generated alarm display information is transmitted to the operation terminal 105 which is an external device is described, but when the image analysis server 104 has a display device such as a display, it may be displayed on the display device as well. Good.

Ｓ１６０９では、関連被写体判定部３１０が、Ｓ１６０６で検出された被写体について関連被写体の判別処理を行う。
関連被写体判定部３１０は、Ｓ１６０６で検出された特定被写体について、図４における全ての種類（Event type）の関連被写体情報７０４の関連被写体を関連被写体と判断する。
ここで関連被写体は全ての関連被写体情報７０４の関連被写体としたが、関連オブジェクトの種類により特定の条件の関連被写体のみをＳ１６０６で検出された被写体についての関連被写体とするようにしてもよい。
例えば、関連被写体を接触のみと設定する場合は、全ての関連被写体でなく種類（Event type）が接触の関連被写体をＳ１６０６で検出された被写体についての関連被写体とする。
関連とする被写体の設定は操作端末１０５から画像解析サーバ１０４に対して情報を入力することができる。また関連とする被写体の設定は操作端末１０５で保存してもよいし画像解析サーバ１０４で保存するようにしてもよい。
ここで本実施形態においては関連被写体の抽出をＳ１６０３で行うが、Ｓ１６０６で特定被写体を検出したときに特定被写体の関連被写体を関連被写体情報７０４から抽出するようにしてもよい。 In S1609, the related subject determination unit 310 performs a related subject determination process for the subject detected in S1606.
Regarding the specific subject detected in S1606, the related subject determination unit 310 determines that the related subject of the related subject information 704 of all types (Event type) in FIG. 4 is the related subject.
Here, the related subject is the related subject of all the related subject information 704, but depending on the type of the related object, only the related subject under specific conditions may be set as the related subject for the subject detected in S1606.
For example, when the related subject is set to contact only, the related subject whose type (Event type) is contact is set as the related subject for the subject detected in S1606 instead of all the related subjects.
Information can be input from the operation terminal 105 to the image analysis server 104 for the setting of the related subject. Further, the setting of the related subject may be saved in the operation terminal 105 or may be saved in the image analysis server 104.
Here, in the present embodiment, the related subject is extracted in S1603, but when the specific subject is detected in S1606, the related subject of the specific subject may be extracted from the related subject information 704.

Ｓ１６１０で、関連被写体判定部３１０は、抽出した関連被写体の存在する時刻範囲に基づき録画映像に対しての録画保護範囲を決定する。
Ｓ１６１１で、録画制御部３１２は、Ｓ１６１０で決定した録画保護範囲に基づき、画像録画サーバ１０３で録画保護制御を行うための録画制御情報を通信部３１４へ渡す。
また、録画制御部３１２は、定期削除管理部３１３から定期削除情報を受信し、画像録画サーバ１０３で録画定期削除処理を行うための削除制御情報を通信部３１４へ渡す。
画像録画サーバ１０３は、録画映像制御部４０３で、受け取った録画保護範囲情報及び削除制御情報を基に記録部４０２に対して録画映像の保存及び削除処理を行う。
Ｓ１６１２では、録画制御部３１２は、本処理を継続するか否かを判別し、継続する場合はＳ１６０１へ戻り、継続しない場合は本処理を終了する。 In S1610, the related subject determination unit 310 determines the recording protection range for the recorded video based on the time range in which the extracted related subject exists.
In S1611, the recording control unit 312 passes the recording control information for performing the recording protection control on the image recording server 103 to the communication unit 314 based on the recording protection range determined in S1610.
Further, the recording control unit 312 receives the periodic deletion information from the periodic deletion management unit 313, and passes the deletion control information for performing the recording periodic deletion process on the image recording server 103 to the communication unit 314.
The image recording server 103 causes the recorded video control unit 403 to save and delete the recorded video in the recording unit 402 based on the received recording protection range information and deletion control information.
In S1612, the recording control unit 312 determines whether or not to continue this process, returns to S1601 if it continues, and ends this process if it does not continue.

次に図１１を参照して、アラーム情報管理部３０８で管理するアラーム設定項目について説明する。図１１はアラーム設定リストであり、アラーム情報管理部３０８で管理するアラーム条件設定の一例である。アラーム設定は画像解析サーバ１０４が保持する情報であり、アラームＩＤ１００１、リストＩＤ１００２、アラーム種別１００３、優先度１００４、対象カメラ１００５、アラーム閾値１００６の項目が含まれる。
アラームＩＤ１００１はアラーム設定に対して一意に割り当てられ、アラームを識別するための識別情報である。リストＩＤ１００２は、アラーム設定が適用されるリストＩＤを示し、図９のリストＩＤ９０１と共通の識別情報が用いられる。図１１の設定では登録者リストＩＤ「００１」の登録者が検出された際はアラームＩＤ「１」が出力される。
アラーム種別１００３には、撮像画像を解析して検出する内容が登録される。本実施形態では人物検出を行っているため設定値として「Human Detection」が設定されている。画像解析サーバ１０４で他の画像解析を行い、その結果をアラームとして通知する場合には、対応する解析種別を設定することができる。例えば画像解析サーバ１０４で人物が侵入禁止エリアに侵入したことを検知し、それをアラームとして出力することもできる。 Next, with reference to FIG. 11, the alarm setting items managed by the alarm information management unit 308 will be described. FIG. 11 is an alarm setting list, which is an example of alarm condition setting managed by the alarm information management unit 308. The alarm setting is information held by the image analysis server 104, and includes items of alarm ID 1001, list ID 1002, alarm type 1003, priority 1004, target camera 1005, and alarm threshold value 1006.
The alarm ID 1001 is uniquely assigned to the alarm setting and is identification information for identifying the alarm. The list ID 1002 indicates a list ID to which the alarm setting is applied, and the identification information common to the list ID 901 in FIG. 9 is used. In the setting of FIG. 11, the alarm ID “1” is output when the registrant of the registrant list ID “001” is detected.
In the alarm type 1003, the content to be detected by analyzing the captured image is registered. In this embodiment, since the person is detected, "Human Detection" is set as the set value. When another image analysis is performed by the image analysis server 104 and the result is notified as an alarm, the corresponding analysis type can be set. For example, the image analysis server 104 can detect that a person has invaded the intrusion prohibited area and output it as an alarm.

優先度１００４には、出力するアラームの優先度を示す値が設定される。優先度１００４は、リストＩＤ１００２に登録されるリストの種別に対応付けられている。よって、操作端末１０５上でアラーム表示画面に優先度の表示を含めることで、どのリストに登録されている人物についてアラームが出力されたのかを把握することができる。優先度は、アラームに対する優先度の高低を操作者が認識することを可能とする。例えば、アラームとしての緊急性が高いものほど優先度を高くすることができる。図９に示したリストとの関連では、リストＩＤ９０１が００２の要注意人物リストには優先度Ｈｉｇｈを割り当て、００１の登録者リスト１にはＭｉｄｄｌｅを割り当て、００３の従業員リストにはＬｏｗを割り当てることができる。また、優先度に応じて操作端末１０５側で別の警報装置へ通知する等のシステムを導入することもできる。 A value indicating the priority of the alarm to be output is set in the priority 1004. The priority 1004 is associated with the type of the list registered in the list ID 1002. Therefore, by including the priority display on the alarm display screen on the operation terminal 105, it is possible to grasp which list the person registered in which list has the alarm output. The priority makes it possible for the operator to recognize the high and low priority for the alarm. For example, the higher the urgency of an alarm, the higher the priority. In relation to the list shown in FIG. 9, priority High is assigned to the list of people requiring attention with list ID 901 002, Midle is assigned to the registrant list 1 of 001, and Low is assigned to the employee list of 003. be able to. Further, it is also possible to introduce a system such as notifying another alarm device on the operation terminal 105 side according to the priority.

対象カメラ１００５には、アラーム生成の対象となるカメラ１０２を特定する値が登録される。ネットワークカメラシステム１０に接続されているカメラ１０２のすべてを対象とする場合は「all」を示す値が登録される。一部のカメラ１０２のみを指定する場合には、カメラを特定するためのカメラＩＤ等を登録することができる。アラーム閾値１００６には、照合部３０６が算出した類似度に基づきアラームを生成する場合に用いるアラーム閾値が登録される。アラーム閾値１００６は、照合部３０６が登録された被写体が検出されたか否かを判定する際に用いる閾値とは異なる。アラーム閾値１００６は、照合部３０６で登録人物と判定された人物について、アラーム生成の有無、アラーム種別の変更等を行うかどうかを判定するために用いられる閾値である。よって、リスト００１、又はリスト００２の人物が検出されたと照合部３０６が判定した場合には、アラーム閾値は０であるので、全てがアラーム生成の対象となる。アラーム閾値１００６を設定することにより、例えば、画像解析処理の設定パラメータは変更せずにアラームの発行制限を行うこと、類似度が高く登録人物の可能性が高い場合に別のアラーム種別のアラーム生成を行うこと等ができる。 A value that identifies the camera 102 that is the target of alarm generation is registered in the target camera 1005. When all the cameras 102 connected to the network camera system 10 are targeted, a value indicating "all" is registered. When only a part of the cameras 102 are specified, a camera ID or the like for identifying the camera can be registered. In the alarm threshold value 1006, an alarm threshold value used when generating an alarm based on the similarity calculated by the collation unit 306 is registered. The alarm threshold value 1006 is different from the threshold value used by the collation unit 306 to determine whether or not the registered subject has been detected. The alarm threshold value 1006 is a threshold value used for determining whether or not to generate an alarm, whether to change the alarm type, or the like for a person determined by the collation unit 306 as a registered person. Therefore, when the collation unit 306 determines that the person in list 001 or list 002 has been detected, the alarm threshold value is 0, and all of them are the targets of alarm generation. By setting the alarm threshold value 1006, for example, the alarm issuance is restricted without changing the setting parameters of the image analysis process, and an alarm of another alarm type is generated when the similarity is high and the possibility of a registered person is high. Etc. can be performed.

図１２は、アラーム表示情報テーブルの一例を示す図である。アラーム表示情報テーブル１１００は画像解析サーバ１０４が保持する情報であり、検出日時１１０１、登録者ＩＤ１１０２、登録名１１０３、アラーム種別１１０４、場所１１０５、カメラＩＤ１１０６、カメラ名１１０７、優先度１１０８、登録リスト名１１０９、類似度１１１０のフィールドを有する。
検出日時１１０１は、カメラ１０２の撮像画像から登録人物が検出された日時である。登録者ＩＤ１１０２は、照合部３０６で検出した人物を識別するための識別情報であり、図８の登録者ＩＤ８０１と対応する値が登録される。登録名１１０３は、照合部３０６で検出した被写体の登録名であり、図８の登録名８０３と対応する値が登録される。アラーム種別は１１０４、アラーム情報管理部３０８の設定条件に基づき作成されたアラームの種類である。場所１１０５は、被写体が検出された画像を撮像したカメラ１０２の設置場所である。カメラＩＤ１１０６は、被写体を検出した画像を撮像したカメラ１０２の識別情報である。カメラ名１１０７は、被写体を検出した画像を撮像したカメラ１０２のカメラ名である。優先度１１０８は、アラーム情報管理部３０８の設定条件に基づき作成されたアラームの優先度である。登録リスト名１１０９は、検出した被写体が含まれるリスト名である。類似度１１１０は、被写体を検出した際に算出した類似度である。
このようなアラーム表示情報は、画像解析サーバ１０４から操作端末１０５へアラーム表示を操作端末１０５で行うための表示情報として送信され、図１５に示すアラーム表示処理手順にしたがって表示される。 FIG. 12 is a diagram showing an example of an alarm display information table. The alarm display information table 1100 is information held by the image analysis server 104, and is the detection date and time 1101, the registrant ID 1102, the registration name 1103, the alarm type 1104, the location 1105, the camera ID 1106, the camera name 1107, the priority 1108, and the registration list name. It has fields of 1109 and 1110 similarity.
The detection date and time 1101 is the date and time when the registered person is detected from the image captured by the camera 102. The registrant ID 1102 is identification information for identifying a person detected by the collation unit 306, and a value corresponding to the registrant ID 801 of FIG. 8 is registered. The registered name 1103 is a registered name of the subject detected by the collation unit 306, and a value corresponding to the registered name 803 in FIG. 8 is registered. The alarm type is 1104, which is the type of alarm created based on the setting conditions of the alarm information management unit 308. The place 1105 is a place where the camera 102 that captures the image in which the subject is detected is installed. The camera ID 1106 is identification information of the camera 102 that has captured the image in which the subject is detected. The camera name 1107 is the camera name of the camera 102 that captured the image in which the subject was detected. Priority 1108 is an alarm priority created based on the setting conditions of the alarm information management unit 308. The registered list name 1109 is a list name including the detected subject. The similarity 1110 is the similarity calculated when the subject is detected.
Such alarm display information is transmitted from the image analysis server 104 to the operation terminal 105 as display information for displaying the alarm on the operation terminal 105, and is displayed according to the alarm display processing procedure shown in FIG.

次に図１３は、カメラ情報テーブル１２００の一例を示す図である。カメラ情報テーブル１２００は、カメラＩＤ１２０１、カメラ名１２０２、場所１２０３、ＩＰアドレス１２０４、領域１２０５、マップＩＤ１２０６、マップ位置１２０７の項目を有する。カメラＩＤ１２０１には、個々のカメラ１０２を識別する情報が登録される。カメラ名１２０２には、個々のカメラに与えられる名称が登録される。場所１２０３には、カメラが配置される場所を示す情報が登録される。ＩＰアドレス１２０４には、個々のカメラに与えられたＩＰアドレスが登録される。これによりカメラ１０２は外部装置と直接に通信することができる。領域１２０５には、カメラが撮像する領域を示す情報が登録される。マップＩＤ１２０６には、表示情報で用いられるマップ画像を特定するための識別情報が登録される。マップ位置１２０７は、マップＩＤ１２０６により特定されるマップ画像上におけるカメラ相対位置を示す情報が登録される。これらの情報は画像解析サーバ１０４が保持する情報であり、カメラ名１２０２、場所１２０３、領域１２０５、マップ位置１２０７は、操作端末１０５からも変更ができる。また、アラーム作成部３０９は、情報をアラーム作成時に参照し、作成したアラーム表示情報を操作端末１０５へ送信する。 Next, FIG. 13 is a diagram showing an example of the camera information table 1200. The camera information table 1200 has items of camera ID 1201, camera name 1202, location 1203, IP address 1204, area 1205, map ID 1206, and map position 1207. Information that identifies each camera 102 is registered in the camera ID 1201. The name given to each camera is registered in the camera name 1202. Information indicating the location where the camera is arranged is registered in the location 1203. The IP address given to each camera is registered in the IP address 1204. As a result, the camera 102 can directly communicate with the external device. In the area 1205, information indicating an area imaged by the camera is registered. Identification information for identifying the map image used in the display information is registered in the map ID 1206. In the map position 1207, information indicating the camera relative position on the map image specified by the map ID 1206 is registered. These pieces of information are information held by the image analysis server 104, and the camera name 1202, location 1203, area 1205, and map position 1207 can also be changed from the operation terminal 105. Further, the alarm creation unit 309 refers to the information at the time of alarm creation, and transmits the created alarm display information to the operation terminal 105.

次に図１４は、マップ情報テーブル１４００の一例を示す図である。マップ情報テーブル１４００は、マップＩＤ１４０１、マップ名１４０２、画像データ１４０３の項目を有する。マップＩＤ１４０１は、マップを一意に特定するための識別情報が登録され、カメラ情報テーブル１２００のマップＩＤ１２０６と対応する。マップ名１４０２には、マップの名称が登録される。画像データ１４０３は、マップＩＤで識別されるマップ画像のデータが登録される。本テーブルを参照することにより、マップＩＤが特定されれば、対応するマップ画像を取得することが可能となる。マップ情報テーブル１４００は、画像解析サーバ１０４が保持していてもよいし、操作端末１０５が保持していてもよい。また、両装置がそれぞれ保持していてもよい。 Next, FIG. 14 is a diagram showing an example of the map information table 1400. The map information table 1400 has items of map ID 1401, map name 1402, and image data 1403. Identification information for uniquely identifying the map is registered in the map ID 1401, and the map ID 1401 corresponds to the map ID 1206 in the camera information table 1200. The name of the map is registered in the map name 1402. In the image data 1403, the map image data identified by the map ID is registered. By referring to this table, if the map ID is specified, the corresponding map image can be acquired. The map information table 1400 may be held by the image analysis server 104 or may be held by the operation terminal 105. Moreover, both devices may hold each.

次に、操作端末１０５が実行するアラーム表示処理手順について、図１５のフローチャートを参照しながら説明する。Ｓ１３０１において、操作端末１０５は、画像解析サーバ１０４からアラーム表示情報を受信する。Ｓ１３０２において、操作端末１０５は、操作端末１０５の表示装置にアラーム表示画面を表示するために、Ｓ１３０１で受信したアラーム表示情報を解析する。Ｓ１３０３において、Ｓ１３０２における解析結果に基づき、アラーム表示情報に含める各種の情報を取得する。情報は、画像録画サーバ１０３、又は画像解析サーバ１０４から取得することもできるし、操作端末１０５自体が保持している場合には操作端末１０５が保持する情報を利用することもできる。例えば、操作端末１０５は、検出日時１１０１及びカメラＩＤ１１０６に基づいてアラーム発生時の撮像画像を画像録画サーバ１０３から取得する。また、操作端末１０５は、受信したアラーム表示情報の登録者ＩＤ１１０２に基づき、登録者リストからアラーム表示に含める顔画像を取得する。また、操作端末１０５は、アラーム表示情報のカメラＩＤ１１０６に基づき、カメラ情報テーブル１２００に従いマップＩＤ１２０６及びマップ位置１２０７を取得する。また、操作端末１０５は、取得したマップＩＤ１２０６とマップ情報テーブル１４００とに基づき、対応するマップ画像データを取得する。 Next, the alarm display processing procedure executed by the operation terminal 105 will be described with reference to the flowchart of FIG. In S1301, the operation terminal 105 receives the alarm display information from the image analysis server 104. In S1302, the operation terminal 105 analyzes the alarm display information received in S1301 in order to display the alarm display screen on the display device of the operation terminal 105. In S1303, various information to be included in the alarm display information is acquired based on the analysis result in S1302. The information can be acquired from the image recording server 103 or the image analysis server 104, or if the operation terminal 105 itself holds the information, the information held by the operation terminal 105 can be used. For example, the operation terminal 105 acquires an image captured when an alarm occurs from the image recording server 103 based on the detection date and time 1101 and the camera ID 1106. Further, the operation terminal 105 acquires a face image to be included in the alarm display from the registrant list based on the registrant ID 1102 of the received alarm display information. Further, the operation terminal 105 acquires the map ID 1206 and the map position 1207 according to the camera information table 1200 based on the camera ID 1106 of the alarm display information. Further, the operation terminal 105 acquires the corresponding map image data based on the acquired map ID 1206 and the map information table 1400.

Ｓ１３０４では、操作端末１０５は、以上により取得した情報に基づいてアラーム表示画面を操作端末１０５の表示装置上に表示する。アラーム表示画面には、アラーム表示情報に含まれる検出日時、アラーム種別等のテキストデータの他、検出した被写体の画像、被写体が検出された画像をカメラ１０２の位置により、マップ上において被写体が検出された位置を示すマップ画像等を含めることができる。Ｓ１３０４におけるアラーム画面表示では、Ｓ１３０３で取得した情報を全て表示してもよいが、操作者の設定、又は操作に応じて、所定の情報に絞り込んで表示を行ったり、段階的に情報を提供したりするようにしてもよい。
また、アラーム表示情報を画像解析サーバ１０４がディスプレイ等の表示装置に表示する場合には、画像解析サーバ１０４が図１５の処理を実行することができる。 In S1304, the operation terminal 105 displays the alarm display screen on the display device of the operation terminal 105 based on the information acquired as described above. On the alarm display screen, in addition to text data such as the detection date and time and alarm type included in the alarm display information, the image of the detected subject and the image in which the subject is detected are detected on the map according to the position of the camera 102. A map image or the like showing the position can be included. In the alarm screen display in S1304, all the information acquired in S1303 may be displayed, but the information may be narrowed down to a predetermined information or provided step by step according to the setting or operation of the operator. You may try to do it.
Further, when the image analysis server 104 displays the alarm display information on a display device such as a display, the image analysis server 104 can execute the process shown in FIG.

次に、図１６を参照して、画像録画サーバ１０３の録画状態を説明する。
図１６（Ａ）は定期削除管理部３１３の定期削除実行処理前の録画状態を説明するための模式図である。
図１６（Ａ）において、録画バー１５００は画像録画サーバ１０３のカメラ１０２の画像の録画状態を示す録画バーである。録画バー１５００は各時刻における録画の有無を示しており、状態１５１１は、録画データが存在し録画されていることを示す。時刻１５１２が現在時刻を示しており、録画バーの右が新しく左が古い時刻である。状態１５１３は録画データが存在しないことを示している。時刻１５１２よりも未来の状態であるため状態１５１３には録画データは存在しない。 Next, the recording state of the image recording server 103 will be described with reference to FIG.
FIG. 16A is a schematic diagram for explaining the recording state of the periodic deletion management unit 313 before the periodic deletion execution process.
In FIG. 16A, the recording bar 1500 is a recording bar showing the recording state of the image of the camera 102 of the image recording server 103. The recording bar 1500 indicates the presence or absence of recording at each time, and the state 1511 indicates that the recorded data exists and is recorded. Time 1512 indicates the current time, and the right side of the recording bar is the new time and the left side is the old time. The state 1513 indicates that there is no recorded data. Since the state is in the future after the time 1512, there is no recorded data in the state 1513.

図１６（Ｂ）は定期削除管理部３１３の定期削除実行処理後の録画状態を示す図である。図１６（Ｂ）では説明のため録画制御部３１２の録画保護制御が行われていない状態とする。
図１６（Ｂ）において、時刻１５２３は定期削除が実行された時刻である。本実施形態では、時刻１５２３は、時刻１５１２から１週間前の午前０時０分である。
定期削除管理部３１３の定期削除実行処理により、状態１５２２は録画データが削除されており、状態１５２１は定期削除範囲外であるため録画データは削除されない。
図１６（Ｃ）は録画制御部３１２の録画保護制御が行われた場合の定期削除管理部３１３の定期削除実行処理後の録画状態を示す図である。
図１６（Ｃ）において、時刻１５３２はアラーム作成部３０９によりアラームが発生した時刻である。範囲１５３３は、アラーム発生対象の被写体の追尾時間である。状態１５３１は、アラーム発生対象の被写体の追尾時間が録画保護範囲であるため、定期削除管理部３１３の定期削除実行処理で削除されず録画データが保護される。 FIG. 16B is a diagram showing a recording state after the periodic deletion execution process of the periodic deletion management unit 313. In FIG. 16B, for the sake of explanation, it is assumed that the recording protection control of the recording control unit 312 is not performed.
In FIG. 16B, time 1523 is the time when the periodic deletion was executed. In the present embodiment, the time 1523 is 0:00 am one week before the time 1512.
The recorded data is deleted in the state 1522 by the periodic deletion execution process of the periodic deletion management unit 313, and the recorded data is not deleted in the state 1521 because it is out of the periodic deletion range.
FIG. 16C is a diagram showing a recording state after the periodic deletion execution process of the periodic deletion management unit 313 when the recording protection control of the recording control unit 312 is performed.
In FIG. 16C, time 1532 is the time when the alarm was generated by the alarm creation unit 309. The range 1533 is the tracking time of the subject for which the alarm is generated. In the state 1531, since the tracking time of the subject for which the alarm is generated is within the recording protection range, the recorded data is protected without being deleted by the periodic deletion execution process of the periodic deletion management unit 313.

図１６（Ｄ）は録画保護範囲を一次関連被写体までとした場合の録画状態を示す図である。
一次関連被写体とは、被写体の被写体情報の関連被写体で管理される被写体である。例えば図４のように被写体（Object:32）の関連被写体は、被写体ＩＤ５１、６０、８５の被写体である。
図１６（Ｄ）において範囲１５４２及び範囲１５４３は、範囲１５３３の被写体と関連する被写体の追尾時間である。よって状態１５４１は、範囲１５４２と範囲１５４３と範囲１５３３を全て含む時間であり定期削除されず画像が保護されている状態である。 FIG. 16D is a diagram showing a recording state when the recording protection range is set to the primary related subject.
The primary related subject is a subject managed by the related subject in the subject information of the subject. For example, as shown in FIG. 4, the related subject of the subject (Object: 32) is the subject of the subject IDs 51, 60, and 85.
In FIG. 16D, the range 1542 and the range 1543 are the tracking times of the subject related to the subject in the range 1533. Therefore, the state 1541 is a state in which the range 1542, the range 1543, and the range 1533 are all included, and the image is protected without being periodically deleted.

図１６（Ｅ）は録画保護範囲を二次関連被写体までとした場合の録画状態を示す図である。
二次関連被写体とは、被写体の関連被写体と関連する被写体である。例えば図４のように被写体（Object:32）の関連被写体ＩＤを５１、６０、８５とする。すると被写体（Object:32）の二次関連被写体とは、被写体ＩＤ：５１、６０、８５が持つ被写体情報の関連被写体情報７０４に記載されている被写体が二次関連被写体となる。
図１６（Ｅ）において範囲１５５２及び範囲１５５３は、範囲１５５１の被写体の二次関連被写体の追尾時間である。よって範囲１５５１は、範囲１５３３の被写体の一次関連被写体及び二次関連被写体の追尾範囲を全て含む時間が録画保護され定期削除から除外される。 FIG. 16E is a diagram showing a recording state when the recording protection range is set to the secondary related subject.
The secondary related subject is a subject related to the related subject of the subject. For example, as shown in FIG. 4, the related subject IDs of the subject (Object: 32) are 51, 60, and 85. Then, as the secondary related subject of the subject (Object: 32), the subject described in the related subject information 704 of the subject information of the subject IDs 51, 60, and 85 becomes the secondary related subject.
In FIG. 16E, the range 1552 and the range 1553 are the tracking times of the secondary related subject of the subject in the range 1551. Therefore, the range 1551 is excluded from the periodic deletion because the time including the entire tracking range of the primary-related subject and the secondary-related subject in the range 1533 is protected by recording.

図１６（Ｆ）は録画画像品質を関連被写体に応じて変化させて保存することを例示する図である。
範囲１５６２は、特定被写体が存在せず関連被写体又は二次関連被写体のみが存在する時間範囲である。図１６（Ｆ）では１５６１は通常の録画保護処理に加えて録画品質を下げるように変換して保存する。つまり重要度の高いものは高画質で、そうでないものは低画質で保存することで必要な記憶媒体容量を低減することができる。録画品質とは映像のフレームレート、解像度、圧縮率である。又は画面内の領域を被写体の存在する周囲の範囲に絞るようにしてもよい。 FIG. 16F is a diagram illustrating that the quality of the recorded image is changed and stored according to the related subject.
The range 1562 is a time range in which a specific subject does not exist and only a related subject or a secondary related subject exists. In FIG. 16F, the 1561 is converted and saved so as to lower the recording quality in addition to the normal recording protection processing. In other words, the required storage medium capacity can be reduced by storing high-quality items with high image quality and low-quality items with low image quality. Recording quality is the frame rate, resolution, and compression rate of video. Alternatively, the area in the screen may be narrowed down to the surrounding area where the subject exists.

本実施形態では、検出イベントに関する関連被写体又は二次関連被写体の映っている映像の範囲を定期削除範囲から除くことで、記憶媒体の容量を抑えつつ検出イベントに関する映像を確認する際に必要な映像が削除されてしまうことを低減することができる。 In the present embodiment, by excluding the range of the image of the related subject or the secondary related subject related to the detection event from the periodic deletion range, the image required for confirming the image related to the detection event while suppressing the capacity of the storage medium. Can be reduced from being deleted.

（変形例）
変形例では、実施形態１と異なる点のみについて説明し、以下で、特に、説明しない限りは、実施形態１と同様であるものとする。
変形例における画像処理システムの動作環境も実施形態１と同じく図２のネットワーク接続構成図を用いる。また、変形例における画像解析サーバ１０４の機能構成も図３に示す図を用いる。
但し変形例では実施形態１と異なり、画像録画サーバ１０３はカメラ１０２の画像を常時録画していない。画像録画サーバ１０３は、アラーム作成部３０９でアラームが作成された場合に録画を開始し、アラームに関する全ての被写体及び関連被写体の追尾が終了したときに録画を停止する。
変形例においても、常時録画でない録画システムにおいても記憶媒体の容量を抑えつつ検出イベントに関する映像を確認する際に必要な映像が記録されていないことを低減することができる。 (Modification example)
In the modified example, only the points different from the first embodiment will be described, and the same as the first embodiment will be described below unless otherwise specified.
As the operating environment of the image processing system in the modified example, the network connection configuration diagram of FIG. 2 is used as in the first embodiment. Further, the figure shown in FIG. 3 is also used for the functional configuration of the image analysis server 104 in the modified example.
However, in the modified example, unlike the first embodiment, the image recording server 103 does not constantly record the image of the camera 102. The image recording server 103 starts recording when an alarm is created by the alarm creation unit 309, and stops recording when tracking of all subjects related to the alarm and related subjects is completed.
In both the modified example and the recording system that is not constantly recorded, it is possible to reduce the fact that the video required for confirming the video related to the detection event is not recorded while suppressing the capacity of the storage medium.

次に、変形例における画像解析サーバ１０４が実行するアラーム制御、録画制御処理について、図１７のフローチャートを参照しながら説明する。
図１７において、Ｓ１７０１〜Ｓ１７０７は、図１０のＳ１６０１〜Ｓ１６０７の処理と同じである。
Ｓ１７０８では、通信部３１４が、Ｓ１７０７で作成したアラーム表示情報を操作端末１０５へ送信する。更に、通信部３１４は、画像録画サーバ１０３に対して録画開始指示を送信する。
画像録画サーバ１０３は、録画映像制御部４０３で、受け取った録画制御情報を基に記録部４０２に対して録画開始処理を行う。 Next, the alarm control and the recording control process executed by the image analysis server 104 in the modified example will be described with reference to the flowchart of FIG.
In FIG. 17, S1701 to S1707 are the same as the processes of S1601 to S1607 of FIG.
In S1708, the communication unit 314 transmits the alarm display information created in S1707 to the operation terminal 105. Further, the communication unit 314 transmits a recording start instruction to the image recording server 103.
The image recording server 103 causes the recorded video control unit 403 to perform recording start processing on the recording unit 402 based on the received recording control information.

Ｓ１７０９では、関連被写体判定部３１０が、Ｓ１７０６で検出された被写体について関連被写体の判別処理を行う。関連被写体判別処理はＳ１６０９と同様の処理を行う。
Ｓ１７１０で、関連被写体判定部３１０は、抽出した関連被写体又はＳ１７０７で作成したアラーム対象の被写体又はその関連被写体を追尾中か否かの判定を行う。Ｓ１７１０で何れかの被写体を追尾中であると判定された場合は、関連被写体判定部３１０は、Ｓ１７１２へ進む。Ｓ１７１０で追尾中の被写体はないと判定された場合は、関連被写体判定部３１０は、Ｓ１７１１へ進む。
Ｓ１７１１で、録画制御部３１２は、画像録画サーバ１０３で行っている録画を停止するための録画制御情報を通信部３１４へ渡す。
画像録画サーバ１０３は、録画映像制御部４０３で、受け取った録画制御情報を基に記録部４０２に対して録画停止処理を行う。
Ｓ１７１２では、録画映像制御部４０３は、本処理を継続するか否かを判別し、継続する場合はＳ１７０１へ戻り、継続しない場合は本処理を終了する。 In S1709, the related subject determination unit 310 performs a related subject determination process for the subject detected in S1706. The related subject discrimination process is the same as that of S1609.
In S1710, the related subject determination unit 310 determines whether or not the extracted related subject, the subject to be alarmed created in S1707, or the related subject is being tracked. If it is determined in S1710 that any subject is being tracked, the related subject determination unit 310 proceeds to S1712. If it is determined in S1710 that there is no subject being tracked, the related subject determination unit 310 proceeds to S1711.
In S1711, the recording control unit 312 passes the recording control information for stopping the recording performed by the image recording server 103 to the communication unit 314.
The image recording server 103 performs a recording stop process on the recording unit 402 based on the received recording control information in the recorded video control unit 403.
In S1712, the recorded video control unit 403 determines whether or not to continue this processing, returns to S1701 if it continues, and ends this processing if it does not continue.

次に、図１８を参照して、画像録画サーバ１０３の録画状態を説明する。
図１８は、録画制御部３１２が録画制御実行後の録画状態を示すための模式図である。
図１８において、１８００は画像録画サーバ１０３のカメラ１０２の画像の録画状態を示す録画バーである。録画バー１８００は各時刻における録画の有無を示す。録画状態１８０５は、録画データが存在し録画されていることを示す。時刻１８０１が現在時刻を示しており、録画バーの右が新しく左が古い時刻である。録画状態１８０６は録画データが存在しないことを示している。
１８０２はアラームが発生したことを示す。範囲１８０３は、アラーム対象被写体が追尾されている範囲を示す。範囲１８０４は、アラーム対象者の関連被写体が追尾されている範囲を示す。 Next, the recording state of the image recording server 103 will be described with reference to FIG.
FIG. 18 is a schematic diagram for the recording control unit 312 to show the recording state after the recording control is executed.
In FIG. 18, 1800 is a recording bar showing the recording state of the image of the camera 102 of the image recording server 103. The recording bar 1800 indicates the presence or absence of recording at each time. The recording state 1805 indicates that the recorded data exists and is being recorded. Time 1801 indicates the current time, and the right side of the recording bar is the new time and the left side is the old time. The recording state 1806 indicates that the recorded data does not exist.
1802 indicates that an alarm has occurred. The range 1803 indicates a range in which the subject subject to the alarm is being tracked. The range 1804 indicates the range in which the related subject of the alarm target person is tracked.

図１８において、録画範囲１０８５は、アラーム発生時刻から録画が開始され、アラーム対象被写体又はアラーム対象被写体の関連被写体の追尾が全て終了した時点（１８０７）で録画が終了していることを示す。また、本変形例は、実施形態１と異なり、アラーム発生時刻から録画を開始するため、アラーム対象被写体の範囲１８０３のアラーム発生１８０２より前の録画はされない。 In FIG. 18, the recording range 1085 indicates that the recording is started from the time when the alarm occurs, and the recording is finished when the tracking of the alarm target subject or the related subject of the alarm target subject is completed (1807). Further, in this modification, unlike the first embodiment, since the recording is started from the alarm occurrence time, the recording before the alarm occurrence 1802 in the range 1803 of the alarm target subject is not performed.

本変形例では、アラーム発生時から録画を開始するとしたがこの限りではない。例えば、カメラ１０２の撮像画像データに対し、画像録画サーバ１０３のＲＡＭ２０３に撮像時刻から数秒間前までの範囲の画像を常時バッファとしてためておく。そしてアラーム発生時にはＲＡＭ２０３内の画像データを記録部４０２でアラーム発生後の録画データと合わせて保存する。このようにすることでアラーム発生時から数秒前までの画像を保存することができる。
以上説明したとおり、本変形例では、常時録画でない録画システムにおいても記憶媒体の容量を抑えつつ検出イベントに関する映像を確認する際に必要な映像が記録されていないことを低減することができる。 In this modification, recording is started when an alarm occurs, but this is not the case. For example, for the captured image data of the camera 102, an image in the range from the imaging time to several seconds before is always stored as a buffer in the RAM 203 of the image recording server 103. Then, when an alarm occurs, the image data in the RAM 203 is saved by the recording unit 402 together with the recorded data after the alarm occurs. By doing so, it is possible to save the image from the time when the alarm occurs to several seconds before.
As described above, in the present modification, it is possible to reduce the fact that the video necessary for confirming the video related to the detection event is not recorded while suppressing the capacity of the storage medium even in the recording system that is not constantly recorded.

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 <Other Embodiments>
The present invention supplies a system or device via a network or storage medium with a program that realizes one or more functions of the above-described embodiment. It can also be realized by a process in which one or more processors in the computer of the system or apparatus reads and executes a program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。 Although an example of the embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment.

１０４ 画像解析サーバ
２０１ ＣＰＵ 104 Image analysis server 201 CPU

Claims (13)

撮像画像より被写体を検出する検出手段と、
特定の被写体と関連する関連被写体を判定する判定手段と、
前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定手段と、
を有することを特徴とする情報処理装置。 A detection means that detects the subject from the captured image,
Judgment means for determining a related subject related to a specific subject,
A determination means for determining the recording protection range of the recorded video based on the time range in which the related subject exists, and
An information processing device characterized by having. 前記特定の被写体が検出されたか否かに基づき、前記関連被写体に関する前記録画映像の画像品質を変更する変更手段を更に有することを特徴とする請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising a changing means for changing the image quality of the recorded video of the related subject based on whether or not the specific subject is detected. 撮像画像より被写体を検出する検出手段と、
特定の被写体と関連する関連被写体を判定する判定手段と、
前記特定の被写体及び前記関連被写体の何れかを追尾中の場合は、録画を継続するよう制御し、前記特定の被写体及び前記関連被写体の何れも追尾中でない場合は、録画を停止するよう制御する制御手段と、
を有することを特徴とする情報処理装置。 A detection means that detects the subject from the captured image,
Judgment means for determining a related subject related to a specific subject,
When either the specific subject or the related subject is being tracked, recording is controlled to continue, and when neither the specific subject nor the related subject is being tracked, recording is controlled to be stopped. Control means and
An information processing device characterized by having. 前記検出手段により前記特定の被写体が検出された場合、前記判定手段は、前記関連被写体を判定する請求項１乃至３の何れか１項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 3, wherein when the specific subject is detected by the detection means, the determination means determines the related subject. 前記判定手段は、前記特定の被写体と接触した被写体を前記関連被写体と判定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 4, wherein the determination means determines a subject in contact with the specific subject as the related subject. 前記判定手段は、前記特定の被写体と接触し、一定時間以上継続した被写体を前記関連被写体と判定することを特徴とする請求項５に記載の情報処理装置。 The information processing apparatus according to claim 5, wherein the determination means determines a subject that has come into contact with the specific subject and has continued for a certain period of time or more as the related subject. 前記判定手段は、前記特定の被写体に接近した被写体を前記関連被写体と判定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 4, wherein the determination means determines a subject close to the specific subject as the related subject. 前記判定手段は、前記特定の被写体に接近し、一定時間以上継続した被写体を前記関連被写体と判定することを特徴とする請求項７に記載の情報処理装置。 The information processing apparatus according to claim 7, wherein the determination means determines a subject that approaches the specific subject and continues for a certain period of time or longer as the related subject. 前記判定手段は、前記関連被写体と関連する二次関連被写体を判定し、
前記決定手段は、前記関連被写体が存在する時刻範囲と、前記二次関連被写体が存在する時刻範囲と、に基づき、録画映像の録画保護範囲を決定する請求項１に記載の情報処理装置。 The determination means determines a secondary related subject related to the related subject, and determines the secondary related subject.
The information processing device according to claim 1, wherein the determination means determines a recording protection range of a recorded video based on a time range in which the related subject exists and a time range in which the secondary related subject exists. 撮像画像より被写体を検出する検出ステップと、
特定の被写体と関連する関連被写体を判定する判定ステップと、
前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定ステップと、
を含むことを特徴とする情報処理方法。 A detection step that detects the subject from the captured image,
Judgment steps to determine related subjects related to a specific subject,
A determination step of determining the recording protection range of the recorded video based on the time range in which the related subject exists, and
An information processing method characterized by including. 撮像画像より被写体を検出する検出ステップと、
特定の被写体と関連する関連被写体を判定する判定ステップと、
前記特定の被写体、又は前記関連被写体を追尾中の場合は、録画を継続するよう制御し、前記特定の被写体、又は前記関連被写体を追尾中でない場合は、録画を停止するよう制御する制御ステップと、
を含むことを特徴とする情報処理方法。 A detection step that detects the subject from the captured image,
Judgment steps to determine related subjects related to a specific subject,
When the specific subject or the related subject is being tracked, the recording is controlled to be continued, and when the specific subject or the related subject is not being tracked, the recording is controlled to be stopped. ,
An information processing method characterized by including. コンピュータを、
撮像画像より被写体を検出する検出手段と、
特定の被写体と関連する関連被写体を判定する判定手段と、
前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定手段、
として機能させるためのプログラム。 Computer,
A detection means that detects the subject from the captured image,
Judgment means for determining a related subject related to a specific subject,
A determination means for determining the recording protection range of the recorded video based on the time range in which the related subject exists.
A program to function as. コンピュータを、
撮像画像より被写体を検出する検出手段と、
特定の被写体と関連する関連被写体を判定する判定手段と、
前記特定の被写体、又は前記関連被写体を追尾中の場合は、録画を継続するよう制御し、前記特定の被写体、又は前記関連被写体を追尾中でない場合は、録画を停止するよう制御する制御手段、
として機能させるためのプログラム。 Computer,
A detection means that detects the subject from the captured image,
Judgment means for determining a related subject related to a specific subject,
A control means that controls to continue recording when the specific subject or the related subject is being tracked, and to stop recording when the specific subject or the related subject is not being tracked.
A program to function as.
JP2019096917A 2019-05-23 2019-05-23 Information processing device, information processing method, and program Pending JP2020191585A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019096917A JP2020191585A (en) 2019-05-23 2019-05-23 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096917A JP2020191585A (en) 2019-05-23 2019-05-23 Information processing device, information processing method, and program

Publications (1)

Publication Number Publication Date
JP2020191585A true JP2020191585A (en) 2020-11-26

Family

ID=73454793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096917A Pending JP2020191585A (en) 2019-05-23 2019-05-23 Information processing device, information processing method, and program

Country Status (1)

Country Link
JP (1) JP2020191585A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220159585A (en) * 2021-05-26 2022-12-05 (주)블루컴 System for tracking suspicious vehicle and mehtod for tracking suspicious vehicle using therewith

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220159585A (en) * 2021-05-26 2022-12-05 (주)블루컴 System for tracking suspicious vehicle and mehtod for tracking suspicious vehicle using therewith
KR102623593B1 (en) * 2021-05-26 2024-01-11 (주)블루컴 System for tracking suspicious vehicle and mehtod for tracking suspicious vehicle using therewith

Similar Documents

Publication Publication Date Title
US11157778B2 (en) Image analysis system, image analysis method, and storage medium
JP6854881B2 (en) Face image matching system and face image search system
US9477876B2 (en) Person recognition apparatus and method thereof
US11640726B2 (en) Person monitoring system and person monitoring method
JP6915542B2 (en) Information processing equipment, notification system, information transmission method and program
US9891798B2 (en) Face image tracking system
JPWO2008126185A1 (en) Information processing apparatus, information processing program, and information processing method
JP5982557B2 (en) Video surveillance system and image search system
US11450186B2 (en) Person monitoring system and person monitoring method
KR101372860B1 (en) System for searching video and server for analysing video
JP7145622B2 (en) Information processing device, information processing device control method, subject detection system, and program
CN109784231A (en) Safeguard information management method, device and storage medium
JP2005086626A (en) Wide area monitoring device
JP5202419B2 (en) Security system and security method
KR20210043960A (en) Behavior Recognition Based Safety Monitoring System and Method using Artificial Intelligence Technology and IoT
US20210286978A1 (en) Face detection method and server
JP2020191585A (en) Information processing device, information processing method, and program
US10783365B2 (en) Image processing device and image processing system
CN112330742A (en) Method and device for recording activity routes of key personnel in public area
US11676439B2 (en) Face authentication system and face authentication method
JP2021056869A (en) Facility user management system
JP2021106330A (en) Information processing apparatus, information processing method, and program
US20220277642A1 (en) Investigation assistance system and investigation assistance method
US20030004913A1 (en) Vision-based method and apparatus for detecting an event requiring assistance or documentation
JP4120379B2 (en) Behavior monitoring system and program