JP5193944B2

JP5193944B2 - Image processing method

Info

Publication number: JP5193944B2
Application number: JP2009121775A
Authority: JP
Inventors: 秀昭打越; 誠一平井
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2009-05-20
Filing date: 2009-05-20
Publication date: 2013-05-08
Anticipated expiration: 2029-05-20
Also published as: JP2010271817A

Description

本発明は、監視システムにおける画像処理方法に係り、特に顔画像の登録に要する演算処理を軽減する画像処理方法に関する。 The present invention relates to an image processing method in a monitoring system, and more particularly to an image processing method that reduces the arithmetic processing required for registration of a face image.

従来より、小型店舗等では、単体の撮像装置によって直近の監視画像を保存するのが一般的であった。
しかしながら、近年の犯罪発生の増加に伴い、複数台の監視カメラ等の撮像装置が撮影した監視画像を、長期間保存することが求められてきている。そして、撮像装置の普及と、磁気記録装置の大容量化に伴い、容易に多地点の監視画像を長期間保存することが可能となってきた。
一方、このような撮像装置からの監視画像の増加により、監視者の負担が増加してきていた。このような監視者の負担を軽減するため、録画した監視画像から特定の人物や特定のシーンを探し出す技術がいくつか開発されている。たとえば、顔探索等の物体検出技術や、画像の構図や色分布等を用いた類似画像検索技術が用いられている。 Conventionally, in a small store or the like, it has been common to store the latest monitoring image by a single imaging device.
However, with the recent increase in crime occurrence, it has been required to store monitoring images taken by a plurality of imaging devices such as a monitoring camera for a long period of time. With the widespread use of imaging devices and the increase in capacity of magnetic recording devices, it has become possible to easily store multi-point monitoring images for a long period of time.
On the other hand, the burden on the supervisor has increased due to the increase in surveillance images from such imaging devices. In order to reduce the burden on such a supervisor, several techniques for finding a specific person or a specific scene from a recorded monitoring image have been developed. For example, object detection techniques such as face search, and similar image search techniques using image composition, color distribution, and the like are used.

〔従来の監視システムＹの構成〕
ここで、図５を参照して、監視画像を対象とした類似顔画像検索方法を実行する従来の監視システムＹの構成を説明する。
監視システムＹは、撮像装置２０１−１〜２０１−ｎが、ネットワーク２００にて、録画装置２０２と監視端末２０３とに接続されて構成されている。
ネットワーク２００は、各装置を相互に接続しデータ通信を行う専用線、イントラネット、インターネット、無線ＬＡＮ等の通信網である。
撮像装置２０１−１〜２０１−ｎは、撮像した画像に対してデジタル変換処理を行い、変換された画像データをネットワーク２００を介して録画装置２０２へ出力するネットワークカメラ等の撮像装置である。撮像装置２０１−１〜２０１−ｎの接続数は、録画装置２０２の所定の接続台数内で変更可能である。
録画装置２０２は、ＣＰＵ（セントラル・プロセッシング・ユニット、中央処理装置）ＭＰＵ（マイクロ・プロセッシング・ユニット、マイコン）などの制御部や演算部と、ＲＡＭやフラッシュメモリ等の内部メモリと、ＨＤＤ（ハード・ディスク・ドライブ）等の記憶媒体を備える、ネットワークデジタルレコーダ等の録画装置である。録画装置２０２は、撮像装置２０１−１〜２０１−ｎからネットワーク２００を介して入力した静止画や動画像等の画像データを記録媒体に記録する。
監視端末２０３は、ネットワーク２００を介して録画装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のディスプレイモニタに画面表示するＰＣ（パーソナル・コンピュータ）等の装置である。監視端末２０３は、録画画像、検索結果画像、類似画像検索メニューなどを表示するモニタ、キーボードやマウス等のユーザ入力部などを備え、録画装置２０２に記録された画像の再生や、類似画像検索等のユーザインタフェースを提供する。 [Configuration of conventional monitoring system Y]
Here, with reference to FIG. 5, a configuration of a conventional monitoring system Y that executes the similar face image search method for monitoring images will be described.
The monitoring system Y is configured by imaging devices 201-1 to 201-n connected to a recording device 202 and a monitoring terminal 203 via a network 200.
The network 200 is a communication network such as a dedicated line, an intranet, the Internet, or a wireless LAN that connects devices to each other and performs data communication.
The imaging devices 201-1 to 201-n are imaging devices such as a network camera that performs digital conversion processing on captured images and outputs the converted image data to the recording device 202 via the network 200. The number of connections of the imaging devices 201-1 to 201-n can be changed within a predetermined number of connected recording devices 202.
The recording apparatus 202 includes a control unit such as a CPU (Central Processing Unit, MPU) MPU (Micro Processing Unit, Microcomputer), an internal memory such as a RAM or a flash memory, and an HDD (Hardware / Hardware). A recording device such as a network digital recorder provided with a storage medium such as a disk drive. The recording device 202 records image data such as still images and moving images input from the imaging devices 201-1 to 201-n via the network 200 on a recording medium.
The monitoring terminal 203 is a device such as a PC (personal computer) that displays the image data acquired from the recording device 202 via the network 200 on a display monitor such as a liquid crystal display or a CRT. The monitoring terminal 203 includes a monitor that displays a recorded image, a search result image, a similar image search menu, and a user input unit such as a keyboard and a mouse. The monitoring terminal 203 reproduces an image recorded in the recording device 202, searches for a similar image, and the like. Provides a user interface.

ここで、録画装置２０２は、ネットワーク送受信部２０６、画像記録部２０７、画像配信部２０８、画像特徴量記録部２０９、画像特徴量抽出部２１０、画像類似度判定部２１１、顔探索部２１２の部位を備えている。 Here, the recording device 202 includes a network transmission / reception unit 206, an image recording unit 207, an image distribution unit 208, an image feature amount recording unit 209, an image feature amount extraction unit 210, an image similarity determination unit 211, and parts of a face search unit 212. It has.

ネットワーク送受信部２０６は、ネットワーク２００で接続した装置とのデータの送受信を行う部位である。
ネットワーク送受信部２０６が送受信するデータは、撮像装置２０１−１〜２０１−ｎから送信された撮像画像、監視端末２０３からの画像再生要求や検索要求や画像登録処理要求信号、監視端末２０３への配信画像や検索結果等に係るデータである。
ネットワーク送受信部２０６は、撮像装置２０１−１〜２０１−ｎからネットワーク２００を介してネットワーク送受信部２０６に受信された撮像画像を、画像記録部２０７に出力する。
また、ネットワーク送受信部２０６は、監視端末２０３からネットワーク２００を介して受信した画像再生要求信号を画像配信部２０８に、検索要求信号を画像類似度判定部２１１に、画像登録要求信号を画像特徴量記録部２０９に、それぞれ出力する。
また、ネットワーク送受信部２０６は、配信画像を画像配信部２０８から、検索結果を画像類似度判定部２１１から入力し、監視端末２０３へ送信する。 The network transmission / reception unit 206 is a part that transmits / receives data to / from apparatuses connected via the network 200.
Data transmitted / received by the network transmission / reception unit 206 includes captured images transmitted from the imaging devices 201-1 to 201-n, image reproduction requests and search requests from the monitoring terminal 203, image registration processing request signals, and distribution to the monitoring terminals 203. This is data related to images and search results.
The network transmission / reception unit 206 outputs the captured image received by the network transmission / reception unit 206 from the imaging devices 201-1 to 201-n via the network 200 to the image recording unit 207.
The network transmission / reception unit 206 also receives the image reproduction request signal received from the monitoring terminal 203 via the network 200, the image distribution unit 208, the search request signal to the image similarity determination unit 211, and the image registration request signal to the image feature amount. Each is output to the recording unit 209.
In addition, the network transmission / reception unit 206 inputs a distribution image from the image distribution unit 208 and a search result from the image similarity determination unit 211, and transmits them to the monitoring terminal 203.

画像記録部２０７は、撮像装置２０１−１〜２０１−ｎからネットワーク送受信部２０６を介して入力された画像データを、図示しないＨＤＤ等の記録媒体へ記録する部位である。
画像記録部２０７は、画像データを記録する際には、後で画像データを取り出すための情報、例えば、録画装置内でユニークになるように録画開始からフレーム単位で順に割り振ったフレーム番号を同時に記録する。このフレーム番号とは、映像等の動画像のように、所定の期間毎に画像が連続的に記憶される際に、順番に割り振られるような番号のことをいう。
また、画像記録部２０７は、画像が何時に撮像されたものであるか識別するための情報、例えば、画像時刻も同時に記録する。この際の、画像時刻は、例えば、録画装置２０２に内蔵している時計から出力される装置時刻や、撮像装置２０１−１〜２０１−ｎにそれぞれ内蔵している時計から出力される装置時刻である。
また、画像記録部２０７は、画像がどの撮像装置で撮像されたかものであるか識別するための情報、例えば、撮像装置のＩＰアドレスも同時に記録する。 The image recording unit 207 is a part that records image data input from the imaging devices 201-1 to 201-n via the network transmission / reception unit 206 on a recording medium such as an HDD (not shown).
When recording the image data, the image recording unit 207 simultaneously records information for later retrieving the image data, for example, the frame numbers sequentially assigned in units of frames from the start of recording so as to be unique within the recording apparatus. To do. The frame number is a number that is assigned in order when images are continuously stored every predetermined period, such as a moving image such as a video.
The image recording unit 207 also records information for identifying when the image was captured, for example, the image time. The image time at this time is, for example, a device time output from a clock built in the recording device 202 or a device time output from a clock built in each of the imaging devices 201-1 to 201-n. is there.
In addition, the image recording unit 207 also records information for identifying which imaging device the image was captured by, for example, the IP address of the imaging device.

画像配信部２０８は、画像記録部２０７や画像特徴量記録部２０９などの記録媒体に記録されている画像データの配信を行う部位である。
画像配信部２０８は、監視端末２０３からネットワーク送受信部２０６を介して入力された画像再生要求信号に応じて配信画像を決定し、フレーム番号や画像時刻や撮像装置識別番号を利用して記録媒体から画像データを読出し、ネットワーク送受信部２０６に出力する。 The image distribution unit 208 is a part that distributes image data recorded in a recording medium such as the image recording unit 207 or the image feature amount recording unit 209.
The image distribution unit 208 determines a distribution image according to the image reproduction request signal input from the monitoring terminal 203 via the network transmission / reception unit 206, and uses the frame number, the image time, and the imaging device identification number from the recording medium. The image data is read and output to the network transmission / reception unit 206.

画像特徴量記録部２０９は、画像特徴量を記録媒体へ記録する部位である。
画像特徴量記録部２０９は、まず、画像記録部２０７により記録された画像データを顔探索部２１２に出力することにより、顔画像データを取得する。そして、画像特徴量記録部２０９は、この顔画像データを画像特徴量抽出部２１０に出力することにより、画像特徴量を取得する。
画像特徴量記録部２０９は、画像特徴量を記録する際には、顔探索部２１２に入力された画像データに対応するフレーム番号も同時に記録する。この記録により生成されるフレーム番号と画像特徴量で構成されるリストデータを、以下で「画像特徴量リストデータ」と呼ぶ。これらの処理の開始は、監視端末２０３の登録要求部２１７からの要求により行う。 The image feature amount recording unit 209 is a part that records an image feature amount on a recording medium.
The image feature amount recording unit 209 first obtains face image data by outputting the image data recorded by the image recording unit 207 to the face search unit 212. Then, the image feature quantity recording unit 209 acquires the image feature quantity by outputting the face image data to the image feature quantity extraction unit 210.
When recording the image feature value, the image feature value recording unit 209 also records the frame number corresponding to the image data input to the face search unit 212 at the same time. The list data composed of the frame number and the image feature amount generated by this recording is hereinafter referred to as “image feature amount list data”. These processes are started by a request from the registration request unit 217 of the monitoring terminal 203.

画像特徴量抽出部２１０は、顔探索部２１２から入力された顔画像データの特徴量を画像認識技術を用いて算出する部位である。
ここで画像特徴量とは、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せを用いる。 The image feature quantity extraction unit 210 is a part that calculates the feature quantity of the face image data input from the face search unit 212 using an image recognition technique.
Here, the image feature amount uses, for example, an image color distribution, an edge pattern composition distribution, or a combination thereof.

画像類似度判定部２１１は、画像検索を行い、検索結果を出力する部位である。
画像類似度判定部２１１は、以下で説明する検索画像の画像特徴量と、画像記録部２０７の記録媒体に記録されている画像データの顔画像の画像特徴量とから類似度を算出し、算出された類似度の大小から検索結果を生成する。
ここで、検索画像は、ネットワーク送受信部２０６を介して入力された、類似度を判定するために参照される雛形の画像として監視端末２０３によりユーザが指定した画像である。この検索画像は、検索要求信号の中に含まれているデータとして入力する。具体的には、画像のフレーム番号等により指定することができる。 The image similarity determination unit 211 is a part that performs an image search and outputs a search result.
The image similarity determination unit 211 calculates the similarity from the image feature amount of the search image described below and the image feature amount of the face image of the image data recorded on the recording medium of the image recording unit 207. A search result is generated based on the degree of similarity.
Here, the search image is an image designated by the user by the monitoring terminal 203 as a template image that is input via the network transmission / reception unit 206 and is referred to for determining the similarity. This search image is input as data included in the search request signal. Specifically, it can be designated by the frame number of the image.

なお、検索画像の画像特徴量は、画像類似度判定部２１１が、顔探索部２１２に出力することで取得する。
また、記録媒体に記録されている顔画像データの画像特徴量は、画像特徴量記録部２０９に記録された上述の画像特徴量リストデータから取得する。
また、画像、類似度の算出方法については、「大規模な画像集合のための表現モデル」（廣池敦他、日本写真学会誌２００３年６６巻１号Ｐ９３−Ｐ１０１）のような論文を参照して構築することができる。 Note that the image feature amount of the search image is acquired by the image similarity determination unit 211 outputting it to the face search unit 212.
Further, the image feature amount of the face image data recorded on the recording medium is acquired from the above-described image feature amount list data recorded in the image feature amount recording unit 209.
For the calculation method of images and similarities, refer to papers such as “Expression model for large-scale image collection” (Aoi Tsujiike et al., Journal of the Japan Photography Society, Vol. 66, No. 1, P93-P101). Can be built.

ここで、監視端末２０３は、ネットワーク送受信部２１３、検索要求部２１４、検索結果表示部２１５、画像再生部２１６、登録要求部２１７の部位を備えている。 Here, the monitoring terminal 203 includes a network transmission / reception unit 213, a search request unit 214, a search result display unit 215, an image playback unit 216, and a registration request unit 217.

ネットワーク送受信部２１３は、ネットワーク２００で接続した録画装置２０２とのデータの送受信を行う処理部である。この送受信するデータは、例えば、録画装置２０２への画像再生要求信号や検索要求信号、録画装置２０２からの配信画像や検索結果である。
ネットワーク送受信部２１３は、録画装置２０２から受信された配信画像を画像再生部２１６に、検索結果を検索結果表示部２１５にそれぞれ出力する。
ネットワーク送受信部２１３は、画像再生要求信号を画像再生部２１６から、検索要求信号を検索要求部２１４からそれぞれ入力し、ネットワーク２００を介して録画装置２０２に送信する。 The network transmission / reception unit 213 is a processing unit that transmits / receives data to / from the recording device 202 connected via the network 200. The data to be transmitted / received is, for example, an image reproduction request signal or search request signal to the recording device 202, a distribution image from the recording device 202, or a search result.
The network transmission / reception unit 213 outputs the distribution image received from the recording device 202 to the image reproduction unit 216 and the search result to the search result display unit 215.
The network transmission / reception unit 213 receives an image reproduction request signal from the image reproduction unit 216 and a search request signal from the search request unit 214, and transmits them to the recording device 202 via the network 200.

検索要求部２１４は、ユーザからの指示により、検索画像と画像特徴量が似ている画像について、例えば、画像のサムネイル画像データとして送信するように要求する「検索要求信号」を作成する部位である。
また、検索要求部２１４は、表示されるサムネイル画像データから、様々な検索条件を指定して、必要な画像を表示するためのユーザによる検索操作の信号を受信し、検索要求信号に変換して出力する部位である。 The search request unit 214 is a part that generates a “search request signal” for requesting transmission of, for example, thumbnail image data of an image having an image feature amount similar to that of the search image according to an instruction from the user. .
Further, the search request unit 214 specifies various search conditions from the displayed thumbnail image data, receives a search operation signal by a user for displaying a necessary image, and converts it into a search request signal. This is the output part.

検索結果表示部２１５は、入力された録画装置２０２からの画像検索されたサムネイル画像データやテキスト検索の検索結果を、監視端末２０３のディスプレイモニタ（モニタ）上に表示される画面に描画する部位である。 The search result display unit 215 is a part that draws the input thumbnail image data searched from the recording device 202 and the search result of the text search on a screen displayed on the display monitor (monitor) of the monitoring terminal 203. is there.

画像再生部２１６は、監視端末２０３のディスプレイモニタ上に表示される操作メニュー画面（図示せず）のユーザーインタフェイスを使って与えられたユーザによる再生操作の信号を画像再生要求信号に変換して出力する部位である。
また、画像再生部２１６は、入力された録画装置２０２からの配信画像を監視端末２０３のモニタ上に表示される画面に描画する処理も行う。 The image reproduction unit 216 converts a reproduction operation signal given by the user using a user interface on an operation menu screen (not shown) displayed on the display monitor of the monitoring terminal 203 into an image reproduction request signal. This is the output part.
The image playback unit 216 also performs processing for drawing the input distribution image from the recording device 202 on a screen displayed on the monitor of the monitoring terminal 203.

登録要求部２１７は、録画装置に登録処理を開始するよう要求するための画像登録要求信号を出力する部位である。
まず、ユーザは、監視端末２０３の操作メニュー画面のユーザーインタフェイスを使って、ディスプレイモニタ上に表示される画像の再生中にイン・アウト点を指定してフレーム番号を入力したり、テキストボックス等からフレーム番号を直接入力する。このフレーム番号としては、登録処理を行う最初のフレームとなる登録開始フレーム番号や、登録処理を行う最後のフレームとなる登録終了フレーム番号のフレーム番号を入力する。
登録要求部２１７は、入力された登録開始フレーム番号と登録終了フレーム番号を含む、画像登録要求信号を作成する。この画像登録要求信号を受信することで、録画装置では、登録処理を開始する。 The registration request unit 217 is a part that outputs an image registration request signal for requesting the recording apparatus to start registration processing.
First, the user uses the user interface on the operation menu screen of the monitoring terminal 203 to specify an in / out point during playback of an image displayed on the display monitor and input a frame number, a text box, etc. Enter the frame number directly from. As this frame number, the registration start frame number that is the first frame for performing the registration process and the frame number of the registration end frame number that is the last frame for performing the registration process are input.
The registration request unit 217 creates an image registration request signal including the input registration start frame number and registration end frame number. By receiving this image registration request signal, the recording apparatus starts registration processing.

〔従来の顔画像の登録処理〕
ここで、図６を参照して、従来の監視システムＹを用いた登録処理の流れを示す。ここで、顔画豫の「登録」とは監視システムに関する当業者の用語であり、録画装置の記憶部に記憶されている画像のうち、顔を含む画像の顔領域から画像特徴量を抽出することを示す。
この登録処理においては、登録を行った画像を縮小画像は、検索処理時に検索結果としてディスプレイモニタに表示することができる。 [Conventional face image registration]
Here, with reference to FIG. 6, the flow of the registration process using the conventional monitoring system Y is shown. Here, “registration” of a face thumbtack is a term of a person skilled in the art regarding a monitoring system, and extracts an image feature amount from a face region of an image including a face among images stored in a storage unit of a recording device. It shows that.
In this registration process, a reduced image of the registered image can be displayed on the display monitor as a search result during the search process.

この登録処理においては、従来技術では、撮像装置２０１−１〜２０１−ｎから画像データを取得する際に演算負担が大きく、リアルタイム（実時間）で実行することが困難であった。
このため、蓄積されたデータに対して、夜中等の時間を指定し、バッチ処理等を用いて実時間以上の時間をかけて、登録処理を実行していた。
また、ユーザの監視端末２０３からの画像登録要求信号に対して、録画されたデータについて、実時間以上の時間をかけて登録処理を実行していた。
このようにユーザからの要求にて、登録処理を実行する例について、以下にてより詳しく説明する。 In this registration process, according to the conventional technique, when acquiring image data from the imaging devices 201-1 to 201-n, the calculation burden is large, and it is difficult to execute in real time (real time).
For this reason, the registration process is executed by specifying a time such as midnight for the accumulated data and using a batch process or the like to spend more time than the actual time.
In addition, in response to an image registration request signal from the user's monitoring terminal 203, registration processing is performed on the recorded data by taking more time than real time.
An example in which the registration process is executed in response to a request from the user will be described in detail below.

まず、図６のステップＳ３１４にて、登録要求部２１７は、画像登録要求信号送出処理を行う。
具体的には、ユーザがユーザーインタフェイスを用いて、登録処理を行うように指示をする。この指示には、登録開始フレーム番号及び登録終了フレーム番号が含まれる。
登録要求部２１７は、このユーザの指示を検知すると、画像登録要求信号に変換する。登録要求部２１７は、この画像登録要求信号を、ネットワーク送受信部２１３から、ネットワーク２００へ送信する。
タイミングＴ３５１は、録画装置２０２と監視端末２０３間の画像登録要求信号の通信を表す。 First, in step S314 of FIG. 6, the registration request unit 217 performs image registration request signal transmission processing.
Specifically, the user instructs to perform registration processing using the user interface. This instruction includes a registration start frame number and a registration end frame number.
Upon detecting this user instruction, the registration request unit 217 converts it into an image registration request signal. The registration request unit 217 transmits this image registration request signal from the network transmission / reception unit 213 to the network 200.
Timing T351 represents communication of an image registration request signal between the recording device 202 and the monitoring terminal 203.

ここで、ステップＳ３０１において、録画装置２０２の制御部は、画像登録要求信号待機処理を行う。具体的には、制御部は、ネットワーク送受信部２０６にて、監視端末２０３からの画像登録要求信号を受信するまで待機する。
録画装置２０２の制御部は、画像登録要求信号の受信が完了したら、処理をステップＳ３０２に進める。 Here, in step S301, the control unit of the recording apparatus 202 performs an image registration request signal standby process. Specifically, the control unit waits until the network transmission / reception unit 206 receives an image registration request signal from the monitoring terminal 203.
When the reception of the image registration request signal is completed, the control unit of the recording device 202 advances the process to step S302.

ステップＳ３０２において、録画装置２０２の制御部は、画像登録要求信号が適正であるか判定する。
この判定においては、制御部は、例えば、登録開始フレーム番号及び登録終了フレーム番号が適切であるかについて検証する。すなわち、ユーザーの登録処理の指示が適切であるかについて検証する。
制御部は、登録開始フレーム番号及び登録終了フレーム番号が、画像記録部２０７に記憶されたデータに存在する場合には、画像登録要求信号が適正であると判定する。それ以外の場合は、制御部は、ユーザによる指示が不適であり画像登録要求信号が不適であると判定する。
Ｙｅｓの場合は、制御部は、処理をステップＳ３０３に進める。
Ｎｏの場合は、制御部は、処理をステップＳ３０１に戻して、画像登録要求信号を待つ。 In step S302, the control unit of the recording apparatus 202 determines whether the image registration request signal is appropriate.
In this determination, for example, the control unit verifies whether the registration start frame number and the registration end frame number are appropriate. That is, it is verified whether the user's instruction for registration processing is appropriate.
When the registration start frame number and the registration end frame number are present in the data stored in the image recording unit 207, the control unit determines that the image registration request signal is appropriate. In other cases, the control unit determines that the instruction from the user is inappropriate and the image registration request signal is inappropriate.
In the case of Yes, a control part advances a process to step S303.
In No, a control part returns a process to step S301, and waits for an image registration request signal.

ステップＳ３０３において、録画装置２０２の制御部は、受信した登録開始フレーム番号及び登録終了フレーム番号を、録画装置２０２内の内部メモリに記録する。
その後、制御部は、処理をステップＳ３０４に進める。 In step S <b> 303, the control unit of the recording apparatus 202 records the received registration start frame number and registration end frame number in the internal memory in the recording apparatus 202.
Then, a control part advances a process to step S304.

ステップＳ３０４において、録画装置２０２の制御部は、ステップＳ３０３で内部メモリに記録した登録開始フレーム番号を、画像検索を行う「現フレーム番号」に設定する。
この上で、制御部は、処理をステップＳ３０５へと進める。 In step S304, the control unit of the recording apparatus 202 sets the registration start frame number recorded in the internal memory in step S303 as a “current frame number” for performing image search.
Then, the control unit advances the process to step S305.

ステップＳ３０５にて、録画装置２０２の制御部は、現フレーム番号に基づいて、画像記録部２０７から画像データを読み出す。
その後、録画装置２０２の制御部は、読み出した画像データを、顔探索部２１２に出力して顔探索を行わせ、その結果を得て内部メモリに記憶する。
この上で、制御部は、処理をステップＳ３０７に進める。 In step S305, the control unit of the recording device 202 reads image data from the image recording unit 207 based on the current frame number.
Thereafter, the control unit of the recording device 202 outputs the read image data to the face search unit 212 to perform a face search, obtains the result, and stores it in the internal memory.
Then, the control unit advances the process to step S307.

ステップＳ３０７において、録画装置２０２の制御部は、顔領域が検出されたか判定する。
具体的には、顔探索部２１２の顔検索の結果にて、顔領域が１つ以上検知された場合に、Ｙｅｓと判定する。それ以外、顔領域が１つも検知されなければ、Ｎｏと判定する。
Ｙｅｓの場合は、制御部は、処理をステップＳ３０８に進める。
Ｎｏの場合は、制御部は、処理をステップＳ３１５に進む。 In step S307, the control unit of the recording apparatus 202 determines whether a face area has been detected.
Specifically, when one or more face areas are detected as a result of the face search by the face search unit 212, it is determined as Yes. Otherwise, if no face area is detected, No is determined.
In Yes, a control part advances a process to step S308.
In No, a control part progresses a process to step S315.

ステップＳ３０８において、録画装置２０２の制御部は、ステップＳ３０５で検出された顔領域を画像特徴量抽出部２１０に送信する。
そして、画像特徴量抽出部２１０は、その画像特徴量を抽出して、画像特徴量記録部２０９に送信する。画像特徴量記録部２０９は、その画像特徴量を記録媒体に記録する。
その後、制御部は、全ての顔領域から特徴量抽出が終わったかを判定する。
未抽出の顔領域がある場合は、制御部は、その顔領域に対して、ステップＳ３０８の処理を繰り返す。
全ての顔領域に対して特徴量抽出が終わっている場合は、制御部は、処理をステップＳ３１１に進める。 In step S <b> 308, the control unit of the recording device 202 transmits the face area detected in step S <b> 305 to the image feature amount extraction unit 210.
Then, the image feature amount extraction unit 210 extracts the image feature amount and transmits it to the image feature amount recording unit 209. The image feature amount recording unit 209 records the image feature amount on a recording medium.
Thereafter, the control unit determines whether or not the feature amount extraction has been completed from all the face regions.
If there is an unextracted face area, the control unit repeats the process of step S308 for the face area.
If feature amount extraction has been completed for all face regions, the control unit advances the process to step S311.

ステップＳ３１１において、録画装置２０２の制御部は、ステップＳ３０５で現フレーム番号に基づいて画像記録部２０７から読み出した画像の縮小画像（サムネイル）を作成し、記憶媒体に記憶されたサムネイル・リストのデータに登録する。このサムネイル・リストは、上述したように、監視端末２０３で画像検索結果表示に用いる。
その後、制御部は、処理をステップＳ３１２に進める。 In step S311, the control unit of the recording apparatus 202 creates a reduced image (thumbnail) of the image read from the image recording unit 207 based on the current frame number in step S305, and stores thumbnail list data stored in the storage medium. Register with. As described above, this thumbnail list is used for displaying the image search result on the monitoring terminal 203.
Thereafter, the control unit advances the process to step S312.

ステップＳ３１２において、録画装置２０２の制御部は、終了条件の判定を行う。判定は、現フレーム番号と終了フレーム番号を比較して、現フレーム番号が終了フレーム番号の場合には終了条件を満たす、すなわちＹｅｓと判定する。それ以外の場合には、終了条件を満たさない、すなわちＮｏと判定する。
Ｙｅｓと判定した場合は、制御部は、登録処理を終了する。
Ｎｏと判定した場合には、制御部は、処理をステップＳ３１５に進める。 In step S312, the control unit of the recording apparatus 202 determines an end condition. The determination is made by comparing the current frame number with the end frame number, and when the current frame number is the end frame number, it is determined that the end condition is satisfied, that is, Yes. In other cases, it is determined that the termination condition is not satisfied, that is, No.
When it determines with Yes, a control part complete | finishes a registration process.
When it determines with No, a control part advances a process to step S315.

ステップＳ３１５において、録画装置２０２の制御部は、現フレーム番号に１を加算した値を新たな現フレーム番号とする。
この上で、制御部は、ステップＳ３０５に処理を戻す。 In step S315, the control unit of the recording apparatus 202 sets a value obtained by adding 1 to the current frame number as a new current frame number.
Then, the control unit returns the process to step S305.

以上のように構成することで、従来の登録処理を終了する。
その後、ユーザによる検索要求にて類似画像の検索を実行する。
録画装置２０２の制御部は、監視端末２０３の検索要求部２１４からの検索要求信号を受信すると、ユーザが指定した検索画像を顔探索部２１２に入力し、顔を探索する。
顔が検出された場合、画像特徴量抽出部２１０にてその検索画像に含まれる顔領域の画像特徴量を抽出する。そして、画像類似度判定部２１１にて、右記の画像特徴量と、予め登録処理により抽出された画像特徴量リストデータの特徴量とを比較し、画像特徴量を基に画像の類似性を判定し、画像特徴量リストデータに含まれるフレーム情報等を用いて、録画装置の記録画像からユーザが探したい人物の画像を検索処理の実行ごとに探し出す。 By configuring as described above, the conventional registration process is terminated.
Thereafter, a similar image search is executed in response to a search request from the user.
When receiving the search request signal from the search request unit 214 of the monitoring terminal 203, the control unit of the recording device 202 inputs a search image designated by the user to the face search unit 212 and searches for a face.
When a face is detected, the image feature amount extraction unit 210 extracts the image feature amount of the face area included in the search image. Then, the image similarity determination unit 211 compares the image feature amount on the right with the feature amount of the image feature amount list data extracted in advance by the registration process, and determines the similarity of the image based on the image feature amount. Then, using the frame information included in the image feature amount list data, the image of the person that the user wants to search is searched from the recorded image of the recording device every time the search process is executed.

このような従来の登録処理により、監視画像を対象とした類似顔画像検索を実現することができる。
しかしながら、この類似画像検索方法は、顔画像の検知と特徴量抽出処理に膨大な演算が必要であり、演算に時間がかかるという問題があった。
このため、いくつか、この負荷を抑えるための方法が提案されている。 By such a conventional registration process, a similar face image search for a monitoring image can be realized.
However, this similar image retrieval method has a problem in that it requires a huge amount of computation for face image detection and feature amount extraction processing, and the computation takes time.
For this reason, several methods for suppressing this load have been proposed.

従来の顔画像の検知を高速化する画像処理装置について、特許文献１を参照すると、撮像素子での処理動作を工夫し、これに画像処理回路での処理を組み合わせることによって、効率よく顔検出処理を行う画像処理装置が記載されている（以下、従来技術１とする）。
従来技術１の画像処理装置は、撮像素子が、全画素領域から素子の持つ解像度より低解像度で撮像することのできる解像度変換撮像動作と、全画素領域のうち一部の領域に限定して撮像動作を実施する部分撮像動作とを実行する。そして、画像処理回路が、撮像素子の解像度変換撮像動作によって得られた異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能部と、この移動物体検出機能部によって検出された領域に対し撮像素子による部分撮像動作によって得られた部分画像データを対象として、人物の顔らしい領域を検出する。
これにより、従来技術１の画像処理装置は、顔の存在位置をおおよそ当たりをつけて少ない画素数の画像データを顔検出処理に送ることによって、効率良く顔検出処理を実施することができ、全体としての処理を高速化することができる。 With respect to a conventional image processing apparatus that speeds up detection of a face image, refer to Patent Document 1, and devise processing operation in an image sensor and combine it with processing in an image processing circuit to efficiently perform face detection processing. An image processing apparatus that performs the above is described (hereinafter referred to as Conventional Technology 1).
In the image processing apparatus according to the related art 1, the imaging element is limited to a resolution conversion imaging operation in which the imaging element can capture an image at a lower resolution than the resolution of the element, and imaging is limited to a part of the entire pixel area. The partial imaging operation for performing the operation is executed. Then, the image processing circuit detects a region where a moving object may exist from resolution-converted captured images at different times obtained by the resolution conversion imaging operation of the image sensor, and the moving object detection A region that is likely to be a human face is detected from the partial image data obtained by the partial imaging operation by the imaging device with respect to the region detected by the functional unit.
As a result, the image processing apparatus according to the related art 1 can efficiently perform the face detection process by sending the image data having a small number of pixels to the face detection process by roughly hitting the position of the face. Can be speeded up.

特開２００６−３１８３６４号公報JP 2006-318364 A

しかしながら、従来技術１においても、撮像装置による監視画像から顔探索等の物体検出を行う演算処理や画像の構図を分析する演算処理は、演算の負荷が高いという問題があり、リアルタイムで画像検索を行うことは困難であるという問題があった。
このため、顔探索等の物体検出処理の演算量を削減し、処理時間を短縮することが求められていた。 However, even in the prior art 1, there is a problem that the calculation processing for detecting an object such as a face search from the monitoring image by the imaging device or the calculation processing for analyzing the composition of the image has a high calculation load. There was a problem that it was difficult to do.
For this reason, it has been required to reduce the amount of calculation of object detection processing such as face search and shorten the processing time.

本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。 This invention is made | formed in view of such a condition, and makes it a subject to eliminate the above-mentioned subject.

本発明の画像処理方法は、複数のフレームの画像について所定の画像部分に関する情報を登録する監視システムにおける画像処理方法において、前記複数のフレームの画像から、登録対象の映り込みによる画像の変化を画像変化量として検知するステップと、前記画像変化量に従い、前記画像部分を探索する処理を実行するかを判定するステップと、前記画像部分の検索結果を画像部分検索履歴として記憶するステップと、前記画像変化量として検知するステップを実行するかを前記画像部分検索履歴により判定するステップと、前記画像変化量及び／又は前記画像部分検索履歴の判定結果を用いてサンプリング間隔を変更するステップとを備えることを特徴とする。 The image processing method of the present invention is an image processing method in a monitoring system for registering information relating to a predetermined image portion of a plurality of frames of images, and from the plurality of frames of images, an image change due to reflection of a registration target is imaged. Detecting as a change amount, determining whether to execute a process of searching for the image portion according to the image change amount, storing a search result of the image portion as an image portion search history, and the image Determining whether to execute the step of detecting as a change amount based on the image partial search history, and changing the sampling interval using the image change amount and / or the determination result of the image partial search history. It is characterized by.

本発明によれば、フレーム間の画像の変化を検知して画像部分を探索する処理を実行するかを判定することにより、検索画像の登録処理の負荷を軽減する監視システムにおける画像処理方法を提供することができる。 According to the present invention, there is provided an image processing method in a monitoring system that reduces a load of a search image registration process by determining whether to execute a process of searching for an image part by detecting a change in an image between frames. can do.

本発明の実施の形態に係る類似顔画像検索方法を実行する監視システムＸのシステム構成図である。It is a system configuration figure of surveillance system X which performs the similar face image search method concerning an embodiment of the invention. 本発明の実施の形態に係る類似顔画像検索方法の登録処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the registration process of the similar face image search method which concerns on embodiment of this invention. 本発明の実施の形態に係る演算処理の概念図である。It is a conceptual diagram of the arithmetic processing which concerns on embodiment of this invention. 本発明の実施の形態に係る類似顔画像検索方法の登録処理における各フレームでの顔探索処理に要する時間を示す概念図である。It is a conceptual diagram which shows the time which the face search process in each frame in the registration process of the similar face image search method concerning embodiment of this invention requires. 従来の類似顔画像検索方法を実行する監視システムＹのシステム構成図である。It is a system block diagram of the monitoring system Y which performs the conventional similar face image search method. 従来の類似顔画像検索方法の登録処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the registration process of the conventional similar face image search method. 従来の類似顔画像検索方法の登録処理における各フレームでの顔探索処理に要する時間を示す概念図である。It is a conceptual diagram which shows the time which the face search process in each frame in the registration process of the conventional similar face image search method requires.

＜実施の形態＞
〔監視システムＸの制御構成〕
以下で、本発明の具体的な実施の形態を図面を参照して説明する。
まず、図１を参照して、監視画像を対象とした類似顔画像検索方法を実行する本発明の実施の形態に係る監視システムＸの制御構成について説明する。
監視システムＸは、撮像装置２０１−１〜２０１−ｎと、録画装置４０３と、監視端末２０３とが、ネットワーク２００にて接続されている。この図１において、図５と同一の符号は、従来と同様の機能を提供する部位であることを示す。つまり、撮像装置２０１−１〜２０１−ｎと、監視端末２０３とは、従来の監視システムＹと同様の構成要素を示す。
ネットワーク２００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク２００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。
監視端末２０３は、ネットワーク２００を介して録画装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のディスプレイモニタに画面表示するＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）等の専用の監視端末装置である。監視端末２０３は、下記で説明する処理の制御を行うＣＰＵ等の制御部と、制御部が実行する処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶部とを備えている。監視端末２０３は、キーボードやマウス等のユーザ入力部を備え、録画装置２０２に記録された画像の再生操作や動画表示、人物検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
なお、監視端末２０３は、通常のＯＳ（オペレーティングシステム）がインストールされたＰＣの記憶部に記憶したプログラムにより実現してもよい。
さらに、制御部で実行されるプログラムは、各部をハードウェア資源を使用して実現するために用いられてもよく、記憶部に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。 <Embodiment>
[Control configuration of monitoring system X]
Hereinafter, specific embodiments of the present invention will be described with reference to the drawings.
First, with reference to FIG. 1, the control configuration of the monitoring system X according to the embodiment of the present invention that executes the similar face image search method for monitoring images will be described.
In the monitoring system X, imaging devices 201-1 to 201-n, a recording device 403, and a monitoring terminal 203 are connected via a network 200. In FIG. 1, the same reference numerals as those in FIG. 5 indicate portions that provide the same functions as those in the prior art. That is, the imaging devices 201-1 to 201-n and the monitoring terminal 203 indicate the same components as those of the conventional monitoring system Y.
The network 200 includes a LAN, an optical fiber, c. A line capable of data communication such as a link, a wireless LAN, and a mesh network. The network 200 may be an IP network such as a dedicated line, an intranet, or the Internet.
The monitoring terminal 203 is a PC / AT compatible machine that displays the image data acquired from the recording device 202 via the network 200 on a display monitor such as a liquid crystal display or CRT, or a PC (personal computer) such as a MAC. It is a dedicated monitoring terminal device. The monitoring terminal 203 includes a control unit such as a CPU that controls processing described below, a program in which processing executed by the control unit is described, image data for displaying results, attributes of image data, and temporary data. And a storage unit such as a RAM, a ROM, an HDD, and a flash memory. The monitoring terminal 203 includes a user input unit such as a keyboard and a mouse, and provides a user interface for performing an operation for reproducing an image recorded in the recording device 202, a moving image display, an operation for performing a person search, a result display, and the like.
The monitoring terminal 203 may be realized by a program stored in a storage unit of a PC in which a normal OS (operating system) is installed.
Furthermore, the program executed by the control unit may be used to implement each unit using hardware resources, and may be stored in a storage unit or a ROM or flash memory in the control unit. It may be.

録画装置４０３は、ネットワークデジタルレコーダ等の装置である。録画装置４０３は、ＣＰＵ、ＭＰＵ、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）等の制御部や演算部と、内蔵のＤＲＡＭやフラッシュメモリ等の記憶部とを備えている。また、録画装置４０３は、ネットワーク２００を介して撮像装置２０１−１〜２０１−ｎより入力された画像データを、ＨＤＤ等の記録媒体に記録する。
ここで、録画装置４０３において、録画装置２０２と同じ符号をもつ部位は、録画装置２０２と同様の機能を備えている。この上で、録画装置４０３は、図５に示した機能部位に加え、顔探索前処理部４０１と顔探索間隔設定部４０２を備えて構成される。 The recording device 403 is a device such as a network digital recorder. The recording device 403 includes a control unit and arithmetic unit such as a CPU, MPU, DSP (digital signal processor), GPU (graphic processing unit), and a storage unit such as a built-in DRAM or flash memory. . The recording device 403 records the image data input from the imaging devices 201-1 to 201-n via the network 200 on a recording medium such as an HDD.
Here, in the recording apparatus 403, a part having the same reference numeral as that of the recording apparatus 202 has the same function as the recording apparatus 202. In addition, the recording apparatus 403 includes a face search preprocessing unit 401 and a face search interval setting unit 402 in addition to the functional parts shown in FIG.

顔探索前処理部４０１は、背景画像と現フレームでの差分画像を求める背景差分処理を実行して、背景画像と現フレーム間の画像の差分値である背景差分量を求める部位である。
この背景画像としては、例えば、事前に撮像装置ごとに撮影された複数フレームの平均加算フレームを用いて、撮像装置ごとにそれぞれ作成することができる。
この際に、時間が経つと背景画像が異なることがあるので、朝〜夜といった所定時間毎の背景画像を用いることができる。また、屋外においては、天気により露出が異なることがあるので、この露出による補正を行って正規化した背景画像を用いてもよい。さらに、人物が一つの場所に動かずにずっと寝ているといった事態が考えられるため、顔画像が検出されない画像に限って背景画像を作成するようにしてもよい。
さらに、登録処理の度に、登録開始フレーム番号及び登録終了フレーム番号の前後で、ランダムな範囲のフレームを抽出して、平均加算フレームを用いて背景画像を作成するようにしてもよい。これにより、人物の看板が置かれていたり、自動車が長時間駐車されている場合等の誤検知を避けることが可能になる。
また、背景差分量の判定に用いる閾値θは、各撮像装置に映る人の領域サイズにおける面積に相当する画素数を用いて算出することができる。
さらに、背景差分量は、背景画像と現フレームの全ての画素を比較し、輝度値が異なる画素数をカウントする。 The face search pre-processing unit 401 is a part that executes background difference processing for obtaining a difference image between a background image and the current frame, and obtains a background difference amount that is a difference value between the background image and the current frame.
This background image can be created for each imaging device using, for example, an average addition frame of a plurality of frames previously captured for each imaging device.
At this time, since the background image may be different with time, a background image for every predetermined time such as morning to night can be used. In addition, since the exposure may differ depending on the weather outdoors, a background image that is normalized by performing correction based on the exposure may be used. Furthermore, since a situation where a person is sleeping without moving to one place is considered, a background image may be created only for an image in which a face image is not detected.
Further, every time the registration process is performed, frames in a random range may be extracted before and after the registration start frame number and the registration end frame number, and a background image may be created using the average addition frame. This makes it possible to avoid false detections such as when a person's sign is placed or the car is parked for a long time.
Further, the threshold value θ used for determining the background difference amount can be calculated using the number of pixels corresponding to the area in the region size of the person shown in each imaging device.
Further, the background difference amount compares all the pixels of the background image and the current frame, and counts the number of pixels having different luminance values.

顔探索間隔設定部４０２（画像部分情報登録手段）は、顔探索処理等のサンプリング間隔を設定する部位である。
このサンプリング間隔は、顔探索を行うフレームの画像を取得（サンプリング）する間隔を示す値である。
顔探索間隔設定部４０２は、背景差分量が閾値θよりも大きい場合は、顔探索間隔設定部４０２は、顔探索処理を実行する対象フレームのサンプリング間隔をＴ１とするように設定する。
一方、顔探索処理の結果、顔が未検知だった場合、顔探索間隔設定部４０２は、サンプリング間隔をＴ２とするように設定する。ここで、Ｔ１＜Ｔ２とする。
本発明の実施の形態に係る登録処理においては、例えばＴ１＝１、Ｔ２＝３として次フレームとして処理するフレームのフレーム番号は、現フレーム番号にサンプリング間隔を加算した値として求めることができる。 The face search interval setting unit 402 (image partial information registration means) is a part for setting a sampling interval for face search processing or the like.
This sampling interval is a value indicating an interval for acquiring (sampling) an image of a frame for performing face search.
When the background difference amount is larger than the threshold θ, the face search interval setting unit 402 sets the sampling interval of the target frame for executing the face search process to be T1.
On the other hand, when the face is not detected as a result of the face search process, the face search interval setting unit 402 sets the sampling interval to T2. Here, T1 <T2.
In the registration processing according to the embodiment of the present invention, for example, the frame number of the frame to be processed as the next frame with T1 = 1 and T2 = 3 can be obtained as a value obtained by adding the sampling interval to the current frame number.

〔監視システムＸの登録処理〕
ここで、図１〜２を更に参照して本発明の実施の形態に係る監視システムＸを用いた登録処理についてより詳しく説明する。
監視システムＸを用いた登録処理においては、複数のフレームの画像について所定の画像部分に関する情報を登録する。すなわち、例えば、複数の画像データから顔画像を所定の画像部分として、この顔画像が検出されたフレームの画像を登録するのに要する演算処理を軽減し、処理時間を短縮することができる。
この際に、顔探索処理よりも処理時間が短い、人物等である登録の対象の映り込みによる画像の変化を検知する処理を顔探索処理の前に実行する。本発明の実施の形態に係る登録処理においては、上述の背景差分量を、所定の閾値との比較する背景差分処理等を行う。
そして、監視システムＸを用いた登録処理においては、背景差分量が閾値を越える場合、顔探索処理を実行する。この上で、画像の変化を検知する処理を実行せずに顔探索処理のみを実行するか、顔検索履歴を用いて顔探索処理を実行する時間間隔を変更する。すなわち、画像の変化量、顔検索履歴により登録処理を行うフレームのサンプリング間隔の変更を行う。
これにより、人が映っているシーンよりも人が映っていないシーンにおいて対象フレームの登録処理を行う間隔を大きくし、人が映っていないシーンの対象フレームを間引くことができる。よって、登録処理に要する時間を短縮できる。 [Monitoring system X registration process]
Here, the registration process using the monitoring system X according to the embodiment of the present invention will be described in more detail with further reference to FIGS.
In the registration process using the monitoring system X, information regarding a predetermined image portion is registered for images of a plurality of frames. That is, for example, it is possible to reduce a calculation time required for registering a frame image in which a face image is detected from a plurality of image data as a predetermined image portion, and to shorten a processing time.
At this time, a process for detecting a change in the image due to the reflection of the registration target, such as a person, whose processing time is shorter than the face search process is executed before the face search process. In the registration processing according to the embodiment of the present invention, background difference processing for comparing the above-described background difference amount with a predetermined threshold is performed.
In the registration process using the monitoring system X, when the background difference amount exceeds the threshold value, the face search process is executed. Then, only the face search process is executed without executing the process for detecting the change of the image, or the time interval for executing the face search process is changed using the face search history. That is, the sampling interval of the frame for performing the registration process is changed based on the image change amount and the face search history.
This makes it possible to increase the interval for performing target frame registration processing in a scene in which a person is not shown compared to a scene in which a person is shown, and to thin out the target frames of a scene in which no person is shown. Therefore, the time required for the registration process can be shortened.

この監視システムＸを用いた登録処理について、図２のフローチャートを用いて、以下で更に詳しく説明する。
なお、図２においては、従来技術１の登録処理の流れの図６と同じ番号のステップは同じ処理を行っているため、変更されたステップについて説明する。
ここで、図２においては、図６のステップに、ステップＳ５００〜５０６が加わっている。また、ステップＳ３１５に代わりステップＳ５０７を行う。 The registration process using the monitoring system X will be described in more detail below using the flowchart of FIG.
In FIG. 2, steps having the same numbers as those in FIG. 6 in the registration process flow of the prior art 1 perform the same processes, and thus the changed steps will be described.
Here, in FIG. 2, steps S500 to S506 are added to the steps of FIG. Also, step S507 is performed instead of step S315.

まず、ステップＳ５００において、録画装置４０３の顔探索間隔設定部４０２は、サンプリング間隔Ｔの初期値としてＴ２を設定する。
その後、顔探索間隔設定部４０２は、処理をステップＳ３０５に進める。 First, in step S500, the face search interval setting unit 402 of the recording device 403 sets T2 as the initial value of the sampling interval T.
Thereafter, the face search interval setting unit 402 advances the process to step S305.

ステップＳ３０５においては、従来技術１の登録処理と同様に、録画装置４０３の制御部は、現フレーム番号に基づいて、画像記録部２０７から画像データを読み出す。
その後、制御部は、処理をステップＳ５０１に進める。 In step S305, the control unit of the recording device 403 reads image data from the image recording unit 207 based on the current frame number, as in the registration process of the conventional technique 1.
Then, a control part advances a process to step S501.

ステップＳ５０１において、録画装置４０３の顔探索間隔設定部４０２は、前フレームで顔を検知したかを顔探索結果の履歴である顔検索履歴から判定する。ここでは、前フレームで顔を検知している場合は、Ｙｅｓと判定し、背景差分処理を実行せずに、顔探索処理を実行する。それ以外の場合はＮｏと判定する。
Ｙｅｓ、すなわち前のフレームで顔を検知していた場合は、顔探索間隔設定部４０２は、処理をステップＳ５０４に進める。
Ｎｏ、すなわち顔が未検知の場合は、顔探索間隔設定部４０２は、処理をステップＳ５０２に進める。 In step S501, the face search interval setting unit 402 of the recording device 403 determines whether a face has been detected in the previous frame from the face search history that is the face search result history. Here, if a face is detected in the previous frame, it is determined as Yes, and the face search process is executed without executing the background difference process. Otherwise, it is determined No.
If yes, that is, if a face has been detected in the previous frame, the face search interval setting unit 402 advances the process to step S504.
If No, that is, if no face is detected, the face search interval setting unit 402 advances the process to step S502.

ステップＳ５０２において、録画装置４０３の制御部は、現フレームを顔探索前処理部４０１に入力し、背景画像と当該フレームにおいて背景差分処理を実行する。
この背景差分処理としては、具体的には上述のように、複数のフレームの差分値を用いた背景画像と、現フレームの画素毎に明度等を減算する。この際に、単なる減算ではなく、正規化した後、対数明度を用いて指数部位のみ比較するといった方法を用いることもできる。また、差分の計算の際に、各種フィルタを用いてノイズ除去処理を行うこともできる。
その後、制御部は、処理をステップＳ５０３に進める。 In step S502, the control unit of the recording apparatus 403 inputs the current frame to the face search preprocessing unit 401, and executes background difference processing on the background image and the frame.
Specifically, as described above, as described above, the brightness or the like is subtracted from the background image using the difference values of a plurality of frames and the pixels of the current frame. At this time, instead of simple subtraction, after normalization, it is also possible to use a method in which only the exponent part is compared using logarithmic brightness. In addition, when calculating the difference, noise removal processing can be performed using various filters.
Then, a control part advances a process to step S503.

ステップＳ５０３において、録画装置４０３の制御部は、現フレームについて、顔探索処理を実行する必要があるかを判定する。
制御部は、顔探索前処理部４０１により求められた背景差分量が閾値θよりも大きい場合は、顔探索処理を実行する、すなわちＹｅｓと判定とする。制御部は、反対に、背景差分量が閾値θよりも小さい場合は、実行しない、すなわち、Ｎｏと判定する。
Ｙｅｓの場合は、制御部は、処理をステップＳ５０４に進める。
Ｎｏの場合は、制御部は、処理をステップＳ５０７に進める。 In step S503, the control unit of the recording device 403 determines whether face search processing needs to be executed for the current frame.
When the background difference amount obtained by the face search preprocessing unit 401 is larger than the threshold θ, the control unit executes the face search process, that is, determines as Yes. On the other hand, when the background difference amount is smaller than the threshold value θ, the control unit does not execute, that is, determines No.
In Yes, a control part advances a process to step S504.
In No, a control part advances a process to step S507.

ステップＳ５０４において、録画装置４０３の制御部は、顔検索／結果保存処理を行う。
具体的には、まず、制御部は、録画装置４０３の画像記録部２０７から画像データを読み出す。
その後、制御部は、読み出した画像データを顔探索部２１２に出力して顔探索を行わせ、その結果を取得して内部メモリに記憶する。
この上で、制御部は、顔探索処理結果を顔検索履歴（画像部分検索履歴）として記憶部に記憶する。
その後、制御部は、処理をステップＳ５０５に進める。 In step S504, the control unit of the recording device 403 performs face search / result storage processing.
Specifically, first, the control unit reads image data from the image recording unit 207 of the recording device 403.
Thereafter, the control unit outputs the read image data to the face search unit 212 to perform a face search, acquires the result, and stores it in the internal memory.
Then, the control unit stores the face search processing result in the storage unit as a face search history (image partial search history).
Then, a control part advances a process to step S505.

ステップＳ５０５において、顔探索間隔設定部４０２は、サンプリング間隔ＴとしてＴ１を設定する。
この上で、顔探索間隔設定部４０２は、処理をステップＳ３０７に進める。
その後は、ステップＳ３１２にて終了条件を満たした場合に、登録処理を終了する。 In step S505, the face search interval setting unit 402 sets T1 as the sampling interval T.
Then, the face search interval setting unit 402 advances the process to step S307.
Thereafter, when the end condition is satisfied in step S312, the registration process is ended.

ステップＳ３０７において、録画装置４０３の制御部は、上述のステップＳ５０５において顔を検知したか判定する。
Ｙｅｓ、すなわち、検知した顔が１つ以上あれば、制御部は、処理をステップＳ３０８に進める。
Ｎｏ、すなわち、検知した顔が１つもなければ、制御部は、処理をステップＳ５０６に進める。 In step S307, the control unit of the recording device 403 determines whether a face is detected in step S505 described above.
If yes, that is, if there is one or more detected faces, the control unit advances the process to step S308.
No, that is, if there is no detected face, the control unit advances the process to step S506.

ステップＳ５０６において、録画装置４０３の制御部は、サンプリング間隔ＴとしてＴ２を設定する。
その後、制御部は、処理をステップＳ５０７に進める。 In step S506, the control unit of the recording device 403 sets T2 as the sampling interval T.
Then, a control part advances a process to step S507.

ステップＳ５０７において、録画装置４０３の制御部は、フレーム番号更新処理を行う。
具体的には、制御部は、現フレーム番号にサンプリング間隔Ｔを加算した値を新たな現フレーム番号とする。
この上で、録画装置４０３の制御部は、処理をステップＳ３０５に戻す。 In step S507, the control unit of the recording device 403 performs frame number update processing.
Specifically, the control unit sets a value obtained by adding the sampling interval T to the current frame number as a new current frame number.
Then, the control unit of the recording device 403 returns the process to step S305.

〔本発明の実施の形態に係る登録処理の結果の比較〕
以上のように構成することで、顔探索に関する処理時間を少なくすることが可能になる。
本発明の効果として、顔探索に関する処理時間の短縮を図３、図４、図７を用いて、具体的に説明する。ここでは、従来技術１の登録処理において全フレームを対象として顔検索を行う場合と、本発明の実施の形態に係る登録処理においてフレームを間引いて顔検査を行う場合についての処理時間の概念的な比較について説明する。 [Comparison of Result of Registration Processing According to Embodiment of Present Invention]
With the configuration described above, it is possible to reduce the processing time related to face search.
As an effect of the present invention, shortening of processing time related to face search will be specifically described with reference to FIGS. 3, 4, and 7. Here, the processing time conceptually for the case where the face search is performed for all frames in the registration process of the prior art 1 and the case where the face inspection is performed by thinning out the frame in the registration process according to the embodiment of the present invention. The comparison will be described.

〔比較例〕
図７の例を参照すると、従来の技術を用いて、全てのフレームに対して顔探索処理を行った場合に要する処理時間を比較例として示している。
各フレームの顔探索処理に関する処理時間については、黒色のバーとして示す。たとえば、処理時間６０１は、各フレームにおいて顔探索処理に要する処理時間の一つである。そして、それぞれのバーの長さを具体的な処理時間として示す。
この例の場合、図７に示すように、登録処理を行うフレーム数が２０フレームであり、１フレームについて５ｔ秒の処理時間が必要である。
つまり、全てのフレームに対して顔探索処理を実行すると顔探索に要する総処理時間は１００ｔ［秒］の時間を消費する。 [Comparative Example]
Referring to the example of FIG. 7, the processing time required when face search processing is performed on all frames using the conventional technique is shown as a comparative example.
The processing time related to the face search processing of each frame is shown as a black bar. For example, the processing time 601 is one of processing times required for face search processing in each frame. The length of each bar is shown as a specific processing time.
In the case of this example, as shown in FIG. 7, the number of frames to be registered is 20 frames, and a processing time of 5 t seconds is required for one frame.
That is, when face search processing is executed for all frames, the total processing time required for face search consumes 100 t [seconds].

〔実施例〕
ここで、図３を参照して、本発明の実施の形態に係る登録処理の実施例の各処理に係るフレームの種類について説明する。
フレーム１０１〜１２０が登録処理を行うフレームであるとすると：
・フレーム１０２、１０６，１１０、１１４は、背景差分処理を実行するフレームである。
・フレーム１１５、１１６は、背景差分処理と顔探索処理の両方を実行するフレームである。
・フレーム１１７〜１２０は、顔探索処理を実行するフレームである。
・フレーム１０１、１０３〜１０５、１０７〜１０９、１１１〜１１３が、フレーム間隔の設定によりスキップされる「間引き対象」のフレームである。〔Example〕
Here, with reference to FIG. 3, the types of frames related to each process of the example of the registration process according to the embodiment of the present invention will be described.
If frames 101-120 are frames for registration processing:
Frames 102, 106, 110, and 114 are frames that execute background difference processing.
Frames 115 and 116 are frames that execute both background difference processing and face search processing.
Frames 117 to 120 are frames for executing face search processing.
Frames 101, 103 to 105, 107 to 109, and 111 to 113 are “thinning target” frames that are skipped by setting the frame interval.

この上で、図４を参照して、本発明の実施の形態に係る登録処理を行った場合に要する顔検出処理の処理時間について説明する。
処理時間７０１は、間引いたフレームにおける処理時間であり、処理時間がないことを示す。
処理時間７０２は、背景差分処理を行ったフレームにおいて、背景差分処理に要した時間の一つである。
処理時間７０３は、背景差分処理と顔探索処理の両方を行ったフレームおいて背景差分処理と顔探索処理に要した時間の一つである。
処理時間７０４は、顔探索処理を行ったフレームにおいて背景差分処理と顔探索処理に要した時間である。 Then, with reference to FIG. 4, the processing time of the face detection process required when the registration process according to the embodiment of the present invention is performed will be described.
The processing time 701 is the processing time in the thinned frame and indicates that there is no processing time.
The processing time 702 is one of the times required for the background difference processing in the frame on which the background difference processing has been performed.
The processing time 703 is one of the times required for the background difference process and the face search process in the frame in which both the background difference process and the face search process are performed.
The processing time 704 is the time required for the background difference process and the face search process in the frame in which the face search process is performed.

図４の例によると、背景差分処理のみを実行したフレーム数は４フレーム、間引かれたフレーム数は１０フレーム、背景差分処理と顔探索処理の両方を実行したフレーム数は２フレーム、顔探索処理のみを実行したフレーム数は４フレームである。
ここで、顔探索処理に要する処理時間７０４を５ｔ秒、背景差分処理に要する処理時間７０２をｔ秒、背景差分処理と顔探索処理に要する処理時間７０３を６ｔ秒とする。
これにより、計算すると、本発明の実施の形態に係る登録処理の総処理時間は、３６ｔ［秒］となる。
上述のように図７を参照すると従来の技術による登録処理の総処理時間は１００ｔ［秒］であるので、６４％の処理時間を削減することができるという効果が得られる。 According to the example of FIG. 4, the number of frames for which only background difference processing has been executed is 4 frames, the number of frames to be thinned is 10 frames, the number of frames for which both background difference processing and face search processing are executed is 2, and face search The number of frames in which only processing is executed is 4 frames.
Here, it is assumed that the processing time 704 required for face search processing is 5 tsec, the processing time 702 required for background difference processing is t seconds, and the processing time 703 required for background difference processing and face search processing is 6 tsec.
Thus, when calculated, the total processing time of the registration processing according to the embodiment of the present invention is 36 t [seconds].
As described above, referring to FIG. 7, since the total processing time of the registration processing according to the conventional technique is 100 t [seconds], an effect that the processing time of 64% can be reduced is obtained.

以上のように構成することで、以下のような効果が得られる。
まず、従来の技術の監視システムＹにおいては、撮像装置で撮像された画像に対して常時、全ての画像に対して顔領域を探索する顔探索処理を行っていた。
しかしながら、撮像装置による、撮影方向、撮影範囲は、通常、固定されている。
また、監視カメラの監視画像においては、設置された場所、時間帯等により人が映る頻度が少ない画像がある。たとえば、立ち入り禁止区域内に監視カメラが設置されている場合や、人通りが多い場所に設置されている監視カメラでも夜間の画像の場合では、ほとんど人が映っていないことが多かった。
これらの監視画像において、人がそもそも映っていない画像に対する顔探索処理は不要である。つまり、画像に対して常時、顔領域を抽出する処理を行う必要はなかった。 By configuring as described above, the following effects can be obtained.
First, in the conventional monitoring system Y, face search processing for searching for a face area is performed for all images at all times on images captured by an imaging device.
However, the shooting direction and shooting range by the imaging device are usually fixed.
In addition, in the monitoring image of the monitoring camera, there is an image in which a person is less frequently reflected depending on the installation location, time zone, and the like. For example, when a surveillance camera is installed in a restricted area or when a surveillance camera is installed in a place where there is a lot of traffic, there are many cases in which almost no people are shown.
In these monitoring images, face search processing is not required for images in which no person is shown in the first place. That is, there is no need to always perform processing for extracting a face region on an image.

これに対して、本発明の実施の形態に係る監視システムＸにおいては、人が映っていると期待される画像に対してのみ顔探索処理を実行し、人がそもそも映っていない画像に対する顔探索処理を省略する。
このために、本発明の実施の形態に係る監視システムＸによる登録処理においては、まず、撮影方向、撮影範囲を固定しておき、監視カメラにおいて人が映っていない画像から背景画像を作成する。そして、登録処理において、当該フレームと背景画像の差分を背景差分量として算出することができる。この上で、背景差分量を、所定の閾値と比較し、顔探索処理を実行するか決定する。
これにより、人が映っていないと判定される画像に対しては顔探索処理を行わない。すなわち、顔探索処理を人が映っていると期待される画像に対してのみ顔探索処理を行うことができるため、顔画像の特徴量登録に要する処理時間を短縮することができる。
よって、登録処理に要する時間を短縮し、ほぼリアルタイムで登録処理を実行することができる。 On the other hand, in the monitoring system X according to the embodiment of the present invention, face search processing is executed only for an image that is expected to show a person, and face search for an image in which no person is shown in the first place. The process is omitted.
For this reason, in the registration process by the monitoring system X according to the embodiment of the present invention, first, the shooting direction and shooting range are fixed, and a background image is created from an image in which no person is shown in the monitoring camera. In the registration process, the difference between the frame and the background image can be calculated as the background difference amount. On this basis, the background difference amount is compared with a predetermined threshold value to determine whether or not to execute the face search process.
As a result, the face search process is not performed on an image that is determined not to show a person. That is, since the face search process can be performed only on an image that is expected to show the person in the face search process, the processing time required for registering the feature amount of the face image can be shortened.
Therefore, the time required for the registration process can be shortened, and the registration process can be executed almost in real time.

また、本発明の実施の形態に係る監視システムＸによる登録処理では、顔探索処理の結果を顔検索履歴として保持し、背景差分処理の実行判定に用いる。
つまり、前フレームで顔を検知した場合は現フレームに対する背景差分処理を省略することができる。
これにより、顔検知したフレームに対する処理時間について従来の処理時間よりも増加させずに、顔探索処理を行うことができる。 Further, in the registration process by the monitoring system X according to the embodiment of the present invention, the result of the face search process is held as a face search history, and is used for execution determination of the background difference process.
That is, when a face is detected in the previous frame, the background difference process for the current frame can be omitted.
Thereby, the face search process can be performed without increasing the processing time for the face-detected frame from the conventional processing time.

また、従来技術１の画像処理装置においては、等間隔の時間で顔探索処理を行っていた。
これに対して、本発明の実施の形態に係る監視システムＸによる登録処理では、顔探索処理の前処理として、背景差分処理を実施することで、人が映っていない画像に対する処理時間を短縮できる。
また、処理対象のフレームを間引くことにより一連の画像で処理時間を短縮させることができる。また、処理対象のフレームを間引くことにより顔探索処理時間の削減だけでなく対象フレームの録画装置からの読出し処理に要する時間も削減できる。
本発明の実施の形態に係る監視システムＸにおいては、このような登録処理時間の短縮により、リアルタイムに処理できる撮像装置の数を増やすことができる。 Further, in the image processing apparatus of the prior art 1, face search processing is performed at equal intervals.
On the other hand, in the registration process by the monitoring system X according to the embodiment of the present invention, the processing time for an image in which no person is shown can be shortened by performing the background difference process as a pre-process of the face search process. .
Further, the processing time can be shortened with a series of images by thinning out the frames to be processed. Further, by thinning out the processing target frame, not only the face search processing time but also the time required for the processing for reading the target frame from the recording apparatus can be reduced.
In the monitoring system X according to the embodiment of the present invention, the number of imaging devices that can be processed in real time can be increased by reducing the registration processing time.

なお、本発明は、上述の実施の形態には限定されない。
たとえば、登録処理を録画装置４０３にて実行する構成にて説明したが、録画装置とは別の装置で実行する構成であってもよい。 The present invention is not limited to the above-described embodiment.
For example, the registration process is described as being executed by the recording apparatus 403, but may be executed by an apparatus different from the recording apparatus.

また、本発明の実施の形態においては、上述のように１つの登録処理により顔検索と検索結果を送信するように説明した。
しかし、例えば、従来通りに常時顔探索を行う登録処理と、顔探索を常時行わない登録処理を各撮像装置で撮像した画像ごとに分けて用いてもよい。 Further, in the embodiment of the present invention, the face search and the search result are transmitted by one registration process as described above.
However, for example, a registration process that always performs a face search and a registration process that does not always perform a face search may be used separately for each image captured by each imaging device.

また、本発明の実施の形態においては、本発明の処理の流れのみを説明したが、登録の対象の現フレーム番号から撮影時間帯により、登録処理の方法を変更することもできる。
たとえば、日中の時間帯の画像に対しては、従来通り常時顔探索を行う登録処理とすることができる。これにより、登録処理の誤差を少なくすることができる。
また、夜間の時間帯の画像に対しては、顔探索を常時行わない登録処理を用いてもよい。 In the embodiment of the present invention, only the processing flow of the present invention has been described. However, the registration processing method can be changed from the current frame number to be registered according to the shooting time zone.
For example, it is possible to perform a registration process in which a face search is always performed for an image in a daytime period as usual. Thereby, the error of a registration process can be reduced.
In addition, a registration process that does not always perform face search may be used for images in the night time zone.

また、本発明の実施の形態においては、事前に背景画像を作成するように説明したが、複数のフレームを処理するごとに背景画像を更新してもよい。
これにより、監視カメラの前に一定時間立ち止まっている人物に対する登録処理を省略することができる。 In the embodiment of the present invention, the background image is created in advance. However, the background image may be updated every time a plurality of frames are processed.
As a result, it is possible to omit the registration process for a person who has stopped for a certain period of time before the surveillance camera.

また、本発明の実施の形態においては、各撮像装置で映る人の領域サイズから背景差分量の閾値θを設定したが、背景画像と人が映っている複数の画像で背景差分を取り、顔が未検知だった画像での差分量の上限を閾値θとしてもよい。 In the embodiment of the present invention, the background difference amount threshold value θ is set from the area size of the person shown in each imaging device. However, the background difference is obtained from the background image and a plurality of images in which the person is shown. The upper limit of the difference amount in an image in which no detection is detected may be set as the threshold θ.

また、本発明の実施の形態においては、サンプリング間隔をＴ１、Ｔ２の二種類としたが、背景差分量に従い、複数の値を用いてもよい。 In the embodiment of the present invention, two types of sampling intervals T1 and T2 are used. However, a plurality of values may be used according to the background difference amount.

また、本発明の実施の形態においては、背景差分処理を実行するかの判定として前フレームでの顔探索結果を用いたが、連続して未検出の場合や直近の複数フレームのうち所定のフレームで未検知であるなどの条件を用いてもよい。 Further, in the embodiment of the present invention, the face search result in the previous frame is used as the determination as to whether or not the background difference processing is executed. A condition such as undetected may be used.

また、本発明の実施の形態においては、顔画像の検出処理時間の短縮による類似顔画像の登録処理時間の短縮を示したが、検出する対象が顔でない場合でも、各種の物体検出技術を用いることで、特定の物体の類似画像検索システムにも全く同様に適用できる。すなわち、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用できる。
たとえば、また本発明の実施の形態に係る監視システムＸは、ナンバープレートの検索や製品検査のようなシステムに適用可能である。 Further, in the embodiment of the present invention, the registration processing time of the similar face image is shortened by shortening the detection processing time of the face image, but various object detection techniques are used even when the target to be detected is not a face. Thus, the present invention can be applied to a similar image retrieval system for a specific object in the same manner. That is, although the person search is shown as an object, the present invention can be applied not only to a person but also to a general image search.
For example, the monitoring system X according to the embodiment of the present invention is applicable to a system such as license plate search and product inspection.

また、本発明の実施の形態においては、検索画像を、撮像装置２０１−１で撮影され録画装置４０３に記録された画像から選択する場合について示したが、例えば、撮像装置２０１−１とは異なる機器により撮影された画像とすることも可能である。 In the embodiment of the present invention, the search image is selected from images captured by the image capturing apparatus 201-1 and recorded in the recording apparatus 403. For example, the search image is different from the image capturing apparatus 201-1. It is also possible to use an image taken by a device.

また、説明の簡略化のため、図１においては撮像装置２０１−１〜２０１−ｎに対して、録画装置４０３、監視端末２０３は各１台の構成で示したが、これらはネットワーク２００に対し、複数台の接続が可能である。 For simplification of description, in FIG. 1, the recording device 403 and the monitoring terminal 203 are each configured as a single device for the imaging devices 201-1 to 201-n. Multiple units can be connected.

また本発明の実施の形態に係る監視システムＸにおいては、人物検索に関わる顔検出処理や画像特徴量算出処理等を録画装置４０３上で実行する構成にて示したが、ネットワーク２００で接続された録画装置４０３とは別の装置にて実行するようにしてもよい。 In the monitoring system X according to the embodiment of the present invention, the face detection process and the image feature amount calculation process related to the person search are shown to be executed on the recording device 403. It may be executed by a device different from the recording device 403.

また本発明の実施の形態に係る監視システムＸにおいては、録画装置４０３で、登録処理によりサムネイル画像データを完全に作成してから監視端末２０３側に送信するような構成が可能である。
さらに、登録したサムネイル画像やフレーム番号等を、監視端末２０３側に逐次送信するように構成してもよい。 Further, in the monitoring system X according to the embodiment of the present invention, the recording device 403 can be configured such that thumbnail image data is completely created by registration processing and then transmitted to the monitoring terminal 203 side.
Further, the registered thumbnail image, frame number, and the like may be sequentially transmitted to the monitoring terminal 203 side.

なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。 Note that the configuration and operation of the above-described embodiment are examples, and it is needless to say that the configuration and operation can be appropriately changed and executed without departing from the gist of the present invention.

１０１〜１２０フレーム
２００ネットワーク
２０１−１〜２０１−ｎ撮像装置
２０２、４０３録画装置
２０３監視端末
２０６、２１３ネットワーク送受信部
２０７画像記録部
２０８画像配信部
２０９画像特徴量記録部
２１０画像特徴量抽出部
２１１画像類似度判定部
２１２顔探索部
２１４検索要求部
２１５検索結果表示部
２１６画像再生部
２１７登録要求部
４０１顔探索前処理部
４０２顔探索間隔設定部
６０１、７０１、７０２、７０３、７０４処理時間
Ｘ、Ｙ監視システム 101-120 frame 200 network 201-1 to 201-n imaging device 202, 403 recording device 203 monitoring terminal 206, 213 network transmission / reception unit 207 image recording unit 208 image distribution unit 209 image feature amount recording unit 210 image feature amount extraction unit 211 Image similarity determination unit 212 Face search unit 214 Search request unit 215 Search result display unit 216 Image playback unit 217 Registration request unit 401 Face search pre-processing unit 402 Face search interval setting units 601, 701, 702, 703, 704 Processing time X Y monitoring system

Claims

複数のフレームの画像について所定の画像部分に関する情報を登録する監視システムにおける画像処理方法において、
前記複数のフレームの画像から、登録対象の映り込みによる画像の変化を画像変化量として検知するステップと、
前記画像変化量に従い、前記画像部分を探索する処理を実行するかを判定するステップと、
前記画像部分の検索結果を画像部分検索履歴として記憶するステップと、
前記画像変化量として検知するステップを実行するかを前記画像部分検索履歴により判定するステップと、
前記画像変化量及び／又は前記画像部分検索履歴の判定結果を用いてサンプリング間隔を変更するステップとを備える
ことを特徴とする画像処理方法。 In an image processing method in a monitoring system for registering information on a predetermined image portion for a plurality of frame images,
Detecting a change in image due to reflection of a registration target as an image change amount from the images of the plurality of frames;
Determining whether to perform a process of searching for the image portion according to the image change amount;
Storing the search result of the image part as an image part search history;
Determining from the image partial search history whether to perform the step of detecting as the image change amount;
And a step of changing a sampling interval using a determination result of the image change amount and / or the image partial search history.