JP4968929B2 - Image processing apparatus and image processing method - Google Patents

Description

本発明は画像処理装置、画像処理方法、プログラム及び記録媒体に関し、特に、ディジタルカメラ、ビデオカメラ、監視カメラシステム、見守りシステム、行動記録システム、産業用マシンビジョンシステム等に用いて好適な技術に関する。   The present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium, and more particularly to a technique suitable for use in a digital camera, a video camera, a surveillance camera system, a watching system, an action recording system, an industrial machine vision system, and the like.

カメラの被写体検出や監視カメラシステム等へ応用することを目的として、映像データから特定の物体を検出し、追尾する手法が提案されている。例えば、特許文献１では、カメラの自動焦点機構のために、画像中に検出領域を設定し、当該領域を移動させながら人物領域を追跡するカメラが提案されている。   For the purpose of application to camera subject detection, surveillance camera system, and the like, a method for detecting and tracking a specific object from video data has been proposed. For example, Patent Document 1 proposes a camera that sets a detection area in an image and tracks a person area while moving the area for an automatic focusing mechanism of the camera.

図２は、特定の探索領域を設けて人物を追跡する従来例を説明する図である。２０１ａ〜２０１ｃは撮影領域を示し、２０２ａ〜２０２ｃは探索領域を示す。また、２０３は時刻ｔにおける人物の検出結果を示し、２０４は時刻ｔ＋α（α：所定の検出単位）における人物の検出結果を示す。さらに、２０５はα時間に対象人物が移動した移動ベクトルを示す。   FIG. 2 is a diagram illustrating a conventional example in which a specific search area is provided to track a person. Reference numerals 201a to 201c denote photographing areas, and reference numerals 202a to 202c denote search areas. Reference numeral 203 denotes a person detection result at time t, and 204 denotes a person detection result at time t + α (α: a predetermined detection unit). Reference numeral 205 denotes a movement vector in which the target person has moved at time α.

一般的に、時刻ｔ＋αに人物が検出された場合、人物が中心となる様な探索領域２０２ｂを設定して次のフレームの検出処理を開始する。一方、より高性能な追尾を目的として、移動ベクトル２０５から探索領域２０２ａの移動方向を予測して探索領域２０２ｃを設定する手法も提案されている。例えば、特許文献２では、単位時間内の移動量を元に、顔部位の探索領域を設定する手法が提案されている。   In general, when a person is detected at time t + α, a search area 202b in which the person is the center is set and the next frame detection process is started. On the other hand, for the purpose of higher-performance tracking, a method for predicting the moving direction of the search area 202a from the movement vector 205 and setting the search area 202c has been proposed. For example, Patent Document 2 proposes a method of setting a search region for a facial part based on a movement amount within a unit time.

このように、対象物の移動方向を正確に予測して探索領域を狭領域化することができれば、より高速な物体追尾を実現することが可能になる。逆に、追尾時間が問題にならない場合は、探索領域の狭領域化により、同じ処理時間でより複雑な検出方式を適用し、検出性能を向上させることができる。また、物体検出システム等において、システムの消費電力を抑える最も有効な手段は、検出領域を限定して検出処理回数を減少させることにある。このため、より的確な予測に基づく探索領域の狭領域化が望ましい。   As described above, if the search area can be narrowed by accurately predicting the moving direction of the object, higher-speed object tracking can be realized. Conversely, when tracking time is not a problem, narrowing the search area can apply a more complex detection method with the same processing time, and improve detection performance. In an object detection system or the like, the most effective means for reducing the power consumption of the system is to limit the detection region and reduce the number of detection processes. For this reason, it is desirable to narrow the search area based on more accurate prediction.

特開昭６１−２８９１４号公報JP 61-28914 A 特開２００４−２５８９０７号公報JP 2004-258907 A 特開２００４−３１８６３２号公報JP 2004-318632 A H. Schneiderman, T. Kanade. "A Statistical Method for 3D Object Detection Applied to Faces and Cars". IEEE Conference on Computer Vision and Pattern Recognition （CVPR 2000）H. Schneiderman, T. Kanade. "A Statistical Method for 3D Object Detection Applied to Faces and Cars". IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2000) 赤松 茂"コンピュータによる顔の認識の研究動向．"電子情報通信学会誌 80，3，1997，p.257−266．Shigeru Akamatsu "Research Trend of Face Recognition by Computer." Journal of IEICE 80, 3, 1997, p.257-266.

近年の半導体技術の進歩に伴い、人物の状態や属性或いは個人の識別等を行う高次の認知技術が開発されて実用に供されている。これらの高次の認知技術にも、前処理として対象物体の追尾検出技術が必要な場合が多い。しかしながら、前述した従来例に示すように、移動ベクトルだけによる予測では、例えば、検出対象が停止状態にある場合等においては、移動ベクトルを検出できないか、もしくは検出することが難しい場合もある。このような場合では、最適な探索領域をシーンに応じて設定できないという問題点があった。   With the recent progress of semiconductor technology, higher-order cognitive technology for identifying a person's state, attribute, or individual has been developed and put into practical use. These higher-level recognition techniques often require a target object tracking detection technique as preprocessing. However, as shown in the above-described conventional example, in the prediction based only on the movement vector, for example, when the detection target is in a stopped state, the movement vector may not be detected or may be difficult to detect. In such a case, there has been a problem that the optimum search area cannot be set according to the scene.

本発明は前述の問題点に鑑み、最適な探索領域をシーンに応じて設定できるようにすることを目的としている。   An object of the present invention is to make it possible to set an optimum search area according to a scene in view of the above-described problems.

本発明の画像処理装置は、映像データを入力する映像入力手段と、前記映像入力手段によって入力された映像データを構成するフレーム内の探索領域を設定する探索領域設定手段と、前記探索領域設定手段によって設定された探索領域から人物を検出する人物検出手段と、前記人物検出手段によって検出された人物の年齢を判定する年齢判定手段とを有し、前記探索領域設定手段は、前記年齢判定手段による判定の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。
また、本発明の画像処理装置の他の特徴とするところは、映像データを入力する映像入力手段と、前記映像入力手段によって入力された映像データを構成するフレーム内の探索領域を設定する探索領域設定手段と、前記探索領域設定手段によって設定された探索領域から人物を検出する人物検出手段と、前記人物検出手段によって検出された人物がどの個人であるかを識別する個人識別手段とを有し、前記探索領域設定手段は、前記個人識別手段による識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。 The image processing apparatus according to the present invention includes video input means for inputting video data, search area setting means for setting a search area within a frame constituting the video data input by the video input means, and the search area setting means. a person detection means for detecting a person from the search area set by, and an age determining means for determining the age of the person detected by the person detecting unit, the search area setting unit, by the age determination means A search region for the next frame is set based on the determination result.
Another feature of the image processing apparatus of the present invention is that a video input means for inputting video data and a search area for setting a search area in a frame constituting the video data input by the video input means. comprising a setting unit, and person detection means for detecting a person from the search area set by the search area setting unit, and a personal identification means for identifying whether any individual person detected by said human detection unit The search area setting means sets a search area for the next frame based on the result of identification by the personal identification means.

本発明の画像処理方法は、映像データを入力する映像入力工程と、前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、前記探索領域設定工程において設定した探索領域から人物を検出する被写体検出工程と、前記被写体検出工程において検出した人物の年齢を判定する年齢判定工程とを有し、前記探索領域設定工程においては、前記年齢判定工程における判定の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。
また、本発明の画像処理方法の他の特徴とするところは、映像データを入力する映像入力工程と、前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、前記探索領域設定工程において設定した探索領域から人物を検出する被写体検出工程と、前記被写体検出工程において検出した人物がどの個人であるかを識別する個人識別工程とを有し、前記探索領域設定工程においては、前記個人識別工程における識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。 The image processing method of the present invention includes a video input process for inputting video data, a search area setting process for setting a search area in a frame constituting the video data input in the video input process, and the search area setting process. a subject detection step of detecting a person from the set search area, said and an age determination step of determining the age of a person detected in the subject detection step, in the search area setting step, the determination in the age determination step Based on the result, a search area for the next frame is set.
Another feature of the image processing method of the present invention is that a video input process for inputting video data and a search area setting for setting a search area in a frame constituting the video data input in the video input process. And a subject detection step for detecting a person from the search region set in the search region setting step, and a personal identification step for identifying which individual the person detected in the subject detection step is. In the region setting step, a search region for the next frame is set based on the identification result in the personal identification step.

本発明のプログラムは、映像データを入力する映像入力工程と、前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、前記探索領域設定工程において設定した探索領域から人物を検出する被写体検出工程と、前記被写体検出工程において検出した人物の年齢を判定する年齢判定工程とをコンピュータに実行させ、前記探索領域設定工程においては、前記年齢判定工程における判定の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。
また、本発明のプログラムの他の特徴とするところは、映像データを入力する映像入力工程と、前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、前記探索領域設定工程において設定した探索領域から人物を検出する被写体検出工程と、前記被写体検出工程において検出した人物がどの個人であるかを識別する個人識別工程とをコンピュータに実行させ、前記探索領域設定工程においては、前記個人識別工程における識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。 The program of the present invention is set in the video input process for inputting video data, the search area setting process for setting the search area in the frame constituting the video data input in the video input process, and the search area setting process a subject detection step of detecting a person from the search area, said to execute the age determination step of determining the age of a person detected in the subject detection step to the computer, in the search area setting step, the determination in the age determination step based on the results, and wherein the benzalkonium set the search area of the next frame.
Another feature of the program of the present invention is that a video input process for inputting video data, and a search area setting process for setting a search area in a frame constituting the video data input in the video input process, , Causing the computer to execute a subject detection step for detecting a person from the search region set in the search region setting step, and a personal identification step for identifying which person the person detected in the subject detection step is. in the area setting step, based on the result of the identification in the personal identification process, characterized by the Turkey to set the search region of the next frame.

本発明の記録媒体は、前記の何れかに記載のプログラムを記録したことを特徴とする。   A recording medium according to the present invention records any one of the programs described above.

本発明によれば、被写体の状況を識別し、その識別の結果に従って次のフレームの探索領域を設定するようにしたので、被写体が停止している場合等であっても、最適な探索領域をシーンに応じて設定することができる。これにより、被写体の追尾性能を向上させることができる。   According to the present invention, the situation of the subject is identified, and the search area of the next frame is set according to the result of the identification. Therefore, even when the subject is stopped, the optimum search area is selected. It can be set according to the scene. Thereby, the tracking performance of the subject can be improved.

（第１の実施形態）
以下、図面を参照しながら本発明に係る第１の実施形態の追尾処理に関して詳細に説明する。
図１は、本実施形態における追尾処理の手順の一例を示すフローチャートである。また、図３は、本実施形態に係る追尾処理を、マイクロプロセッサを用いて実現する場合の画像処理装置の構成例を示すブロック図である。以下、図１及び図３を参照しながら本実施形態の動作を説明する。 (First embodiment)
Hereinafter, the tracking process according to the first embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a flowchart illustrating an example of the procedure of the tracking process in the present embodiment. FIG. 3 is a block diagram illustrating a configuration example of an image processing apparatus when the tracking processing according to the present embodiment is realized using a microprocessor. The operation of this embodiment will be described below with reference to FIGS.

まず、本実施形態に係る画像処理装置３００を監視カメラ装置に応用した場合の例について説明する。図３において、３０１はＣＰＵ（Central Processing Unit）であり、本実施形態に関わる画像処理の全てをソフトウェアにより実現する。ＣＰＵ３０１はＤＳＰ（Digital Signal Processor）やメディアプロセッサ或いは特定の画像処理機能に特化したプロセッサ等からなる。   First, an example in which the image processing apparatus 300 according to the present embodiment is applied to a monitoring camera apparatus will be described. In FIG. 3, reference numeral 301 denotes a CPU (Central Processing Unit), which realizes all image processing according to the present embodiment by software. The CPU 301 includes a DSP (Digital Signal Processor), a media processor, or a processor specialized for a specific image processing function.

３０２はブリッジであり、高速なＣＰＵバス３０３と低速なシステムバス３０４とをブリッジする機能を有する。また、ブリッジ３０２は、メモリコントロール機能を内蔵し、ブリッジ３０２に接続されたＲＡＭ（Random Access Memory）３０５へアクセスする制御を行う機能を有する。さらにブリッジ３０２は、システムバス３０４につながっているデバイスとＲＡＭ３０５との間のデータ転送を司るＤＭＡＣ（Direct Memory Access Controller）機能を内蔵する。   A bridge 302 has a function of bridging the high-speed CPU bus 303 and the low-speed system bus 304. The bridge 302 includes a memory control function and has a function of controlling access to a RAM (Random Access Memory) 305 connected to the bridge 302. Further, the bridge 302 includes a DMAC (Direct Memory Access Controller) function for managing data transfer between the device connected to the system bus 304 and the RAM 305.

ＲＡＭ３０５はＣＰＵ３０１の動作に必要なメモリであり、ＳＤＲＡＭ（Synchronous DRAM）／ＤＤＲ（Double Data Rate SDRAM）／ＲＤＲＡＭ（Rambus DRAM）等の大容量高速メモリにより構成されている。また、ＲＡＭ３０５は画像データバッファ等としても利用される。   The RAM 305 is a memory necessary for the operation of the CPU 301, and is constituted by a large-capacity high-speed memory such as SDRAM (Synchronous DRAM) / DDR (Double Data Rate SDRAM) / RDRAM (Rambus DRAM). The RAM 305 is also used as an image data buffer.

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）３０６は、ＣＰＵ３０１の動作に必要なインストラクションデータ及び各種設定データを格納するためのメモリである。なお、システムを初期化する時は、ＥＥＰＲＯＭ３０６に格納したブートローダプログラムによりインストラクションデータはＲＡＭ３０５に転送される。以降、ＣＰＵ３０１はＲＡＭ３０５上のインストラクションデータに従って処理を行う。   An EEPROM (Electrically Erasable Programmable Read-Only Memory) 306 is a memory for storing instruction data and various setting data necessary for the operation of the CPU 301. When the system is initialized, the instruction data is transferred to the RAM 305 by the boot loader program stored in the EEPROM 306. Thereafter, the CPU 301 performs processing according to the instruction data on the RAM 305.

３０７はＲＴＣ（Real Time Clock）ＩＣであり、時間管理／カレンダ管理を行う専用デバイスである。通信インターフェース部３０８は、宅内の回線接続装置（各種モデムやルーター）と本装置とを接続するために必要な処理部である。通信インターフェース部３０８は、例えば、無線ＬＡＮ（IEEE802.11b/IEEE802.11a/IEEE802.11g等）の物理層及び下位レイヤプロトコルを処理する。   Reference numeral 307 denotes an RTC (Real Time Clock) IC, which is a dedicated device that performs time management / calendar management. The communication interface unit 308 is a processing unit necessary for connecting the home line connection device (various modems and routers) and the present device. The communication interface unit 308 processes, for example, a physical layer and lower layer protocol of a wireless LAN (IEEE802.11b / IEEE802.11a / IEEE802.11g, etc.).

３１０は映像入力部であり、ＣＣＤ（Charge-Coupled Devices）／ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサー等の光電変換デバイスを含む。また、光電変換デバイスを制御するドライバー回路・各種画像補正を司る信号処理回路も含む。   A video input unit 310 includes a photoelectric conversion device such as a charge-coupled device (CCD) / Complimentary Metal Oxide Semiconductor (CMOS) sensor. Also included are a driver circuit that controls the photoelectric conversion device and a signal processing circuit that controls various image corrections.

３１１は映像入力インターフェース部であり、映像入力部３１０から同期信号とともに出力されるラスタ画像データをディジタルデータに変換する。そして、フレームバッファ（映像入力インターフェース部３１１が具備する図示しないメモリ）にバッファリングする。映像入力インターフェース部３１１にバッファリングされたディジタル画像データは、ブリッジ３０２に内蔵されたＤＭＡＣを利用して、ＲＡＭ３０５上の所定のアドレスに転送される。   A video input interface unit 311 converts raster image data output from the video input unit 310 together with a synchronization signal into digital data. Then, it is buffered in a frame buffer (a memory (not shown) provided in the video input interface unit 311). The digital image data buffered in the video input interface unit 311 is transferred to a predetermined address on the RAM 305 by using a DMAC built in the bridge 302.

ＣＰＵ３０１は、ブリッジ３０２が生成するＤＭＡ転送終了割り込み信号を元に、ＲＡＭ３０５に保持されたディジタル画像データに対して各種処理を開始する。なお、画像処理装置３００は図示しない電源部も有する。電源部は、例えば充電可能な２次電池により給電される。また、通信インターフェース部３０８が有線ＬＡＮの場合は、Power Over Ethernet（登録商標）等により給電される。   The CPU 301 starts various processes for the digital image data held in the RAM 305 based on the DMA transfer end interrupt signal generated by the bridge 302. The image processing apparatus 300 also has a power supply unit (not shown). The power supply unit is powered by a rechargeable secondary battery, for example. When the communication interface unit 308 is a wired LAN, power is supplied by Power Over Ethernet (registered trademark) or the like.

図１は、本実施形態における追尾処理の手順の一例を示すフローチャートである。なお、図１のフローチャートに示す各処理は、ＥＥＰＲＯＭ３０６などからＲＡＭ３０５にロードされたプログラムをＣＰＵ３０１が実行することによって実現される。
電源が投入されると処理を開始する。まず、ステップＳ１０１において、各種初期化処理を実行する。初期化処理では、ＥＥＰＲＯＭ３０６からＲＡＭ３０５へインストラクションデータのロード、各種ハードウェアの初期化処理、ネットワーク接続のための処理等を実行する。さらに、初期化処理では、ＣＰＵ３０１が探索領域設定手段として機能し、人物を検出するための初期探索領域を設定する。 FIG. 1 is a flowchart illustrating an example of the procedure of the tracking process in the present embodiment. 1 is realized by the CPU 301 executing a program loaded from the EEPROM 306 or the like into the RAM 305.
The process starts when the power is turned on. First, in step S101, various initialization processes are executed. In the initialization processing, instruction data is loaded from the EEPROM 306 to the RAM 305, various hardware initialization processing, processing for network connection, and the like are executed. Further, in the initialization process, the CPU 301 functions as a search area setting unit and sets an initial search area for detecting a person.

図４（ａ）は、初期探索領域の設定例を示す図である。４０１は入力画像（フレーム）を示し、４０２は人物を検出するためのフレーム内の初期の探索領域を示す。探索領域４０２は矩形領域で表され、入力画像４０１上の開始位置座標４０３、探索領域水平幅４０４及び探索領域垂直高さ４０５の３つのパラメータを有する。そして、ＣＰＵ３０１により当該パラメータをＲＡＭ３０５上の所定の領域に保持するようにする。   FIG. 4A is a diagram illustrating an example of setting an initial search area. Reference numeral 401 denotes an input image (frame), and 402 denotes an initial search area in the frame for detecting a person. The search area 402 is represented by a rectangular area, and has three parameters: a start position coordinate 403 on the input image 401, a search area horizontal width 404, and a search area vertical height 405. Then, the CPU 301 holds the parameter in a predetermined area on the RAM 305.

なお、初期の探索領域４０２は、目的に応じて任意の位置・大きさに設定することができる。例えば、特定の領域に侵入した人物を追尾する様なアプリケーションでは、入力画像４０１中の該当する領域を初期の探索領域４０２に設定する。以降、後述するステップＳ１０２〜ステップＳ１０８において、人物の追尾処理を繰り返す。   The initial search area 402 can be set to an arbitrary position and size according to the purpose. For example, in an application that tracks a person who has entered a specific area, the corresponding area in the input image 401 is set as the initial search area 402. Thereafter, in steps S102 to S108 described later, the person tracking process is repeated.

次に、ステップＳ１０２において、映像入力インターフェース部３１１のフレームバッファに格納された１フレームの画像データをＲＡＭ３０５に転送する。画像データを転送する際には、ブリッジ３０２に内蔵されたＤＭＡＣを利用する。   In step S <b> 102, one frame of image data stored in the frame buffer of the video input interface unit 311 is transferred to the RAM 305. When transferring image data, the DMAC built in the bridge 302 is used.

ＤＭＡＣによる画像データの転送が終了すると、ステップＳ１０３において、ＣＰＵ３０１が被写体検出手段として機能し、人物（被写体）の顔検出処理を開始する。そして、ステップＳ１０４において、人物の顔を検出したか否かを判断する。この判断の結果、人物の顔を検出しなかった場合は、ステップＳ１０６に進む。一方、ステップＳ１０４の判断の結果、人物の顔を検出した場合は、次のステップＳ１０５において、ＣＰＵ３０１が状況識別手段として機能し、被写体の状況の検出を行う。具体的には、顔の向きの検出を行う。   When the transfer of the image data by the DMAC is completed, in step S103, the CPU 301 functions as a subject detection unit and starts a face detection process for a person (subject). In step S104, it is determined whether a human face has been detected. If the result of this determination is that a person's face has not been detected, processing proceeds to step S106. On the other hand, if the result of determination in step S104 is that a person's face has been detected, in the next step S105, the CPU 301 functions as status identification means and detects the status of the subject. Specifically, the face orientation is detected.

本実施形態では、人物の顔を検出することによって当該人物の追尾を行う。顔検出処理は、ＲＡＭ３０５に記録された画像データ内の初期の探索領域４０２に対して検出処理を行う。本実施形態の顔検出処理は従来提案されている手法を利用する。例えば、非特許文献１には、統計的な手法を用いて画像から人物の顔とその向きを検出する方式が開示されている。   In this embodiment, the person is tracked by detecting the face of the person. In the face detection processing, detection processing is performed on the initial search area 402 in the image data recorded in the RAM 305. The face detection process of the present embodiment uses a conventionally proposed method. For example, Non-Patent Document 1 discloses a method of detecting a person's face and its orientation from an image using a statistical method.

一般的に、向き（姿勢）の異なる人物を高精度に認識する場合は、図５に示すように、検出対象画像に対して向きに応じて、右向き顔検出器５０１、正面向き顔検出器５０２、及び左向き顔検出器５０３を用意する。そして、当該検出器の出力値を統合処理部５０４で統合判定することにより、顔の存在有無の結果５０５と顔の向きの結果５０６とを出力する。   In general, when recognizing a person with a different orientation (posture) with high accuracy, as shown in FIG. 5, a right-facing face detector 501 and a front-facing face detector 502 according to the orientation with respect to the detection target image. , And a left-facing face detector 503 are prepared. Then, the output value of the detector is integrated and determined by the integration processing unit 504, thereby outputting the result 505 of the presence / absence of a face and the result 506 of the face orientation.

統合処理部５０４は、例えば、右向き顔検出器５０１、正面向き顔検出器５０２、及び左向き顔検出器５０３からの出力結果を比較することによって顔の向きを決定する。なお、出力値に応じた中間角度を顔の向きの結果５０６として出力する等の方法を用いてもよい。図５に示すような方法を用いる場合は、統合処理部５０４により、図１のステップＳ１０５に相当する処理が行われる。   For example, the integrated processing unit 504 determines the face direction by comparing the output results from the right-facing face detector 501, the front-facing face detector 502, and the left-facing face detector 503. A method of outputting an intermediate angle according to the output value as the face orientation result 506 may be used. When the method shown in FIG. 5 is used, the integration processing unit 504 performs processing corresponding to step S105 in FIG.

次に、ステップＳ１０６において、ステップＳ１０３、Ｓ１０５で得られた顔の存在有無及び顔の向きに関する情報を出力する。具体的には、ステップＳ１０２で得られた画像データを人物の検知情報とともにMotion-JPEG（Joint Photographic Experts Group）等の圧縮方式で圧縮する。そして、通信インターフェース部３０８を介して遠隔地のユーザに伝送する。圧縮処理及び通信に関するプロトコル処理等は全てＣＰＵ３０１の制御により行われる。   Next, in step S106, information on the presence / absence of the face and the orientation of the face obtained in steps S103 and S105 is output. Specifically, the image data obtained in step S102 is compressed together with human detection information by a compression method such as Motion-JPEG (Joint Photographic Experts Group). Then, the data is transmitted to a remote user via the communication interface unit 308. All the compression processing and protocol processing related to communication are performed under the control of the CPU 301.

次に、ステップＳ１０７において、人物の追尾処理が終了したか否かを判断する。１フレームの処理が終了すると次のフレームの処理を開始する。したがって、ステップＳ１０７においては、最終フレームまで人物の追尾処理が終了したか否かを判断する。この判断の結果、最終フレームまで人物の追尾処理が終了した場合は、処理を終了する。一方、ステップＳ１０７の判断の結果、最終フレームまで人物の追尾処理が終了していない場合は、ステップＳ１０８に進む。   Next, in step S107, it is determined whether or not the person tracking process is completed. When processing of one frame is completed, processing of the next frame is started. Therefore, in step S107, it is determined whether or not the person tracking process has been completed up to the final frame. If the result of this determination is that the person tracking process has been completed up to the final frame, the process ends. On the other hand, if it is determined in step S107 that the person tracking process has not been completed up to the final frame, the process proceeds to step S108.

次に、ステップＳ１０８において、ＣＰＵ３０１が探索領域設定手段として機能し、探索領域を再設定する。ステップＳ１０４の判断の結果、人物の顔が検出されなかった場合は、当該処理ステップでは、ステップＳ１０１の初期化処理で設定した領域と同じ領域をＲＡＭ３０５に設定する。また、ステップＳ１０４の判断の結果、人物の顔が検出された場合、ステップＳ１０５の顔向き判定処理の結果に従って所定の探索領域を設定する。   Next, in step S108, the CPU 301 functions as a search area setting unit and resets the search area. If the face of the person is not detected as a result of the determination in step S104, the same area as that set in the initialization process in step S101 is set in the RAM 305 in this processing step. If a human face is detected as a result of the determination in step S104, a predetermined search area is set according to the result of the face orientation determination process in step S105.

図４（ｂ）は顔向きと探索領域の設定との関係を示す図である。４０６ａ〜４０６ｃは入力画像の領域を示す。４０８ｂは正面顔の位置であり、４０７ｂは正面顔が検出された場合に設定する次フレーム内の探索領域を示す。正面顔が検出された場合は、探索領域４０２の水平方向の中心を顔中心に一致させる。４０８ａは右向き顔の位置であり、４０７ａは右向き顔が検出された場合に設定する次フレーム内の探索領域を示す。右向き顔が検出された場合は、探索領域４０２の水平方向中心位置を右側にずらす。また、４０８ｃは左向き顔の位置であり、４０７ｃは左向き顔が検出された場合に設定する次フレーム内の探索領域を示す。左向き顔が検出された場合は、探索領域４０２の水平方向中心位置を左側にずらす。   FIG. 4B is a diagram showing the relationship between the face orientation and the search area setting. Reference numerals 406a to 406c denote areas of the input image. Reference numeral 408b denotes the position of the front face, and reference numeral 407b denotes a search area in the next frame set when the front face is detected. When a front face is detected, the horizontal center of the search area 402 is matched with the face center. Reference numeral 408a denotes a position of the right-facing face, and reference numeral 407a denotes a search area in the next frame set when the right-facing face is detected. When a rightward face is detected, the horizontal center position of the search area 402 is shifted to the right. Reference numeral 408c denotes the position of the left-facing face, and reference numeral 407c denotes a search area in the next frame set when the left-facing face is detected. When the left face is detected, the horizontal center position of the search area 402 is shifted to the left.

例えば、予め定める比率α（％）とすると、現在の顔向きの検出結果に応じて以下の式により探索領域４０２の水平方向開始位置（以下のX start）を決定する。
X start ＝ X face −（１＋顔向き×α）×探索領域幅／２
（X face：顔中心水平位置、X start：探索領域開始水平位置、顔向き：右向き＝−１／左向き＝１／正面顔＝０） For example, assuming a predetermined ratio α (%), the horizontal direction start position (hereinafter referred to as X start) of the search region 402 is determined by the following equation according to the current face orientation detection result.
X start = X face − (1 + face orientation × α) × search area width / 2
(X face: face center horizontal position, X start: search area start horizontal position, face orientation: right facing = -1 / left facing = 1 / front face = 0)

以上の式により、顔の向きと同じ方向に所定の割合で探索領域４０２をずらす。
以上、ステップＳ１０７では顔向き検出結果を利用して探索領域４０２の水平方向開始位置を補正する。ここで決定した探索領域を示す座標データはＲＡＭ３０５の所定の領域に格納され、次のフレームの顔検出処理（ステップＳ１０３）及び顔向き判定処理（ステップＳ１０５）の処理領域として利用される。 By the above formula, the search area 402 is shifted at a predetermined rate in the same direction as the face direction.
As described above, in step S107, the horizontal direction start position of the search area 402 is corrected using the face orientation detection result. The coordinate data indicating the search area determined here is stored in a predetermined area of the RAM 305 and is used as a process area for the face detection process (step S103) and the face orientation determination process (step S105) of the next frame.

以上のようにステップＳ１０１〜ステップＳ１０８を繰り返すことにより、映像中の人物を追跡し、その映像及び情報を遠隔地のユーザに通知する。なお、本実施形態では顔の向き（正面或いは横）に応じて探索領域を一定の比率でずらしたが、より正確な顔の角度が得られる場合は、当該角度に応じて探索領域をずらすように比率を変更してもよい。   By repeating steps S101 to S108 as described above, the person in the video is tracked, and the video and information are notified to the remote user. In this embodiment, the search area is shifted at a constant ratio according to the face direction (front or side). However, when a more accurate face angle is obtained, the search area is shifted according to the angle. The ratio may be changed.

また、顔の向きに応じた探索領域をテーブルデータとしてＲＡＭ３０５に予め保持し、顔向きの判定結果に従ってテーブルを参照する様な構成でもよい。さらに、顔の上下方向の向きも考慮して探索領域を決定してもよい。その場合、探索領域の垂直方向の位置も顔向き判定結果に従ってずらすことになる。   Alternatively, the search area corresponding to the face orientation may be stored in advance in the RAM 305 as table data, and the table may be referred to according to the face orientation determination result. Further, the search area may be determined in consideration of the vertical direction of the face. In this case, the vertical position of the search area is also shifted according to the face orientation determination result.

以上のように本実施形態によれば、人物の顔の向きに基づいて当該人物の移動方向を予測し、この予測に基づいて探索領域を設定するようにしたので、人物が停止している場合等であっても、最適な探索領域を設定することが可能になる。これにより、追跡性能を向上させることが可能になる。   As described above, according to the present embodiment, the movement direction of the person is predicted based on the orientation of the person's face, and the search area is set based on the prediction. Even in such a case, it is possible to set an optimal search area. As a result, the tracking performance can be improved.

（第２の実施形態）
以下、図面を参照しながら本発明に係る第２の実施形態の追尾処理に関して詳細に説明する。
図６は、本実施形態における追尾処理の手順の一例を示すフローチャートである。本実施形態は、人物の属性情報を識別する機能を有する行動パターン記録システムや監視システム等に応用した場合の例である。なお、機能構成については、第１の実施形態の図３に示した画像処理装置３００と同様であるため、説明は省略する。また、図６のフローチャートに示す各処理は、ＲＡＭ３０５にロードされたプログラムを用いて、ＣＰＵ３０１によって制御される。 (Second Embodiment)
Hereinafter, the tracking process according to the second embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 6 is a flowchart illustrating an example of the procedure of the tracking process in the present embodiment. The present embodiment is an example when applied to an action pattern recording system or a monitoring system having a function of identifying person attribute information. The functional configuration is the same as that of the image processing apparatus 300 shown in FIG. 3 of the first embodiment, and a description thereof will be omitted. Each process shown in the flowchart of FIG. 6 is controlled by the CPU 301 using a program loaded in the RAM 305.

電源が投入されると処理を開始する。まず、ステップＳ６０１において、各種初期化処理を実行する。なお、ステップＳ６０１の初期化処理は第１の実施形態のステップＳ１０１と同じであるため説明を省略する。以降、後述するステップＳ６０２〜ステップＳ６０８で人物の追尾処理を繰り返す。   The process starts when the power is turned on. First, in step S601, various initialization processes are executed. Note that the initialization process in step S601 is the same as step S101 in the first embodiment, and a description thereof will be omitted. Thereafter, the person tracking process is repeated in steps S602 to S608 described later.

次に、ステップＳ６０２において、映像入力インターフェース部３１１のフレームバッファに格納された１フレームの画像データをＲＡＭ３０５に転送する。画像データを転送する際には、ブリッジ３０２に内蔵されたＤＭＡＣを利用する。   In step S <b> 602, one frame of image data stored in the frame buffer of the video input interface unit 311 is transferred to the RAM 305. When transferring image data, the DMAC built in the bridge 302 is used.

ＤＭＡＣによる転送が終了すると、ステップＳ６０３において、ＣＰＵ３０１が被写体検出手段として機能し、人物（被写体）の顔検出処理を開始する。そして、ステップＳ６０４において、人物の顔を検出したか否かを判断する。この判断の結果、人物の顔を検出しなかった場合は、ステップＳ６０６に進む。一方、ステップＳ６０４の判断の結果、人物の顔を検出した場合は、次のステップＳ６０５に進む。本実施形態においても第１の実施形態と同様に人物の顔を検出することによって当該人物の追尾を行う。顔検出処理は、ＲＡＭ３０５に記録された画像データ内の探索領域に対して検出処理を行う。なお、ステップＳ６０３の顔検出処理は、第１の実施形態と同様でよい。   When the transfer by the DMAC is completed, in step S603, the CPU 301 functions as a subject detection unit and starts a face detection process for a person (subject). In step S604, it is determined whether a human face has been detected. If the result of this determination is that a person's face has not been detected, processing proceeds to step S606. On the other hand, if it is determined in step S604 that a person's face has been detected, the process proceeds to the next step S605. Also in this embodiment, the person is tracked by detecting the face of the person as in the first embodiment. In the face detection process, the detection process is performed on the search area in the image data recorded in the RAM 305. Note that the face detection processing in step S603 may be the same as in the first embodiment.

次に、ステップＳ６０５において、ＣＰＵ３０１が属性識別手段として機能し、人物の属性を判定する。本実施形態では、第１の実施形態とは異なり、人物の年齢を判定する。本実施形態における年齢の判定に関しては、従来提案されている手法を利用する。例えば、特許文献３には、顔画像データを用いて人物の年齢を推定する手法が開示されている。   Next, in step S605, the CPU 301 functions as an attribute identification unit, and determines the attribute of the person. In the present embodiment, unlike the first embodiment, the age of a person is determined. For age determination in the present embodiment, a conventionally proposed method is used. For example, Patent Literature 3 discloses a technique for estimating the age of a person using face image data.

次に、ステップＳ６０６において、ステップＳ６０３、Ｓ６０５で得られた顔の存在有無及び人物の年齢に関する情報を出力する。具体的には、ステップＳ６０２で得られた画像データを人物の検知情報とともにMotion-JPEG等の圧縮方式で圧縮する。そして、通信インターフェース部３０８を介して遠隔地のユーザに伝送する。   Next, in step S606, information regarding the presence / absence of the face and the age of the person obtained in steps S603 and S605 is output. Specifically, the image data obtained in step S602 is compressed together with the person detection information by a compression method such as Motion-JPEG. Then, the data is transmitted to a remote user via the communication interface unit 308.

次に、ステップＳ６０７において、人物の追尾処理が終了したか否かを判断する。１フレームの処理が終了すると次のフレームの処理を開始する。したがって、ステップＳ６０７においては、最終フレームまで人物の追尾処理が終了したか否かを判断する。この判断の結果、最終フレームまで人物の追尾処理が終了した場合は、処理を終了する。一方、ステップＳ６０７の判断の結果、最終フレームまで人物の追尾処理が終了していない場合は、ステップＳ６０８に進む。   Next, in step S607, it is determined whether or not the person tracking process is completed. When processing of one frame is completed, processing of the next frame is started. Therefore, in step S607, it is determined whether or not the person tracking process has been completed up to the final frame. If the result of this determination is that the person tracking process has been completed up to the final frame, the process ends. On the other hand, if it is determined in step S607 that the person tracking process has not been completed up to the final frame, the process proceeds to step S608.

次に、ステップＳ６０８において、ＣＰＵ３０１が探索領域設定手段として機能し、探索領域を再設定する。ステップＳ６０４の判断の結果、人物の顔が検出されなかった場合は、当該処理ステップでは、ステップＳ６０１の初期化処理で設定した領域と同じ領域をＲＡＭ３０５に設定する。また、ステップＳ６０４の判断の結果、人物の顔が検出された場合は、ステップＳ６０５の属性判定処理の結果に従って所定の探索領域を設定する。   Next, in step S608, the CPU 301 functions as a search area setting unit and resets the search area. If the face of the person is not detected as a result of the determination in step S604, the same area as that set in the initialization process in step S601 is set in the RAM 305 in this processing step. If a face of a person is detected as a result of the determination in step S604, a predetermined search area is set according to the result of the attribute determination process in step S605.

図７は、人物の年齢と探索領域の設定との関係を示す図である。７０１ａ、７０１ｂは入力画像の領域を示す。７０２ａはステップＳ６０５で子供の年齢と判定された場合に設定する次フレームの探索領域を示し、７０３ａは検出された顔の位置を示す。また、７０２ｂはステップＳ６０５で高齢者の年齢と判定された場合に設定する次フレームの探索領域を示し、７０３ｂは検出された顔の位置を示す。ここでは、子供の場合は、よく動き回るので探索範囲を大きくとり、高齢者の場合は探索範囲を小さくしている。   FIG. 7 is a diagram illustrating the relationship between the age of a person and the setting of a search area. Reference numerals 701a and 701b denote input image areas. Reference numeral 702a denotes a search area for the next frame to be set when it is determined that the child's age is determined in step S605, and reference numeral 703a denotes a detected face position. Reference numeral 702b denotes a search area of the next frame that is set when it is determined that the age of the elderly is determined in step S605, and reference numeral 703b denotes the position of the detected face. In this case, since the child moves around frequently, the search range is set large, and for the elderly, the search range is set small.

本実施形態では、検出された人物の年齢に応じて次フレームで設定する探索領域の幅及び高さを補正する。例えば、予め定める比率α（％）とすると、年齢の検出結果に応じて以下の式により探索領域水平幅４０４及び探索領域垂直高さ４０５を決定する。なお、探索領域の中心位置は顔位置の中心とする。
W horizontal＝（１＋年齢パラメータ×α）×標準探索領域幅
W vertical＝（１＋年齢パラメータ×α）×標準探索領域高さ
（ここで、W horizontal：探索領域水平幅、W vertical：探索領域垂直高さ、年齢パラメータ：高齢者＝−１／子供＝１／一般成人＝０） In this embodiment, the width and height of the search area set in the next frame are corrected according to the detected age of the person. For example, assuming a predetermined ratio α (%), the search area horizontal width 404 and the search area vertical height 405 are determined by the following formulas according to the age detection result. The center position of the search area is the center of the face position.
W horizontal = (1 + age parameter × α) × standard search area width
W vertical = (1 + age parameter × α) × standard search area height (W horizontal: search area horizontal width, W vertical: search area vertical height, age parameter: elderly = −1 / child = 1 / General adult = 0)

以上の式により、ステップＳ６０８においては、年齢の検出結果を利用して探索領域の水平方向の幅及び垂直方向の高さを補正する。ここで決定した探索領域を示す座標データはＲＡＭ３０５の所定の領域に格納され、次のフレームの顔検出処理（ステップＳ６０３）及び属性判定処理（ステップＳ６０５）の処理領域として利用される。なお、探索領域の決定は前述した式に限定するわけではない。例えば、年齢に応じた探索領域をテーブルデータとしてＲＡＭ３０５に予め保持し、年齢判定結果に従ってテーブルを参照する様な構成でもよい。   From the above formula, in step S608, the horizontal width and vertical height of the search area are corrected using the age detection result. The coordinate data indicating the search area determined here is stored in a predetermined area of the RAM 305 and used as a process area for the face detection process (step S603) and attribute determination process (step S605) of the next frame. The determination of the search area is not limited to the above formula. For example, a configuration in which a search area corresponding to age is previously stored in the RAM 305 as table data and the table is referred to according to the age determination result may be used.

以上のように本実施形態によれば、人物の年齢を認識する機能を有する行動パターン記録装置や監視システム等において、人物の年齢に基づいて当該人物の移動範囲を予測するようにした。これにより、人物が停止している場合等でも、最適な探索領域を予測することが可能になる。したがって、検出・追跡に関わる処理負荷を低減することが可能になる。   As described above, according to the present embodiment, the movement range of the person is predicted based on the age of the person in the behavior pattern recording device or the monitoring system having a function of recognizing the age of the person. This makes it possible to predict an optimal search area even when a person is stopped. Therefore, it is possible to reduce the processing load related to detection / tracking.

（第３の実施形態）
以下、図面を参照しながら本発明に係る第３の実施形態の追尾処理に関して詳細に説明する。
図８は、本実施形態における追尾処理の手順の一例を示すフローチャートである。本実施形態は、人物の認証機能を有するホームセキュリティシステムや監視システム等に応用した場合の例である。なお、機能構成については、第１の実施形態の図３に示した画像処理装置３００と同様であるため、説明は省略する。また、図８のフローチャートに示す各処理は、ＲＡＭ３０５にロードされたプログラムを用いて、ＣＰＵ３０１によって制御される。 (Third embodiment)
Hereinafter, the tracking process according to the third embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 8 is a flowchart illustrating an example of the procedure of the tracking process in the present embodiment. This embodiment is an example when applied to a home security system or a monitoring system having a person authentication function. The functional configuration is the same as that of the image processing apparatus 300 shown in FIG. 3 of the first embodiment, and a description thereof will be omitted. Each process shown in the flowchart of FIG. 8 is controlled by the CPU 301 using a program loaded in the RAM 305.

電源が投入されると処理を開始する。まず、ステップＳ８０１において、各種初期化処理を実行する。なお、ステップＳ８０１の初期化処理は第１の実施形態のステップＳ１０１と同じであるため説明を省略する。以降、後述するステップＳ８０２〜ステップＳ８０８で人物の追尾処理を繰り返す。   The process starts when the power is turned on. First, in step S801, various initialization processes are executed. Note that the initialization process in step S801 is the same as step S101 in the first embodiment, and a description thereof will be omitted. Thereafter, the person tracking process is repeated in steps S802 to S808 described later.

次に、ステップＳ８０２において、映像入力インターフェース部３１１のフレームバッファに格納された１フレームの画像データをＲＡＭ３０５に転送する。画像データを転送する際には、ブリッジ３０２に内蔵するＤＭＡＣを利用する。   In step S <b> 802, one frame of image data stored in the frame buffer of the video input interface unit 311 is transferred to the RAM 305. When transferring image data, a DMAC built in the bridge 302 is used.

ＤＭＡＣによる転送が終了すると、ステップＳ８０３において、ＣＰＵ３０１が被写体検出手段として機能し、人物（被写体）の顔検出処理を開始する。そして、ステップＳ８０４において、人物の顔を検出したか否かを判断する。この判断の結果、人物の顔を検出しなかった場合は、ステップＳ８０６に進む。一方、ステップＳ８０４の判断の結果、人物の顔を検出した場合は、次のステップＳ８０５に進む。本実施形態においても、第１及び第２の実施形態と同様に、人物の顔を検出することによって当該人物の追尾を行う。顔検出処理は、ＲＡＭ３０５に記録された画像データ内の探索領域に対して検出処理を行う。なお、ステップＳ８０３の顔検出処理は第１の実施形態と同様の方法で行う。   When the transfer by the DMAC is completed, in step S803, the CPU 301 functions as a subject detection unit and starts face detection processing of a person (subject). In step S804, it is determined whether a human face has been detected. If the result of this determination is that a person's face has not been detected, processing proceeds to step S806. On the other hand, if it is determined in step S804 that a human face has been detected, the process proceeds to next step S805. Also in the present embodiment, as in the first and second embodiments, the person is tracked by detecting the face of the person. In the face detection process, the detection process is performed on the search area in the image data recorded in the RAM 305. Note that the face detection processing in step S803 is performed by the same method as in the first embodiment.

次に、ステップＳ８０５において、ＣＰＵ３０１が属性識別手段として機能し、画像データ内で検出された人物から個人を特定する。本実施形態の画像データを利用した個人の特定（識別）に関しては、従来提案されている手法を利用する。例えば、非特許文献２等に、様々な手法が開示されている。   In step S805, the CPU 301 functions as an attribute identification unit, and identifies an individual from the persons detected in the image data. For the identification (identification) of an individual using the image data of this embodiment, a conventionally proposed method is used. For example, various methods are disclosed in Non-Patent Document 2 and the like.

次に、ステップＳ８０６において、ステップＳ８０３、Ｓ８０５で得られた顔の存在有無及び個人識別結果に関する情報を出力する。具体的には、ステップＳ８０２で得られた画像データを個人の検知情報とともにMotion-JPEG等の圧縮方式で圧縮する。そして、通信インターフェース部３０８を介して遠隔地のユーザに伝送する。   Next, in step S806, information on the presence / absence of the face and the personal identification result obtained in steps S803 and S805 is output. Specifically, the image data obtained in step S802 is compressed together with personal detection information by a compression method such as Motion-JPEG. Then, the data is transmitted to a remote user via the communication interface unit 308.

次に、ステップＳ８０７において、人物の追尾処理が終了したか否かを判断する。１フレームの処理が終了すると次のフレームの処理を開始する。したがって、ステップＳ８０７においては、最終フレームまで人物の追尾処理が終了したか否かを判断する。この判断の結果、最終フレームまで人物の追尾処理が終了した場合は、処理を終了する。一方、ステップＳ８０７の判断の結果、最終フレームまで人物の追尾処理が終了していない場合は、ステップＳ８０８に進む。   Next, in step S807, it is determined whether or not the person tracking process is completed. When processing of one frame is completed, processing of the next frame is started. Accordingly, in step S807, it is determined whether or not the person tracking process has been completed up to the final frame. If the result of this determination is that the person tracking process has been completed up to the final frame, the process ends. On the other hand, if it is determined in step S807 that the person tracking process has not been completed up to the final frame, the process proceeds to step S808.

次に、ステップＳ８０８においては、ＣＰＵ３０１が探索領域設定手段として機能し、探索領域を再設定する。ステップＳ８０４の判断の結果、人物の顔が検出されなかった場合は、当該処理ステップでは、ステップＳ８０１の初期化処理で設定した領域と同じ領域をＲＡＭ３０５に設定する。また、ステップＳ８０３の判断の結果、人物の顔が検出された場合は、ステップＳ８０５の個人識別処理の結果に従って、所定の探索領域を設定する。   Next, in step S808, the CPU 301 functions as a search area setting unit and resets the search area. If the face of the person is not detected as a result of the determination in step S804, in this processing step, the same area as that set in the initialization process in step S801 is set in the RAM 305. If a face of a person is detected as a result of the determination in step S803, a predetermined search area is set according to the result of the personal identification process in step S805.

ステップＳ８０８における探索領域を再設定する処理は、特定の人物についての個人情報とその人物に対応する探索領域とが関連付けされたテーブルを用いて行われる。ステップＳ８０５の個人識別処理の結果からこのテーブルを検索し、探索領域に関する情報を取得する。なお、このテーブルはＲＡＭ３０５に予め格納されている。   The process of resetting the search area in step S808 is performed using a table in which personal information about a specific person is associated with the search area corresponding to the person. This table is searched from the result of the personal identification processing in step S805, and information regarding the search area is acquired. This table is stored in the RAM 305 in advance.

特定の個人と探索領域との関係について図７を参照しながら説明する。７０４ａは探索領域がテーブルに登録されている第１の人物である。また、７０４ｂは探索領域がテーブルに登録されている第２の人物である。第１の人物７０４ａの顔を検出した場合は、探索領域７０２ａを広く設定し、第２の人物７０４ｂの顔を検出した場合は、探索領域７０２ｂを狭く設定する。なお、第１の人物７０３ａ及び第２の人物７０３ｂに対応する探索領域に関する情報（探索領域水平幅４０４と探索領域垂直高さ４０５）は、ステップＳ８０１の初期化処理時にＲＡＭ３０５にテーブルとしてロードされているものとする。   The relationship between a specific individual and the search area will be described with reference to FIG. Reference numeral 704a denotes a first person whose search area is registered in the table. Reference numeral 704b denotes a second person whose search area is registered in the table. When the face of the first person 704a is detected, the search area 702a is set wide, and when the face of the second person 704b is detected, the search area 702b is set narrow. Note that information (search area horizontal width 404 and search area vertical height 405) related to the search areas corresponding to the first person 703a and the second person 703b is loaded as a table into the RAM 305 during the initialization process in step S801. It shall be.

一方、ステップＳ８０５の個人識別処理において、登録された人物以外の人物を認識した場合は、非登録者としてテーブルに保持されている探索領域情報を使用する。例えば、ホームセキュリティシステム等に適用する場合、非登録者は侵入者の可能性が高いため、広い探索領域で確実に追跡可能な設定とする。   On the other hand, when a person other than the registered person is recognized in the personal identification process in step S805, the search area information held in the table as a non-registered person is used. For example, when applied to a home security system or the like, since the non-registered person is highly likely to be an intruder, the setting is made so that it can be reliably traced in a wide search area.

このように、本実施形態では検出された人物に応じて探索領域を決定する。このステップＳ８０８で決定した探索領域を示す座標データは、ＲＡＭ３０５の所定の領域に格納され、次のフレームの顔検出処理（ステップＳ８０３）及び個人識別処理（ステップＳ８０５）の処理対象領域として利用される。   Thus, in this embodiment, a search area is determined according to the detected person. The coordinate data indicating the search area determined in step S808 is stored in a predetermined area of the RAM 305, and is used as a processing target area for the face detection process (step S803) and the personal identification process (step S805) of the next frame. .

本実施形態では、ＲＡＭ３０５に予め格納した固定テーブルを参照して探索領域を決定する例について説明したが、対象者の追尾状況を記録して、テーブルに修正を加えるようにしてもよい。例えば、過去に追尾した際の移動速度の平均値等の追尾結果を利用して、ＣＰＵ３０１がテーブル更新手段として機能することにより、ステップＳ８０７で探索領域を決定するために用いられるテーブルを修正する。具体的には、テーブル上の個人の探索領域水平幅（Ｗ horizontal）を下記の式を用いて修正（更新）する。
Ｗ horizontal＝（１＋α×（個人平均移動速度−標準移動速度）／標準移動速度）×標準探索領域幅
（α：係数、ここで、「標準移動速度」、「標準探索領域幅」及び「α」は予め定める値である。） In the present embodiment, the example in which the search area is determined with reference to the fixed table stored in advance in the RAM 305 has been described. However, the tracking status of the target person may be recorded and the table may be modified. For example, the CPU 301 functions as a table updating unit using the tracking result such as the average value of the moving speed when tracking is performed in the past, thereby correcting the table used for determining the search area in step S807. Specifically, the individual search area horizontal width (W horizontal) on the table is corrected (updated) using the following equation.
W horizontal = (1 + α × (personal average movement speed−standard movement speed) / standard movement speed) × standard search area width (α: coefficient, where “standard movement speed”, “standard search area width”, and “α” Is a predetermined value.)

この場合、当該装置を設置した時は、標準的な探索領域情報が設定され、検出状況に合わせて特定の人物に対する探索領域情報をテーブルに学習させていくことができ、利便性が向上する。   In this case, when the apparatus is installed, standard search area information is set, and search area information for a specific person can be learned in a table in accordance with the detection situation, which improves convenience.

以上のように本実施形態によれば、特定人物を認識する機能を有する見守りシステムや監視システム等において、人物識別結果を移動方向の予測に利用するようにしたので、より最適に探索領域を予測することが可能になる。これにより、検出・追跡に関わる処理負荷を低減することが可能になる。   As described above, according to the present embodiment, a person identification result is used for prediction of a moving direction in a monitoring system or a monitoring system having a function of recognizing a specific person, so that a search area is predicted more optimally. It becomes possible to do. As a result, the processing load related to detection / tracking can be reduced.

（本発明に係る他の実施形態）
第１の実施形態では、人物の顔の向きに従って探索領域を設定する例について説明したが、本実施形態では、人物のさまざまな状況に従って適切な探索領域を設定することにより、より最適な探索領域の予測が可能になる。例えば、「座っている」／「立っている」／「運動をしている」等といった対象人物の状況を認識し、当該結果に従って探索領域を設定するようにしてもよい。 (Other embodiments according to the present invention)
In the first embodiment, the example in which the search area is set according to the orientation of the person's face has been described. However, in the present embodiment, the optimal search area is set according to the various situations of the person, so Can be predicted. For example, the situation of the target person such as “sitting” / “standing” / “exercising” may be recognized, and the search area may be set according to the result.

具体的には、座っている姿勢の場合等、移動する可能性が低いと判断される状況では探索領域を狭く設定し、立っている姿勢の場合等、移動する可能性が高いと判断される状況では、探索領域を広く設定する。さらには、「車椅子に乗っている」／「自転車に乗っている」等、人物の移動速度が予測される特定の状況を認識して探索領域を設定するようにしてもよい。この場合、例えば、車椅子の場合は移動速度が遅いと判断できるため、探索領域を狭くする。   Specifically, in situations where it is determined that the possibility of moving is low, such as in a sitting posture, the search area is set to be narrow, and in the case of a standing posture, it is determined that there is a high possibility of moving. In the situation, a wide search area is set. Furthermore, the search area may be set by recognizing a specific situation in which the movement speed of the person is predicted, such as “in a wheelchair” / “in a bicycle”. In this case, for example, in the case of a wheelchair, since it can be determined that the moving speed is slow, the search area is narrowed.

第１〜第３の実施形態では、人物の顔を検出する例について説明したが、これに限るわけではなく、人物のシルエットを検出する等の他の手法を用いてもよい。また、人物の向き、年齢及び個人の特定についても、人物の顔を利用した方法に限るわけではなく、シルエット全体の様子や動作から認識する手法を用いてもよい。   In the first to third embodiments, the example of detecting the face of a person has been described. However, the present invention is not limited to this, and other methods such as detecting the silhouette of a person may be used. Further, the direction of the person, the age, and the identification of the individual are not limited to the method using the person's face, and a method of recognizing from the state and motion of the entire silhouette may be used.

また、第１〜第３の実施形態では、人物の追尾に関して説明したが、本発明はこれに限るわけでなく、さまざまな物体（被写体）の追尾に適用可能である。例えば、犬や猫などの動物を追尾する場合、前述した第１〜第３の実施形態で人物に適用した手法と同様の手法を利用して、その状態や属性に応じた追尾を実現することができる。   In the first to third embodiments, the tracking of a person has been described. However, the present invention is not limited to this, and can be applied to tracking of various objects (subjects). For example, when tracking an animal such as a dog or a cat, the tracking according to the state or attribute is realized by using a method similar to the method applied to the person in the first to third embodiments described above. Can do.

さらに、動物だけでなく様々な移動物体の追跡に応用することも可能である。例えば、車両等の移動物体の追尾に適用した場合、車両の向きを検出し、進行方向を予測することにより探索領域を最適化することができる。また、固有の動きパターンを有する複数の物体を追跡するような場合、その動きパターンに応じた探索領域をテーブル情報として用意し、物体識別結果に従ってテーブルを参照する手法で探索領域を最適化できる。   Furthermore, it can be applied to tracking various moving objects as well as animals. For example, when applied to tracking a moving object such as a vehicle, the search area can be optimized by detecting the direction of the vehicle and predicting the traveling direction. Further, when a plurality of objects having unique motion patterns are tracked, a search region corresponding to the motion pattern is prepared as table information, and the search region can be optimized by referring to the table according to the object identification result.

また、ロボット等の様にその種類や動作プログラムに応じて動作パターンが限定される場合、その種類等の識別結果に応じて探索領域を決定してもよい。これにより、ロボットを対象にしたより高性能なモニタリングシステムを構築することが可能である。   Further, when the operation pattern is limited according to the type or operation program, such as a robot, the search area may be determined according to the identification result of the type or the like. This makes it possible to construct a higher performance monitoring system for robots.

さらに、第１〜第３の実施形態では、物体の状況や属性を画像データから認識する例について説明したが、他の方法でもよい。例えば、ＩＣタグ等を利用して物体の属性を判定する手法と組み合わせてもよい。また、赤外線センサー・音声センサー等他のセンシング結果を利用して物体の状況や属性を判断する手法を組み合わせてもよい。   Furthermore, in the first to third embodiments, examples of recognizing the status and attributes of an object from image data have been described, but other methods may be used. For example, it may be combined with a method for determining an attribute of an object using an IC tag or the like. In addition, a method of determining the state and attributes of an object using other sensing results such as an infrared sensor and a voice sensor may be combined.

また、第１〜第３の実施形態では、探索領域が矩形領域である例について説明したが、他の形状でもよい。さらに、第１〜第３の実施形態では、物体の状況識別結果や属性識別結果のみから探索領域を設定する例について説明したが、もちろん、従来技術である物体の移動ベクトルによる探索領域設定手法を本発明と組み合わせて利用してもよい。その場合、移動ベクトルのみで探索領域を決定する場合に比べて、性能がより向上する。   In the first to third embodiments, the example in which the search area is a rectangular area has been described, but other shapes may be used. Furthermore, in the first to third embodiments, the example in which the search area is set only from the object situation identification result and the attribute identification result has been described. Of course, the search area setting method based on the object movement vector, which is a conventional technique, is used. You may utilize in combination with this invention. In this case, the performance is further improved as compared with the case where the search area is determined only by the movement vector.

また、第１〜第３の実施形態では、映像画面中の物体を追尾する例について説明したが、撮像方向を機械的に制御可能な駆動部を有するカメラシステムに適用して、物体を追尾する装置に適用してもよい。さらに、本発明による手法を監視カメラ装置や行動記録システム、ホームセキュリティシステム等に応用した場合について説明したが、これに限るわけではない。また、第１〜第３の実施形態ではマイクロプロセッサを用いて本発明を実施する場合について説明したが、全て或いはその一部をハードウェアで実現してもよい。   In the first to third embodiments, an example of tracking an object in a video screen has been described, but the object is tracked by being applied to a camera system having a drive unit that can mechanically control the imaging direction. You may apply to an apparatus. Furthermore, although the case where the method according to the present invention is applied to a monitoring camera device, an action recording system, a home security system, and the like has been described, the present invention is not limited to this. Moreover, although the case where this invention was implemented using a microprocessor was demonstrated in the 1st-3rd embodiment, you may implement | achieve all or one part by hardware.

前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。   Each means constituting the image processing apparatus and each step of the image processing method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図１、６、８に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 1, 6, and 8) that realizes the functions of the above-described embodiments is directly or remotely supplied to the system or apparatus. Including. This includes the case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。   Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, there is a method of connecting to a homepage on the Internet using a browser of a client computer. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   As another method, the program of the present invention is encrypted, stored in a recording medium such as a CD-ROM, distributed to users, and encrypted from a homepage via the Internet to users who have cleared predetermined conditions. Download the key information to be solved. It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   As another method, the program read from the recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.

本発明の第１の実施形態における追尾処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the tracking process in the 1st Embodiment of this invention. 従来の追尾方法を説明する図である。It is a figure explaining the conventional tracking method. 本発明の第１の実施形態における画像処理装置のハードウェア構成例を示すブロック図である。1 is a block diagram illustrating a hardware configuration example of an image processing apparatus according to a first embodiment of the present invention. 本発明の第１の実施形態において、設定する探索領域の一例を示す図である。It is a figure which shows an example of the search area | region to set in the 1st Embodiment of this invention. 本発明の第１の実施形態において、顔向き判定処理を行うための構成例を示すブロック図である。In the 1st Embodiment of this invention, it is a block diagram which shows the structural example for performing a face orientation determination process. 本発明の第２の実施形態における追尾処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the tracking process in the 2nd Embodiment of this invention. 本発明の第２の実施形態において、設定する探索領域の一例を示す図である。It is a figure which shows an example of the search area | region to set in the 2nd Embodiment of this invention. 本発明の第３の実施形態における追尾処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the tracking process in the 3rd Embodiment of this invention.

符号の説明Explanation of symbols

３００ 画像処理装置
３０１ ＣＰＵ
３０２ ブリッジ
３０３ ＣＰＵバス
３０４ システムバス
３０５ ＲＡＭ
３０６ ＥＥＰＲＯＭ
３０７ ＲＴＣ
３０８ 通信インターフェース部
３１０ 映像入力部
３１１ 映像入力インターフェース部 300 Image processing apparatus 301 CPU
302 Bridge 303 CPU bus 304 System bus 305 RAM
306 EEPROM
307 RTC
308 Communication interface unit 310 Video input unit 311 Video input interface unit

Claims (10)

映像データを入力する映像入力手段と、
前記映像入力手段によって入力された映像データを構成するフレーム内の探索領域を設定する探索領域設定手段と、
前記探索領域設定手段によって設定された探索領域から人物を検出する人物検出手段と、
前記人物検出手段によって検出された人物の年齢を判定する年齢判定手段とを有し、
前記探索領域設定手段は、前記年齢判定手段による判定の結果に基づいて、次のフレームの探索領域を設定することを特徴とする画像処理装置。 Video input means for inputting video data;
Search area setting means for setting a search area in a frame constituting the video data input by the video input means;
A person detection means for detecting a person from the search area set by the search area setting means,
And a age determining means for determining the age of the person detected by the person detecting unit,
The image processing apparatus, wherein the search area setting means sets a search area for the next frame based on a result of determination by the age determination means. 前記年齢判定手段による判定の結果と探索領域とを関連付けたテーブルと、過去の追尾結果に従って前記テーブルを更新するテーブル更新手段とを有し、前記探索領域設定手段が前記テーブルを参照して次のフレームの探索領域を設定することを特徴とする請求項１に記載の画像処理装置。 A table associating the result of determination by the age determination means with a search area; and a table updating means for updating the table according to a past tracking result, wherein the search area setting means refers to the table and The image processing apparatus according to claim 1 , wherein a frame search area is set. 映像データを入力する映像入力手段と、
前記映像入力手段によって入力された映像データを構成するフレーム内の探索領域を設定する探索領域設定手段と、
前記探索領域設定手段によって設定された探索領域から人物を検出する人物検出手段と、
前記人物検出手段によって検出された人物がどの個人であるかを識別する個人識別手段とを有し、
前記探索領域設定手段は、前記個人識別手段による識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする画像処理装置。 Video input means for inputting video data;
Search area setting means for setting a search area in a frame constituting the video data input by the video input means;
A person detection means for detecting a person from the search area set by the search area setting means,
Personal identification means for identifying which person the person detected by the person detection means is,
The image processing apparatus according to claim 1, wherein the search area setting means sets a search area for the next frame based on a result of identification by the personal identification means. 前記個人識別手段による識別の結果と探索領域とを関連付けたテーブルと、過去の追尾結果に従って前記テーブルを更新するテーブル更新手段とを有し、前記探索領域設定手段が前記テーブルを参照して次のフレームの探索領域を設定することを特徴とする請求項３に記載の画像処理装置。 A table associating a result of identification by the personal identification means with a search area; and a table updating means for updating the table according to a past tracking result, wherein the search area setting means refers to the table and The image processing apparatus according to claim 3 , wherein a frame search area is set. 前記探索領域が前記人物の顔を含む領域であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。 The image processing apparatus according to claim 1 , wherein the search area is an area including the face of the person. 映像データを入力する映像入力工程と、
前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、
前記探索領域設定工程において設定した探索領域から人物を検出する被写体検出工程と、
前記被写体検出工程において検出した人物の年齢を判定する年齢判定工程とを有し、
前記探索領域設定工程においては、前記年齢判定工程における判定の結果に基づいて、次のフレームの探索領域を設定することを特徴とする画像処理方法。 A video input process for inputting video data;
A search area setting step for setting a search area in a frame constituting the video data input in the video input step;
A subject detection step of detecting a person from the search region set in the search region setting step;
And a age determination step of determining the age of a person detected in the subject detection step,
In the search area setting step, the search area of the next frame is set based on the determination result in the age determination step. 映像データを入力する映像入力工程と、
前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、
前記探索領域設定工程において設定した探索領域から人物を検出する被写体検出工程と、
前記被写体検出工程において検出した人物がどの個人であるかを識別する個人識別工程とを有し、
前記探索領域設定工程においては、前記個人識別工程における識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする画像処理方法。 A video input process for inputting video data;
A search area setting step for setting a search area in a frame constituting the video data input in the video input step;
A subject detection step of detecting a person from the search region set in the search region setting step;
A personal identification step for identifying which person the person detected in the subject detection step is,
In the search area setting step, the search area of the next frame is set based on the identification result in the personal identification step. 映像データを入力する映像入力工程と、
前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、
前記探索領域設定工程において設定した探索領域から人物を検出する被写体検出工程と、
前記被写体検出工程において検出した人物の年齢を判定する年齢判定工程とをコンピュータに実行させ、
前記探索領域設定工程においては、前記年齢判定工程における判定の結果に基づいて、次のフレームの探索領域を設定することを特徴とするプログラム。 A video input process for inputting video data;
A search area setting step for setting a search area in a frame constituting the video data input in the video input step;
A subject detection step of detecting a person from the search region set in the search region setting step;
And age determination step of determining the age of a person detected cause the computer to execute in the subject detection step,
The search in the area setting step, based on the result of determination in the age determination step, program characterized and Turkey to set the search region of the next frame. 映像データを入力する映像入力工程と、
前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、
前記探索領域設定工程において設定した探索領域から人物を検出する被写体検出工程と、
前記被写体検出工程において検出した人物がどの個人であるかを識別する個人識別工程とをコンピュータに実行させ、
前記探索領域設定工程においては、前記個人識別工程における識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とするプログラム。 A video input process for inputting video data;
A search area setting step for setting a search area in a frame constituting the video data input in the video input step;
A subject detection step of detecting a person from the search region set in the search region setting step;
Causing the computer to execute a personal identification step for identifying which person the person detected in the subject detection step is.
The search in the area setting step, based on the result of the identification in the personal identification process, the program characterized by the Turkey to set the search region of the next frame. 請求項８または９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。 10. A computer-readable recording medium on which the program according to claim 8 or 9 is recorded.

Images