JP2010097327A - Data processing system - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a data processing system achieving easy debugging, and ensuring real-time property. <P>SOLUTION: The data processing system includes: a plurality of processors for processing input data from an external device; an operation table; and a control part. For example, the operation table is provided with a plurality of assignment information for assigning a plurality of processing to a plurality of processors. Also, the assignment information is classified by processing status based on the processing result of input data. Then, the control part selects the assignment information corresponding to the processing result of the input data from the operation table, and assigns the plurality of processing to the plurality of processors based on the selected assignment information. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、データ処理システムに関する。   The present invention relates to a data processing system.

高い処理性能が要求されるシステムでは、複数の独立したデータ処理手段を使用するデータ処理システムが構築される。例えば、サーバシステムでは、複数のプロセッサを使用するマルチプロセッサシステムが構築され、複数の処理プログラムが複数のプロセッサに割り当てられる。例えば、マルチプロセッサシステムは、各プロセッサの負荷を分散させるために、各プロセッサの負荷率に基づいて、各処理プログラムの各プロセッサへの割り当てを動的に制御している。また、複数の処理を各データ処理手段へ割り当てるデータ処理システムでは、複数のデータ処理手段の負荷率を示す負荷状況管理テーブルと、次の処理に割り当て可能なデータ処理手段が登録される先行予約情報管理テーブルとを用いる構成が提案されている（例えば、特許文献１参照）。   In a system that requires high processing performance, a data processing system that uses a plurality of independent data processing means is constructed. For example, in a server system, a multiprocessor system using a plurality of processors is constructed, and a plurality of processing programs are assigned to a plurality of processors. For example, in order to distribute the load of each processor, the multiprocessor system dynamically controls the allocation of each processing program to each processor based on the load factor of each processor. In a data processing system in which a plurality of processes are assigned to each data processing means, a load status management table indicating a load factor of the plurality of data processing means, and advance reservation information in which data processing means that can be assigned to the next process are registered A configuration using a management table has been proposed (see, for example, Patent Document 1).

管理ノードと複数の処理ノードを有する分散処理システムでは、複数の業務と複数の処理ノードの組み合わせパターンを複数保持した業務マッピングテーブルと、それぞれの組み合わせパターンを使用する時刻が記述された運用管理テーブルとを用いて、各時刻における各業務と各処理ノードの組み合わせを変更する方法が提案されている（例えば、特許文献２参照）。
特許第４０１３８０９号公報 特許第３００３４４０号公報 In a distributed processing system having a management node and a plurality of processing nodes, a business mapping table that holds a plurality of combination patterns of a plurality of business nodes and a plurality of processing nodes, and an operation management table that describes the time at which each combination pattern is used, There has been proposed a method of changing the combination of each business operation and each processing node at each time (for example, see Patent Document 2).
Japanese Patent No. 4013809 Japanese Patent No. 3003440

各プロセッサの負荷率に基づいて、各処理プログラムを各プロセッサに動的に割り当てるマルチプロセッサシステム（以下、動的負荷分散システムとも称する）では、故障等の発生した状態を再現することが困難なため、デバッグの効率が低下する。特に、機器に内蔵される組み込みシステムに用いられるマルチプロセッサシステムでは、サーバシステムのように動作状態についての詳細なログデータ等を保持することが困難なため、デバッグが困難である。   In a multiprocessor system (hereinafter also referred to as a dynamic load distribution system) that dynamically assigns each processing program to each processor based on the load factor of each processor, it is difficult to reproduce the state in which a failure has occurred. , Debugging efficiency is reduced. In particular, in a multiprocessor system used in an embedded system incorporated in a device, it is difficult to debug, because it is difficult to hold detailed log data and the like regarding an operation state like a server system.

また、動的負荷分散システムは、各プロセッサの負荷率を調べてから、各処理プログラムを各プロセッサに動的に割り当てるため、負荷分散のための処理自身の負荷が重くなり、負荷分散のためのオーバーヘッドが大きくなる。このため、システムが処理を受け付けてからプロッセサに処理が割り当てられるまでの待ち時間（負荷分散のため処理時間）が大きくなり、特定の処理を特定の時間内に終了させることができないおそれがある。特に、組み込みシステムに用いられるマルチプロセッサシステムでは、特定の処理を特定の時間内に終了させること（リアルタイム性）が要求される。さらに、組み込みシステムでは、発熱および実装の観点から消費電力を抑えることが要求される。   In addition, the dynamic load distribution system examines the load factor of each processor and then dynamically assigns each processing program to each processor. Therefore, the load of the processing itself for load distribution becomes heavy, and the load distribution Increases overhead. For this reason, the waiting time (processing time for load distribution) from when the system receives the process until the process is assigned to the processor increases, and there is a possibility that the specific process cannot be completed within the specific time. In particular, in a multiprocessor system used in an embedded system, it is required to end a specific process within a specific time (real time property). Furthermore, in an embedded system, it is required to suppress power consumption from the viewpoint of heat generation and mounting.

例えば、動的負荷分散システムに消費電力を抑えるための割り当て手法を追加した構成では、負荷分散のための処理量が増加し、負荷分散のためのオーバーヘッドがさらに大きくなる。一般的に、組み込みシステムでは、プロセッサの処理能力がサーバシステムに用いられるプロセッサの処理能力に比べて低いため、オーバーヘッドの増加の影響が顕著になる。   For example, in a configuration in which an allocation method for suppressing power consumption is added to a dynamic load distribution system, the amount of processing for load distribution increases and the overhead for load distribution further increases. Generally, in an embedded system, the processing capacity of a processor is lower than the processing capacity of a processor used in a server system, so that the influence of an increase in overhead becomes significant.

本発明の目的は、デバッグが容易で、かつ、リアルタイム性の確保が容易なデータ処理システムを提供することである。   An object of the present invention is to provide a data processing system that can be easily debugged and can ensure real-time performance.

データ処理システムは、外部デバイスからの入力データを処理する複数のプロセッサと、運用テーブルと、制御部とを有している。例えば、運用テーブルは、複数の処理を複数のプロセッサに割り当てるための複数の割り当て情報を有している。なお、割り当て情報は、入力データの処理結果に基づく処理状態毎に分類されている。そして、制御部は、運用テーブルから、入力データの処理結果に対応する割り当て情報を選択し、選択した割り当て情報に基づいて、複数の処理を複数のプロセッサに割り当てる。   The data processing system includes a plurality of processors that process input data from an external device, an operation table, and a control unit. For example, the operation table has a plurality of allocation information for allocating a plurality of processes to a plurality of processors. The allocation information is classified for each processing state based on the processing result of the input data. Then, the control unit selects allocation information corresponding to the processing result of the input data from the operation table, and allocates a plurality of processes to a plurality of processors based on the selected allocation information.

デバッグが容易で、かつ、リアルタイム性の確保が容易なデータ処理システムを提供できる。   It is possible to provide a data processing system that can be easily debugged and can ensure real-time performance.

以下、本発明の実施形態を図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の一実施形態を示している。データ処理システムＳＹＳは、複数のプロセッサを有するプロセッサ群ＰＥ、動作状態管理モジュールＣＮＴ１、運用状態テーブルＴＡ１、メインメモリＭＭ、ブートメモリＢＭおよび外部インターフェースＩＦ（ＩＦ１、ＩＦ２）を有している。例えば、データ処理システムＳＹＳは、マルチプロセッサシステムであり、監視カメラシステムに用いられる。図の例では、監視カメラシステムは、データ処理システムＳＹＳ、ビデオカメラＣ（Ｃ１、Ｃ２、Ｃ３、Ｃ４）、ダウンコンバータＤＣ（ＤＣ１、ＤＣ２、ＤＣ３、ＤＣ４）およびＬＡＮコントローラＬＣを有している。なお、データ処理システムＳＹＳは、ＬＡＮ（Local Area Network）コントローラＬＣを含んで構成されてもよい。   FIG. 1 shows an embodiment of the present invention. The data processing system SYS has a processor group PE having a plurality of processors, an operation state management module CNT1, an operation state table TA1, a main memory MM, a boot memory BM, and external interfaces IF (IF1, IF2). For example, the data processing system SYS is a multiprocessor system and is used in a surveillance camera system. In the illustrated example, the surveillance camera system includes a data processing system SYS, a video camera C (C1, C2, C3, C4), a down converter DC (DC1, DC2, DC3, DC4), and a LAN controller LC. The data processing system SYS may be configured including a LAN (Local Area Network) controller LC.

ビデオカメラＣ１−Ｃ４は、不審な人物等を検出するためのセンサとして機能し、ダウンコンバータＤＣ１−ＤＣ４にそれぞれ接続されている。ダウンコンバータＤＣ１−ＤＣ４は、外部インターフェースＩＦ１に接続され、例えば、ビデオカメラＣ１−Ｃ４から受信した画像のフレームレートおよびサイズ等を変換する。また、ＬＡＮコントローラＬＣは、外部インターフェースＩＦ２に接続され、ＬＡＮで接続されたセンタ（図示せず）との間でデータ転送を行う。   The video cameras C1-C4 function as sensors for detecting a suspicious person or the like, and are connected to the down converters DC1-DC4, respectively. The down converters DC1 to DC4 are connected to the external interface IF1 and convert, for example, the frame rate and size of images received from the video cameras C1 to C4. The LAN controller LC is connected to the external interface IF2 and performs data transfer with a center (not shown) connected via the LAN.

データ処理システムＳＹＳのプロセッサ群ＰＥは、複数のプロセッサＰ（Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７）を有している。プロセッサＰ０−Ｐ７、メインメモリＭＭ、ブートメモリＢＭおよび外部インターフェースＩＦ１、ＩＦ２は、内部バスＢＵＳを介して互いに接続されている。動作状態管理モジュールＣＮＴ１は、例えば、選択部ＳＥおよび割り当て部ＡＬを有し、運用状態テーブルＴＡ１を参照して、複数の処理をプロセッサＰ０−Ｐ７に割り当てる。なお、この実施形態では、例えば、動作状態管理モジュールＣＮＴ１は、ソフトウェアで実現され、プロセッサＰ０上で動作する。そして、動作状態管理モジュールＣＮＴ１が動作している間、例えば、運用状態テーブルＴＡ１は、メインメモリＭＭに保持される。   The processor group PE of the data processing system SYS has a plurality of processors P (P0, P1, P2, P3, P4, P5, P6, P7). The processors P0 to P7, the main memory MM, the boot memory BM, and the external interfaces IF1 and IF2 are connected to each other via an internal bus BUS. The operation state management module CNT1 has, for example, a selection unit SE and an allocation unit AL, and allocates a plurality of processes to the processors P0 to P7 with reference to the operation state table TA1. In this embodiment, for example, the operation state management module CNT1 is realized by software and operates on the processor P0. For example, the operation state table TA1 is held in the main memory MM while the operation state management module CNT1 is operating.

すなわち、動作状態管理モジュールＣＮＴ１は、運用状態テーブルＴＡ１が保持されたメインメモリＭＭ、プロセッサＰ０−Ｐ７および外部インターフェースＩＦ１、ＩＦ２等に、内部バスＢＵＳを介してアクセスできる。ここで、図の例では、メインメモリＭＭは、プロセッサＰ０−Ｐ７に共有される共有メモリであるが、各プロセッサＰ０−Ｐ７に対応する分散メモリでもよい。また、プロセッサ群ＰＥは、２個以上７個以下のプロセッサにより構成されてもよいし、９個以上のプロセッサを有してもよい。   That is, the operation state management module CNT1 can access the main memory MM, the processors P0 to P7, the external interfaces IF1 and IF2, and the like in which the operation state table TA1 is held through the internal bus BUS. Here, in the example of the figure, the main memory MM is a shared memory shared by the processors P0 to P7, but may be a distributed memory corresponding to each of the processors P0 to P7. Further, the processor group PE may be composed of two or more and seven or less processors, or may have nine or more processors.

データ処理システムＳＹＳは、ダウンコンバータＤＣ１−ＤＣ４を介して、ビデオカメラＣ１−Ｃ４から画像データを受ける。データ処理システムＳＹＳに入力された画像データは、各プロセッサＰ１−Ｐ７により処理される。例えば、各プロセッサＰ１−Ｐ７により実施される処理は、人を検出するための処理（以下、人検出処理とも称する）、検出した人を追跡するための処理（以下、人追跡処理とも称する）、不審な動きを検出するための行動解析、不審行動と判定された対象人物の顔認証、データ転送等である。   The data processing system SYS receives image data from the video cameras C1-C4 via the down converters DC1-DC4. The image data input to the data processing system SYS is processed by each processor P1-P7. For example, the processing performed by each processor P1-P7 includes a process for detecting a person (hereinafter also referred to as a person detection process), a process for tracking a detected person (hereinafter also referred to as a person tracking process), This includes behavior analysis for detecting suspicious movements, face authentication of a target person determined to be suspicious behavior, data transfer, and the like.

ここで、例えば、ダウンコンバータＤＣ１−ＤＣ４は、データ処理システムＳＹＳの処理内容に応じて、画像のフレームレートを１０ｆｐｓ（フレーム／秒）および３０ｆｐｓのいずれかに切り換え、画像のサイズをＶＧＡ（Video Graphics Array）およびＸＧＡ（eXtended Graphics Array）のいずれかに切り換える。例えば、データ処理システムＳＹＳにより人検出処理が実施される場合、ダウンコンバータＤＣ１−ＤＣ４から出力される画像データにより生成される画像のサイズおよびフレームレートは、それぞれＶＧＡおよび１０ｆｐｓである。また、例えば、人追跡処理が実施される場合、画像のサイズおよびフレームレートは、それぞれＶＧＡおよび３０ｆｐｓであり、顔認証が実施される場合、画像のサイズおよびフレームレートは、それぞれＸＧＡおよび３０ｆｐｓである。   Here, for example, the down converters DC1 to DC4 switch the image frame rate to either 10 fps (frames / second) or 30 fps according to the processing contents of the data processing system SYS, and change the image size to VGA (Video Graphics). Switch to either Array) or XGA (eXtended Graphics Array). For example, when the human detection process is performed by the data processing system SYS, the size and the frame rate of the image generated from the image data output from the down converter DC1-DC4 are VGA and 10 fps, respectively. Also, for example, when the person tracking process is performed, the image size and the frame rate are VGA and 30 fps, respectively, and when face authentication is performed, the image size and the frame rate are XGA and 30 fps, respectively. .

データ処理システムＳＹＳは、画像データの処理結果（以下、センシング結果とも称する）に基づいて、自立的に処理の内容を変更する。例えば、データ処理システムＳＹＳは、ビデオカメラＣ１−Ｃ４から受けた画像データに対して、人検出処理を実施する。そして、データ処理システムＳＹＳは、人検出処理の結果がビデオカメラＣ１、Ｃ３で人を検出したことを示す場合、ビデオカメラＣ１、Ｃ３から受けた画像データに対して実施する処理を、人追跡処理に変更する。なお、この場合、データ処理システムＳＹＳは、ビデオカメラＣ２、Ｃ４から受けた画像データに対して、人検出処理を継続する。このように、データ処理システムＳＹＳは、センシング結果に応じて、ビデオカメラＣ１−Ｃ４から受けたそれぞれの画像データに対して、同一の処理を実施する場合と、異なる処理を実施する場合とがある。   The data processing system SYS changes the processing content independently based on the processing result of the image data (hereinafter also referred to as sensing result). For example, the data processing system SYS performs human detection processing on the image data received from the video cameras C1-C4. Then, when the result of the person detection process indicates that the video camera C1 or C3 has detected a person, the data processing system SYS performs a process to be performed on the image data received from the video camera C1 or C3. Change to In this case, the data processing system SYS continues the human detection process on the image data received from the video cameras C2 and C4. As described above, the data processing system SYS may perform the same processing or different processing on the respective image data received from the video cameras C1 to C4 according to the sensing result. .

また、データ処理システムＳＹＳは、必要に応じて（例えば、顔認証の結果が不審人物と判定された場合）、必要なデータ（例えば、不審人物の画像データ）を、ＬＡＮで接続されたセンタにＬＡＮコントローラＬＣを介して転送する。   The data processing system SYS also sends necessary data (for example, image data of a suspicious person) to a center connected via a LAN as necessary (for example, when the face authentication result is determined to be a suspicious person). Transfer via the LAN controller LC.

図２は、図１に示したデータ処理システムＳＹＳの動作の一例を示している。処理１００−５１０は、例えば、図１に示したプロセッサＰ０により、ブートメモリＢＭに記憶されているプログラム（データ処理システムＳＹＳの全体の動作を制御するプログラム）にしたがって実施される。なお、この実施形態では、処理１００が実施される前に、データ処理システムＳＹＳは起動される。   FIG. 2 shows an example of the operation of the data processing system SYS shown in FIG. For example, the processing 100-510 is performed by the processor P0 illustrated in FIG. 1 according to a program (a program for controlling the overall operation of the data processing system SYS) stored in the boot memory BM. In this embodiment, the data processing system SYS is activated before the process 100 is performed.

処理１００では、データ処理システムＳＹＳは、ビデオカメラＣ１、Ｃ３を動作させ、ビデオカメラＣ２、Ｃ４をオフさせる。そして、データ処理システムＳＹＳは、ビデオカメラＣ１、Ｃ３から受けた画像データに対して、人検出処理を実施する。なお、ビデオカメラＣ１、Ｃ３の画像データに対するそれぞれの人検出処理は、図１に示した動作状態管理モジュールＣＮＴ１により、運用状態テーブルＴＡ１に基づいて、プロセッサＰ１−Ｐ７のいずれか（例えば、後述する図５に示す運用状態テーブルＴＡ１では、プロセッサＰ１、Ｐ３）に割り当てられる。動作状態管理モジュールＣＮＴ１の動作の詳細は、後述する図３で説明する。   In process 100, the data processing system SYS operates the video cameras C1 and C3 and turns off the video cameras C2 and C4. Then, the data processing system SYS performs a human detection process on the image data received from the video cameras C1 and C3. Each human detection process for the image data of the video cameras C1 and C3 is performed by one of the processors P1 to P7 (for example, described later) based on the operation state table TA1 by the operation state management module CNT1 illustrated in FIG. In the operation state table TA1 shown in FIG. 5, the assignment is made to the processors P1 and P3). Details of the operation of the operation state management module CNT1 will be described later with reference to FIG.

処理１１０では、データ処理システムＳＹＳは、ビデオカメラＣ１、Ｃ３の少なくとも１つで人が検出されたか否かを、人検出処理の結果に基づいて判定する。人が検出されない場合（処理１１０のＮｏ）、データ処理システムＳＹＳの動作は、処理１００に移る。すなわち、データ処理システムＳＹＳは、人が検出されるまで、ビデオカメラＣ１、Ｃ３の画像データに対して、人検出処理を継続する。人が検出された場合（処理１１０のＹｅｓ）、データ処理システムＳＹＳの動作は、処理２００に移る。   In process 110, the data processing system SYS determines whether or not a person has been detected by at least one of the video cameras C1 and C3 based on the result of the person detection process. If no person is detected (No in process 110), the operation of the data processing system SYS moves to process 100. That is, the data processing system SYS continues the person detection process on the image data of the video cameras C1 and C3 until a person is detected. If a person is detected (Yes in process 110), the operation of the data processing system SYS moves to process 200.

処理２００では、データ処理システムＳＹＳは、ビデオカメラＣ１−Ｃ４の全てを動作させ、ビデオカメラＣ１−Ｃ４から受けた画像データに対して、人検出処理を実施する。例えば、ビデオカメラＣ１−Ｃ４の画像データに対するそれぞれの人検出処理は、図１に示した動作状態管理モジュールＣＮＴ１により、後述する図５に示す運用状態テーブルＴＡ１に基づいて、各プロセッサＰ１−Ｐ４に割り当てられる。   In process 200, the data processing system SYS operates all of the video cameras C1-C4, and performs a human detection process on the image data received from the video cameras C1-C4. For example, each human detection process for the image data of the video cameras C1-C4 is performed by the operation state management module CNT1 shown in FIG. 1 on each processor P1-P4 based on an operation state table TA1 shown in FIG. Assigned.

処理２１０では、データ処理システムＳＹＳは、ビデオカメラＣ１−Ｃ４の少なくとも１つで人が検出されたか否かを、人検出処理の結果に基づいて判定する。人が検出されない場合（処理２１０のＮｏ）、データ処理システムＳＹＳの動作は、処理１００に移る。なお、処理２１０では、人が検出されない場合とは、前の処理（例えば、処理１００）で検出された人が消失した場合（ビデオカメラＣ１−Ｃ４の撮影可能範囲外等に人が移動した場合等）も含める。人が検出された場合（処理２１０のＹｅｓ）、データ処理システムＳＹＳの動作は、処理３００に移る。   In process 210, the data processing system SYS determines whether or not a person is detected by at least one of the video cameras C1 to C4 based on the result of the person detection process. When no person is detected (No in process 210), the operation of the data processing system SYS moves to process 100. In the process 210, the case where no person is detected means that the person detected in the previous process (for example, the process 100) disappears (when the person moves out of the shootable range of the video camera C1-C4). Etc.). If a person is detected (Yes in process 210), the operation of the data processing system SYS moves to process 300.

処理３００では、データ処理システムＳＹＳは、人を検出したビデオカメラＣ１−Ｃ４から受けた画像データに対して、人追跡処理を実施し、残りのビデオカメラＣ１−Ｃ４から受けた画像データに対して、人検出処理を継続する。さらに、データ処理システムＳＹＳは、人追跡処理の結果に基づいて、不審（異常）な動きを検出するための行動解析を実施する。例えば、ビデオカメラＣ１−Ｃ４の画像データに対するそれぞれの処理（人検出処理、人追跡処理、行動解析）は、図１に示した動作状態管理モジュールＣＮＴ１により、後述する図５に示す運用状態テーブルＴＡ１に基づいて、各プロセッサＰ１−Ｐ４、Ｐ７に割り当てられる。   In the process 300, the data processing system SYS performs the person tracking process on the image data received from the video cameras C1-C4 that have detected the person, and the image data received from the remaining video cameras C1-C4. Continue the human detection process. Further, the data processing system SYS performs behavior analysis for detecting suspicious (abnormal) movement based on the result of the person tracking process. For example, each processing (human detection processing, human tracking processing, behavior analysis) for the image data of the video cameras C1-C4 is performed by the operation state management module CNT1 shown in FIG. Is assigned to each processor P1-P4, P7.

処理３１０では、データ処理システムＳＹＳは、検出された人（追跡された人）の行動が異常行動（不審な動き）の対象か否かを、行動解析の結果に基づいて判定する。すなわち、データ処理システムＳＹＳは、ビデオカメラＣ１−Ｃ４の少なくとも１つで不審人物（顔認証が実施される対象者）が検出されたか否かを、行動解析の結果に基づいて判定する。検出された人の行動が異常行動の対象でない場合（処理３１０のＮｏ）、データ処理システムＳＹＳの動作は、処理２１０に移る。すなわち、データ処理システムＳＹＳは、検出された人の行動が異常行動の対象になるまで、人検出処理、人追跡処理および行動解析を繰り返す。検出された人の行動が異常行動の対象である場合（処理３１０のＹｅｓ）、データ処理システムＳＹＳの動作は、処理４００に移る。   In processing 310, the data processing system SYS determines whether or not the behavior of the detected person (tracked person) is a target of abnormal behavior (suspicious movement) based on the result of the behavior analysis. That is, the data processing system SYS determines whether or not a suspicious person (target person for whom face authentication is performed) is detected by at least one of the video cameras C1 to C4 based on the result of the behavior analysis. When the detected action of the person is not the target of the abnormal action (No in process 310), the operation of the data processing system SYS moves to process 210. That is, the data processing system SYS repeats the human detection process, the human tracking process, and the behavior analysis until the detected human behavior becomes the target of the abnormal behavior. When the detected action of the person is the target of the abnormal action (Yes in process 310), the operation of the data processing system SYS moves to process 400.

処理４００では、データ処理システムＳＹＳは、不審人物を検出したビデオカメラＣ１−Ｃ４から受けた画像データに対して、不審人物の顔認証を実施する。なお、この実施形態では、データ処理システムＳＹＳは、ビデオカメラＣ１−Ｃ４から受けた画像データに対して、処理３００で実施した処理（人検出処理、人追跡処理、行動解析）を継続しつつ、不審人物の顔認証を実施する。例えば、顔認証の処理は、図１に示した動作状態管理モジュールＣＮＴ１により、後述する図５に示す運用状態テーブルＴＡ１に基づいて、プロセッサＰ５に割り当てられる。   In process 400, the data processing system SYS performs face authentication of the suspicious person on the image data received from the video cameras C1-C4 that detected the suspicious person. In this embodiment, the data processing system SYS continues the processing (human detection processing, human tracking processing, behavior analysis) performed in the processing 300 on the image data received from the video cameras C1-C4. Perform face recognition of suspicious persons. For example, the face authentication process is assigned to the processor P5 by the operation state management module CNT1 shown in FIG. 1 based on an operation state table TA1 shown in FIG.

処理４１０では、データ処理システムＳＹＳは、不審人物（顔認証が実施された対象者）が正当な利用者か否かを、顔認証の結果に基づいて判定する。ここで、処理４１０で正当な利用者と判定される人は、例えば、監視カメラシステムにより監視されている設備の関係者（警備員等）である。顔認証が実施された対象者が正当な利用者の場合（処理４１０のＹｅｓ）、データ処理システムＳＹＳの動作は、処理４２０に移り、顔認証が実施された対象者が正当な利用者でない場合（処理４１０のＮｏ）、データ処理システムＳＹＳの動作は、処理５００に移る。   In process 410, the data processing system SYS determines whether or not the suspicious person (target person for whom face authentication has been performed) is a valid user based on the result of face authentication. Here, the person who is determined to be a legitimate user in the process 410 is, for example, a person concerned (such as a guard) of the facility monitored by the surveillance camera system. When the target person for whom face authentication has been performed is a valid user (Yes in process 410), the operation of the data processing system SYS moves to process 420, where the target person for whom face authentication has been performed is not a valid user (No in process 410), the operation of the data processing system SYS proceeds to process 500.

処理４２０では、データ処理システムＳＹＳは、顔認証が実施された対象者を含む画像データにフラグをセットする。その後、データ処理システムＳＹＳの動作は、処理２１０に移る。ここで、例えば、フラグがセットされた画像データは、行動解析および顔認証等を省いて処理されてもよい。なお、フラグがセットされた画像データに対応する人（処理２１０−４２０で継続して追跡されていた人）が消失した場合、画像データにセットされていたフラグは解除される。なお、この処理４２０は、省かれてもよい。すなわち、データ処理システムＳＹＳは、顔認証が実施された対象者を含む画像データにフラグをセットせずに、処理２１０を実施してもよい。   In process 420, the data processing system SYS sets a flag for the image data including the subject for which face authentication has been performed. Thereafter, the operation of the data processing system SYS moves to processing 210. Here, for example, the image data in which the flag is set may be processed without behavior analysis and face authentication. When the person corresponding to the image data for which the flag is set (the person who has been continuously tracked in the processing 210-420) disappears, the flag set for the image data is cancelled. Note that this process 420 may be omitted. In other words, the data processing system SYS may perform the process 210 without setting a flag for the image data including the subject for whom face authentication has been performed.

処理５００では、データ処理システムＳＹＳは、正当な利用者でない人を含む画像データを、圧縮処理する。そして、処理５１０では、データ処理システムＳＹＳは、圧縮した画像データを、ＬＡＮで接続されたセンタにＬＡＮコントローラＬＣを介して転送する。例えば、画像データを転送するための処理（画像データの圧縮、転送等）は、図１に示した動作状態管理モジュールＣＮＴ１により、後述する図５に示す運用状態テーブルＴＡ１に基づいて、プロセッサＰ６に割り当てられる。画像データが転送された後、データ処理システムＳＹＳの動作は、処理２１０に移り、上述した処理（人検出処理、人追跡処理、行動解析、顔認証、画像データの転送処理等）が繰り返される。   In process 500, the data processing system SYS compresses image data including people who are not legitimate users. In step 510, the data processing system SYS transfers the compressed image data to the center connected via the LAN via the LAN controller LC. For example, processing (image data compression, transfer, etc.) for transferring image data is performed by the operation state management module CNT1 shown in FIG. 1 on the processor P6 based on an operation state table TA1 shown in FIG. Assigned. After the image data is transferred, the operation of the data processing system SYS moves to a process 210, and the above-described processes (person detection process, person tracking process, behavior analysis, face authentication, image data transfer process, etc.) are repeated.

図３は、図１に示した動作状態管理モジュールＣＮＴ１の動作の一例を示している。処理６１０−６４０は、例えば、上述した図１に示したプロセッサＰ０上で動作する動作状態管理モジュールＣＮＴ１により、実施される。なお、処理６００−６４０は、例えば、上述した図２に示した各処理１００、２００、３００、４００、５００で実施される。   FIG. 3 shows an example of the operation of the operation state management module CNT1 shown in FIG. Processes 610-640 are performed by, for example, the operation state management module CNT1 operating on the processor P0 shown in FIG. 1 described above. Note that the processes 600 to 640 are performed, for example, in the processes 100, 200, 300, 400, and 500 shown in FIG.

処理６１０では、動作状態管理モジュールＣＮＴ１は、処理状態が変化するまで（図２では、データ処理システムＳＹＳの動作が、処理１００、２００、３００、４００、５００のいずれかに移るまで）待機する。処理状態が変化した場合（処理６１０のＹｅｓ）、データ処理システムＳＹＳの動作は、処理６２０に移る。   In process 610, the operation state management module CNT1 waits until the process state changes (in FIG. 2, until the operation of the data processing system SYS moves to one of the processes 100, 200, 300, 400, 500). When the processing state has changed (Yes in processing 610), the operation of the data processing system SYS moves to processing 620.

処理６２０では、動作状態管理モジュールＣＮＴ１（より詳細には、上述した図１の選択部ＳＥ）は、運用状態テーブルＴＡ１を検索し、運用状態テーブルＴＡ１に設定された運用情報から、処理状態に対応する運用情報を選択する。ここで、例えば、運用状態テーブルＴＡ１に設定される運用情報は、各処理を各プロセッサＰ１−Ｐ７に割り当てるために分類されている。すなわち、各運用情報は、後述する図５に示すように、各処理の各プロセッサＰ１−Ｐ７への割り当てを示す情報（図５では、処理割り当ての列の情報）を有している。なお、運用状態テーブルＴＡ１の詳細は、後述する図５−図７で説明する。例えば、図５に示すエントリＮｏ．１、Ｎｏ．２、Ｎｏ．３、Ｎｏ．４、Ｎｏ．５の運用情報は、図２に示した処理１００、処理２００、処理３００、処理４００および処理５００、５１０にそれぞれ対応する。   In the process 620, the operation state management module CNT1 (more specifically, the selection unit SE in FIG. 1 described above) searches the operation state table TA1 and corresponds to the process state from the operation information set in the operation state table TA1. Operation information to be selected. Here, for example, the operation information set in the operation state table TA1 is classified in order to assign each process to each processor P1-P7. That is, each operation information has information (in FIG. 5, information on a process assignment column) indicating assignment of each process to each processor P1-P7, as shown in FIG. 5 described later. Details of the operation state table TA1 will be described later with reference to FIGS. For example, the entry number shown in FIG. 1, no. 2, no. 3, no. 4, no. The operation information 5 corresponds to the process 100, the process 200, the process 300, the process 400, and the processes 500 and 510 shown in FIG.

着目する処理状態に対応する運用情報が複数ある場合（図２では、処理３００、４００、５００）、動作状態管理モジュールＣＮＴ１は、センシング結果に基づいて、着目する処理状態に対応する複数の運用情報から、センシング結果に対応する運用情報を検索する。例えば、動作状態管理モジュールＣＮＴ１は、運用状態テーブルＴＡ１の処理結果の項目（後述する図５では、処理結果の列）とセンシング結果とを比較し、センシング結果に対応する運用情報を選択する。   When there are a plurality of pieces of operation information corresponding to the processing state of interest (in FIG. 2, processing 300, 400, 500), the operation state management module CNT1 uses the plurality of pieces of operation information corresponding to the processing state of interest based on the sensing result. To search operation information corresponding to the sensing result. For example, the operation state management module CNT1 compares the item of the processing result (the processing result column in FIG. 5 described later) of the operation state table TA1 with the sensing result, and selects the operation information corresponding to the sensing result.

処理６３０では、動作状態管理モジュールＣＮＴ１は、処理６２０で選択した運用情報を、運用状態テーブルＴＡ１から読み出す。そして、処理６４０では、動作状態管理モジュールＣＮＴ１（より詳細には、図１の割り当て部ＡＬ）は、読み出した運用情報に基づいて、各処理を各プロセッサＰ１−Ｐ７に割り当てる。   In process 630, the operation state management module CNT1 reads the operation information selected in process 620 from the operation state table TA1. In process 640, the operation state management module CNT1 (more specifically, the allocation unit AL in FIG. 1) allocates each process to each processor P1-P7 based on the read operation information.

図４は、データ処理システムＳＹＳのソフトウェアの構成の一例を示している。   FIG. 4 shows an example of the software configuration of the data processing system SYS.

ハードウェアであるプロセッサＰ０−Ｐ７上で、マルチプロセッサ用のリアルタイムオペレーティングシステム（Real-Time Operating System、ＲＴＯＳ）であるオペレーティングシステムＯＳが動作する。オペレーティングシステムＯＳは、各プロセッサＰ０−Ｐ７上でそれぞれ動作するリアルタイムオペレーティングシステムＲＴＯＳと、プロセッサＰ１−Ｐ７間の通信ライブラリＬＩＢとを有している。オペレーティングシステムＯＳ上では、動作状態管理モジュールＣＮＴ１およびアプリケーションプログラム（ユーザプログラム）ＡＰが動作する。例えば、この実施形態では、動作状態管理モジュールＣＮＴ１は、プロセッサＰ０に対応するリアルタイムオペレーティングシステムＲＴＯＳ上で動作する。   An operating system OS that is a real-time operating system (RTOS) for a multiprocessor operates on the processors P0 to P7 that are hardware. The operating system OS includes a real-time operating system RTOS that operates on each of the processors P0 to P7, and a communication library LIB between the processors P1 and P7. The operating state management module CNT1 and the application program (user program) AP operate on the operating system OS. For example, in this embodiment, the operation state management module CNT1 operates on the real-time operating system RTOS corresponding to the processor P0.

また、例えば、アプリケーションプログラムＡＰ（図の例では、プログラムＡＰ０−ＡＰ５）は、動作状態管理モジュールＣＮＴ１により、アプリケーションプログラム群ＡＰＧから選択され、運用状態テーブルＴＡ１に基づいて、各プロセッサＰ０−Ｐ７に割り当てる。ここで、例えば、アプリケーションプログラム群ＡＰＧは、複数のアプリケーションプログラムＡＰ０、ＡＰ１、ＡＰ２、・・・ＡＰｎを有し、上述したメインメモリＭＭ等に保持される。例えば、アプリケーションプログラムＡＰ０、ＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５は、全体制御（上述した図２の処理）、人検出処理、人追跡処理、行動解析、顔認証、画像データの転送を実施するためのプログラムにそれぞれ対応する。   Further, for example, the application program AP (program AP0-AP5 in the example in the figure) is selected from the application program group APG by the operation state management module CNT1 and assigned to each processor P0-P7 based on the operation state table TA1. . Here, for example, the application program group APG includes a plurality of application programs AP0, AP1, AP2,... APn, and is held in the main memory MM described above. For example, the application programs AP 0, AP 1, AP 2, AP 3, AP 4, AP 5 perform overall control (the process of FIG. 2 described above), human detection processing, human tracking processing, behavior analysis, face authentication, and image data transfer. Corresponds to each program.

図５は、運用状態テーブルＴＡ１の構成の一例を示している。図中の処理ＭＣは、全体制御の処理を示している。また、処理Ｓ−１、Ｓ−２、Ｓ−３、Ｓ−４は、ビデオカメラＣ１−Ｃ４の画像データに対する人検出処理をそれぞれ示し、処理Ｔ−１、Ｔ−２、Ｔ−３、Ｔ−４は、ビデオカメラＣ１−Ｃ４の画像データに対する人追跡処理をそれぞれ示している。そして、処理ＡＣＴは行動解析を示し、処理ＦＲＥは顔認証を示し、処理ＴＲＡは画像データの転送を示している。なお、図中の括弧内のプログラムＡＰ０−ＡＰ５は、各処理を実施するために、各プロセッサＰ０−Ｐ７に割り当てられるプログラムを示している。また、図中のエントリＮｏ．３、Ｎｏ．４、Ｎｏ．５の網掛けは、上述した図２に示した処理２１０のＹｅｓ、処理３１０のＹｅｓ、処理４１０のＮｏにそれぞれ対応する各ビデオカメラＣ１−Ｃ４の画像データの処理結果を示している。   FIG. 5 shows an example of the configuration of the operation state table TA1. A process MC in the figure indicates an overall control process. Processes S-1, S-2, S-3, and S-4 indicate human detection processes for the image data of the video cameras C1-C4, respectively, and processes T-1, T-2, T-3, T -4 shows the person tracking process for the image data of the video cameras C1-C4. The process ACT indicates behavior analysis, the process FRE indicates face authentication, and the process TRA indicates transfer of image data. Note that programs AP0 to AP5 in parentheses in the figure indicate programs assigned to the processors P0 to P7 in order to perform each process. In addition, the entry No. 3, no. 4, no. The shaded area 5 indicates the processing result of the image data of each video camera C1-C4 corresponding to Yes in the process 210, Yes in the process 310, and No in the process 410 shown in FIG.

運用状態テーブルＴＡ１は、エントリ（Ｎｏ．）、センシング結果と比較される要素（図の処理結果の列）、各処理を各プロセッサＰ１−Ｐ７に割り当てるための情報（図の処理割り当ての列）を有している。そして、運用状態テーブルＴＡ１には、各処理を各プロセッサＰ１−Ｐ７に割り当てるために分類された複数の運用情報が設定されている。図の例では、運用情報は、エントリＮｏ．１、Ｎｏ．２、Ｎｏ．３、Ｎｏ．４、Ｎｏ．５に分類され、さらに、エントリＮｏ．３、Ｎｏ．４、Ｎｏ．５の運用情報は、それぞれ１５種類に分類されている。すなわち、運用状態テーブルＴＡ１には、画像データの処理結果に基づく処理状態毎に分類された運用情報が設定される。換言すれば、運用状態テーブルＴＡ１には、各処理状態に対応する運用情報が設定される。   The operation state table TA1 includes an entry (No.), an element to be compared with the sensing result (process result column in the figure), and information for allocating each process to each processor P1-P7 (process allocation column in the figure). Have. In the operation status table TA1, a plurality of operation information classified for assigning each process to each processor P1-P7 is set. In the example of the figure, the operation information is the entry number. 1, no. 2, no. 3, no. 4, no. In addition, the entry No. 3, no. 4, no. The five pieces of operation information are classified into 15 types. That is, operation information classified for each processing state based on the processing result of the image data is set in the operation state table TA1. In other words, operation information corresponding to each processing state is set in the operation state table TA1.

例えば、エントリＮｏ．１、Ｎｏ．２の運用情報は、各処理を各プロセッサＰ１−Ｐ７に割り当てるための情報（以下、割り当て情報とも称する）を有している。なお、１つの運用情報内の割り当て情報が示す各処理の各プロセッサＰ０−Ｐ７への割り当ての組み合わせは、１種類である。また、割り当て情報が示す各処理の各プロセッサＰ０−Ｐ７への割り当ての組み合わせは、各処理のリアルタイム制約を満足させる組み合わせである。ここで、リアルタイム制約とは、特定の処理を特定の時間内で終了させることである。また、例えば、エントリＮｏ．３、Ｎｏ．４、Ｎｏ．５の運用情報は、センシング結果と比較される要素（以下、処理結果情報とも称する）と、割り当て情報とを有している。   For example, entry no. 1, no. The operation information 2 includes information (hereinafter also referred to as allocation information) for allocating each process to each processor P1-P7. Note that there is only one type of combination of allocation to each processor P0-P7 of each process indicated by the allocation information in one operation information. In addition, a combination of assignments of the processes indicated by the assignment information to the processors P0 to P7 is a combination that satisfies the real-time constraints of the processes. Here, the real-time constraint is to end a specific process within a specific time. For example, entry No. 3, no. 4, no. The operation information 5 includes elements to be compared with the sensing result (hereinafter also referred to as processing result information) and allocation information.

エントリＮｏ．１の運用情報は、ビデオカメラＣ１、Ｃ３によるサーチモード（上述した図２に示した処理１００）に対応する。ビデオカメラＣ１、Ｃ３によるサーチモードでは、プロセッサＰ１−Ｐ７により実施される処理は、センシング結果に拘わらず、ビデオカメラＣ１、Ｃ３の画像データに対するそれぞれの人検出処理の１種類である。したがって、エントリＮｏ．１の運用情報は、１種類である。例えば、エントリＮｏ．１の運用情報が選択された場合、上述した図１に示した動作状態管理モジュールＣＮＴ１は、エントリＮｏ．１の運用情報の割り当て情報に基づいて、各処理を各プロセッサＰ０−Ｐ７に割り当てる。この場合、例えば、プロセッサＰ０、Ｐ１、Ｐ３には、全体制御ＭＣ、ビデオカメラＣ１の画像データに対する人検出処理Ｓ−１、ビデオカメラＣ３の画像データに対する人検出処理Ｓ−３がそれぞれ割り当てられ、プロセッサＰ２、Ｐ４−Ｐ７には、処理は割り当てられない。   Entry No. The operation information 1 corresponds to the search mode (process 100 shown in FIG. 2 described above) by the video cameras C1 and C3. In the search mode by the video cameras C1 and C3, the processing performed by the processors P1 to P7 is one type of human detection processing for the image data of the video cameras C1 and C3 regardless of the sensing result. Therefore, entry no. One piece of operation information is of one type. For example, entry No. 1 is selected, the operation state management module CNT1 shown in FIG. Each process is allocated to each processor P0-P7 based on the allocation information of one operation information. In this case, for example, the processor P0, P1, and P3 are allotted with the overall control MC, the human detection process S-1 for the image data of the video camera C1, and the human detection process S-3 for the image data of the video camera C3, respectively. Processing is not assigned to the processors P2 and P4-P7.

エントリＮｏ．２の運用情報は、ビデオカメラＣ１−Ｃ４によるサーチモード（図２に示した処理２００）に対応する。ビデオカメラＣ１−Ｃ４によるサーチモードでは、プロセッサＰ１−Ｐ７により実施される処理は、センシング結果に拘わらず、ビデオカメラＣ１−Ｃ４の画像データに対するそれぞれの人検出処理の１種類である。したがって、エントリＮｏ．２の運用情報は、１種類である。例えば、エントリＮｏ．２の運用情報が選択された場合、図１に示した動作状態管理モジュールＣＮＴ１は、エントリＮｏ．２の運用情報の割り当て情報に基づいて、各処理を各プロセッサＰ０−Ｐ７に割り当てる。この場合、例えば、プロセッサＰ０−Ｐ４には、全体制御ＭＣ、ビデオカメラＣ１−Ｃ４の画像データに対する人検出処理Ｓ−１、Ｓ−２、Ｓ−３、Ｓ−４がそれぞれ割り当てられ、プロセッサＰ５−Ｐ７には、処理は割り当てられない。   Entry No. The operation information 2 corresponds to the search mode (process 200 shown in FIG. 2) by the video cameras C1 to C4. In the search mode by the video cameras C1-C4, the processing executed by the processors P1-P7 is one type of human detection processing for the image data of the video cameras C1-C4 regardless of the sensing result. Therefore, entry no. The operation information of 2 is one type. For example, entry No. 2 is selected, the operation state management module CNT1 shown in FIG. Each process is assigned to each processor P0-P7 based on the operation information assignment information of No. 2. In this case, for example, human detection processes S-1, S-2, S-3, and S-4 for the image data of the overall control MC and the video cameras C1 to C4 are assigned to the processors P0 to P4, respectively, and the processor P5. No process is assigned to -P7.

エントリＮｏ．３の運用情報は、追跡および行動解析モード（図２に示した処理３００）に対応する。追跡および行動解析モードでは、プロセッサＰ１−Ｐ４により実施される処理は、センシング結果に応じて変化する。例えば、追跡および行動解析モードでは、人が検出されたビデオカメラの画像データを用いて人追跡処理が実施され、かつ、人追跡処理の結果に基づいて行動解析が実施される。したがって、センシング結果は、ビデオカメラＣ１−Ｃ４の１つで人が検出された場合から全て（４つのビデオカメラ）で検出された場合までの組み合わせを有するため、１５種類である。したがって、エントリＮｏ．３の運用情報は、センシング結果が１５種類のため、１５種類である。なお、ビデオカメラＣ１−Ｃ４の全てで人が検出されない状態（結果）は、処理が追跡および行動解析モードに移らないため、運用状態テーブルＴＡ１のエントリＮｏ．３の運用情報に含まれない。   Entry No. The operation information 3 corresponds to the tracking and behavior analysis mode (processing 300 shown in FIG. 2). In the tracking and behavior analysis mode, the processing performed by the processors P1-P4 changes according to the sensing result. For example, in the tracking and behavior analysis mode, a human tracking process is performed using image data of a video camera in which a person is detected, and a behavior analysis is performed based on the result of the human tracking process. Accordingly, there are 15 sensing results because there are combinations from when a person is detected by one of the video cameras C1 to C4 to when all are detected (four video cameras). Therefore, entry no. The operation information 3 has 15 types because there are 15 types of sensing results. Note that the state (result) in which no person is detected in all of the video cameras C1 to C4 does not move to the tracking and behavior analysis mode, so the entry number of the operation state table TA1. 3 is not included in the operation information.

すなわち、追跡および行動解析モードに対応するエントリＮｏ．３の運用情報は、エントリＮｏ．３−１、３−２、・・・３−１５の１５種類に分類される。ここで、例えば、図１に示した動作状態管理モジュールＣＮＴ１は、運用状態テーブルＴＡ１の処理結果情報（図の処理結果の列）と、ビデオカメラＣ１−Ｃ４によるサーチモードのセンシング結果とを比較する。そして、動作状態管理モジュールＣＮＴ１は、エントリＮｏ．３−１、３−２、・・・３−１５の運用情報から、センシング結果に対応する運用情報（センシング結果に一致する処理結果情報のエントリの運用情報）を選択する。ここで、エントリＮｏ．３の処理結果情報の“検出”は、人が検出された状態（処理結果）を示し、“非検”は、人が検出されていない状態（処理結果）を示している。   That is, the entry number corresponding to the tracking and behavior analysis mode is set. 3 operation information includes entry No. It is classified into 15 types of 3-1, 3-2, ... 3-15. Here, for example, the operation state management module CNT1 illustrated in FIG. 1 compares the processing result information (the processing result column in the drawing) of the operation state table TA1 with the sensing result of the search mode by the video cameras C1-C4. . Then, the operation state management module CNT1 has an entry No. The operation information corresponding to the sensing result (operation information of the processing result information entry that matches the sensing result) is selected from the operation information of 3-1, 3-2, ... 3-15. Here, the entry No. The “detection” of the processing result information 3 indicates a state where the person is detected (processing result), and “non-detection” indicates a state where the person is not detected (processing result).

例えば、エントリＮｏ．３−１は、ビデオカメラＣ１のみで人が検出された場合（状態）に対応する。例えば、エントリＮｏ．３−１では、プロセッサＰ０−Ｐ４、Ｐ７には、全体制御ＭＣ、ビデオカメラＣ１の画像データに対する人追跡処理Ｔ−１、ビデオカメラＣ２−Ｃ４の画像データに対する人検出処理Ｓ−２、Ｓ−３、Ｓ−４、人追跡処理Ｔ−１の結果に基づく行動解析ＡＣＴ（ビデオカメラＣ１の画像データに対する行動解析）がそれぞれ割り当てられ、プロセッサＰ５−Ｐ６には、処理は割り当てられない。   For example, entry No. 3-1 corresponds to the case (state) where a person is detected only by the video camera C <b> 1. For example, entry No. In 3-1, the processors P0 to P4 and P7 have the overall control MC, the human tracking process T-1 for the image data of the video camera C1, and the human detection processes S-2 and S- for the image data of the video camera C2-C4. 3, S-4, and behavior analysis ACT (behavior analysis with respect to image data of video camera C1) based on the result of the person tracking process T-1 are assigned, respectively, and no process is assigned to the processors P5-P6.

また、例えば、エントリＮｏ．３−５は、ビデオカメラＣ１、Ｃ３のみで人が検出された場合（状態）に対応する。例えば、エントリＮｏ．３−５では、プロセッサＰ０−Ｐ４、Ｐ７には、全体制御ＭＣ、人追跡処理Ｔ−１、人検出処理Ｓ−２、人追跡処理Ｔ−３、人検出処理Ｓ−４、行動解析ＡＣＴ（ビデオカメラＣ１、Ｃ３の画像データに対する行動解析）がそれぞれ割り当てられ、プロセッサＰ５−Ｐ６には、処理は割り当てられない。   For example, entry No. 3-5 corresponds to the case (state) where a person is detected only by the video cameras C1 and C3. For example, entry No. In 3-5, the processors P0-P4 and P7 are connected to the overall control MC, human tracking process T-1, human detection process S-2, human tracking process T-3, human detection process S-4, action analysis ACT ( (Behavior analysis for the image data of the video cameras C1 and C3) is assigned, and no processing is assigned to the processors P5-P6.

また、例えば、エントリＮｏ．３−１５は、ビデオカメラＣ１−Ｃ４の全てで人が検出された場合（状態）に対応する。例えば、エントリＮｏ．３−１５では、プロセッサＰ０−Ｐ４、Ｐ７には、全体制御ＭＣ、人追跡処理Ｔ−１、Ｔ−２、Ｔ−３、Ｔ−４、行動解析ＡＣＴ（ビデオカメラＣ１−Ｃ４の画像データに対する行動解析）がそれぞれ割り当てられ、プロセッサＰ５−Ｐ６には、処理は割り当てられない。   For example, entry No. 3-15 corresponds to the case (state) where a person is detected in all of the video cameras C1-C4. For example, entry No. 3-15, the processors P0-P4 and P7 are connected to the overall control MC, human tracking processes T-1, T-2, T-3, T-4, action analysis ACT (for the image data of the video cameras C1-C4). (Behavior analysis) is assigned, and no processing is assigned to the processors P5-P6.

エントリＮｏ．４の運用情報は、顔認証モード（図２に示した処理４００）に対応する。エントリＮｏ．４の運用情報は、エントリＮｏ．３の運用情報と同様に、センシング結果が１５種類のため、１５種類である。すなわち、顔認証モードに対応するエントリＮｏ．４の運用情報は、エントリＮｏ．４−１、４−２、・・・４−１５の１５種類に分類される。ここで、例えば、図１に示した動作状態管理モジュールＣＮＴ１は、運用状態テーブルＴＡ１の処理結果情報と、追跡および行動解析モードのセンシング結果とを比較し、センシング結果に対応する運用情報を選択する。ここで、エントリＮｏ．４の処理結果情報の“異常”は、行動解析で異常行動と判断された状態（処理結果）を示し、“正常”は、“異常”以外の状態を示している。すなわち、エントリＮｏ．４の処理結果情報の“正常”は、行動解析で正常と判断された状態（処理結果）と、人が検出されていない状態（エントリＮｏ．３の“非検”に相当）とを含んでいる。   Entry No. Operation information No. 4 corresponds to the face authentication mode (process 400 shown in FIG. 2). Entry No. The operation information of No. 4 includes an entry No. Similarly to the operation information 3, there are 15 types of sensing results, so there are 15 types. That is, the entry number corresponding to the face authentication mode is set. The operation information of No. 4 includes an entry No. It is classified into 15 types of 4-1, 4-2, ... 4-15. Here, for example, the operation state management module CNT1 shown in FIG. 1 compares the processing result information in the operation state table TA1 with the sensing result in the tracking and behavior analysis mode, and selects the operation information corresponding to the sensing result. . Here, the entry No. “Abnormal” in the processing result information 4 indicates a state (processing result) determined to be abnormal behavior by the behavior analysis, and “normal” indicates a state other than “abnormal”. That is, entry No. “Normal” of the processing result information of 4 includes a state (processing result) determined to be normal by the behavior analysis and a state where no person is detected (corresponding to “non-detection” of entry No. 3). Yes.

例えば、エントリＮｏ．４−１は、ビデオカメラＣ１で検出された人の行動のみが異常行動と判断された場合（状態）に対応する。例えば、エントリＮｏ．４−１では、エントリＮｏ．３で処理が割り当てられていないプロセッサＰ５に、顔認証ＦＲＥ（ビデオカメラＣ１の画像データを用いた顔認証）が割り当てられる。その他のプロセッサＰ０−Ｐ４、Ｐ６、Ｐ７への処理の割り当ては、エントリＮｏ．３−１と同じである。例えば、エントリＮｏ．４−１では、プロセッサＰ０−Ｐ５、Ｐ７には、全体制御ＭＣ、人追跡処理Ｔ−１、人検出処理Ｓ−２、Ｓ−３、Ｓ−４、顔認証ＦＲＥ、行動解析ＡＣＴ（ビデオカメラＣ１の画像データに対する行動解析）がそれぞれ割り当てられ、プロセッサＰ６には、処理は割り当てられない。   For example, entry no. 4-1 corresponds to a case (state) in which only a human behavior detected by the video camera C <b> 1 is determined to be abnormal behavior. For example, entry No. 4-1, entry no. The face authentication FRE (face authentication using image data of the video camera C1) is assigned to the processor P5 to which processing is not assigned in step 3. The assignment of processing to the other processors P0 to P4, P6, and P7 is the entry number. It is the same as 3-1. For example, entry no. 4-1, the processors P0-P5 and P7 include the overall control MC, human tracking process T-1, human detection processes S-2, S-3, S-4, face authentication FRE, behavior analysis ACT (video camera). (Behavior analysis for C1 image data) is assigned, and no processing is assigned to the processor P6.

また、例えば、エントリＮｏ．４−５は、ビデオカメラＣ１、Ｃ３で検出された人の行動のみが異常行動と判断された場合（状態）に対応する。例えば、エントリＮｏ．４−５では、プロセッサＰ５に顔認証ＦＲＥ（ビデオカメラＣ１、Ｃ３の画像データをそれぞれ用いた顔認証）が割り当てられる。その他のプロセッサＰ０−Ｐ４、Ｐ６、Ｐ７への処理の割り当ては、エントリＮｏ．３−５と同じである。また、例えば、エントリＮｏ．４−１５は、ビデオカメラＣ１−Ｃ４で検出された人の行動が異常行動と判断された場合（状態）に対応する。例えば、エントリＮｏ．４−１５では、プロセッサＰ５に顔認証ＦＲＥ（ビデオカメラＣ１−Ｃ４の画像データをそれぞれ用いた顔認証）が割り当てられる。その他のプロセッサＰ０−Ｐ４、Ｐ６、Ｐ７への処理の割り当ては、エントリＮｏ．３−１５と同じである。このように、エントリＮｏ．４では、エントリＮｏ．３で処理が割り当てられていないプロセッサＰ５に、顔認証ＦＲＥが割り当てられる。   For example, entry No. 4-5 corresponds to the case (state) in which only the behavior of the person detected by the video cameras C1 and C3 is determined to be abnormal behavior. For example, entry No. In 4-5, face authentication FRE (face authentication using the image data of the video cameras C1 and C3, respectively) is assigned to the processor P5. The assignment of processing to the other processors P0 to P4, P6, and P7 is the entry number. Same as 3-5. For example, entry No. 4-15 corresponds to the case (state) in which the human behavior detected by the video cameras C1-C4 is determined to be abnormal behavior. For example, entry no. In 4-15, face authentication FRE (face authentication using image data of the video cameras C1-C4) is assigned to the processor P5. The assignment of processing to the other processors P0 to P4, P6, and P7 is the entry number. Same as 3-15. Thus, entry No. 4, entry no. The face authentication FRE is assigned to the processor P5 to which no process is assigned in step 3.

エントリＮｏ．５の運用情報は、画像データ圧縮および転送モード（図２に示した処理５００、５１０）に対応する。エントリＮｏ．５の運用情報は、エントリＮｏ．３の運用情報と同様に、センシング結果が１５種類のため、１５種類である。すなわち、画像データ圧縮および転送モードに対応するエントリＮｏ．５の運用情報は、エントリＮｏ．５−１、５−２、・・・５−１５の１５種類に分類される。ここで、例えば、図１に示した動作状態管理モジュールＣＮＴ１は、運用状態テーブルＴＡ１の処理結果情報と、顔認証モードのセンシング結果とを比較し、センシング結果に対応する運用情報を選択する。ここで、エントリＮｏ．５の処理結果情報の“ＮＧ”は、顔認証が実施された対象者が正当な利用者でないと判断された状態（処理結果）を示し、“ＯＫ”は、“ＮＧ”以外の状態を示している。すなわち、エントリＮｏ．５の処理結果情報の“ＯＫ”は、顔認証が実施された対象者が正当な利用者と判断された状態（処理結果）と、行動解析で正常と判断された状態（処理結果）と、人が検出されていない状態（エントリＮｏ．３の“非検”に相当）とを含んでいる。   Entry No. Operation information No. 5 corresponds to the image data compression and transfer mode (processing 500 and 510 shown in FIG. 2). Entry No. The operation information of the entry No. Similarly to the operation information 3, there are 15 types of sensing results, so there are 15 types. That is, the entry number corresponding to the image data compression and transfer mode is set. The operation information of the entry No. It is classified into 15 types of 5-1, 5-2, ... 5-15. Here, for example, the operation state management module CNT1 shown in FIG. 1 compares the processing result information in the operation state table TA1 with the sensing result in the face authentication mode, and selects the operation information corresponding to the sensing result. Here, the entry No. “NG” in the processing result information of 5 indicates a state (processing result) in which it is determined that the target person for whom face authentication is performed is not a valid user, and “OK” indicates a state other than “NG”. ing. That is, entry No. “OK” in the processing result information of 5 is a state (processing result) in which the target person for whom face authentication has been performed is determined to be a valid user, a state in which it is determined to be normal in the behavior analysis (processing result), This includes a state in which no person is detected (corresponding to “No detection” in entry No. 3).

例えば、エントリＮｏ．５−１は、ビデオカメラＣ１で検出された人が正当な利用者でない場合（状態）に対応する。例えば、エントリＮｏ．５−１では、エントリＮｏ．４で処理が割り当てられていないプロセッサＰ６に、画像データ転送ＴＲＡ（ビデオカメラＣ１の画像データを圧縮して転送）が割り当てられる。その他のプロセッサＰ０−Ｐ５、Ｐ７への処理の割り当ては、エントリＮｏ．４−１と同じである。また、例えば、エントリＮｏ．５−１５は、ビデオカメラＣ１−Ｃ４で検出された人が正当な利用者でない場合（状態）に対応する。例えば、エントリＮｏ．５−１５では、プロセッサＰ６に、画像データ転送ＴＲＡ（ビデオカメラＣ１−Ｃ４の画像データを圧縮して転送）が割り当てられる。その他のプロセッサＰ０−Ｐ５、Ｐ７への処理の割り当ては、エントリＮｏ．４−１５と同じである。このように、エントリＮｏ．５では、エントリＮｏ．４で処理が割り当てられていないプロセッサＰ６に、画像データ転送ＴＲＡが割り当てられる。   For example, entry no. 5-1 corresponds to a case (state) where the person detected by the video camera C <b> 1 is not a valid user. For example, entry No. 5-1, entry no. The image data transfer TRA (the image data of the video camera C1 is compressed and transferred) is assigned to the processor P6 to which no process is assigned in step 4. The assignment of processing to the other processors P0 to P5 and P7 is the entry No. It is the same as 4-1. For example, entry No. 5-15 corresponds to a case (state) where the person detected by the video cameras C1-C4 is not a valid user. For example, entry no. In 5-15, the image data transfer TRA (the image data of the video cameras C1-C4 is compressed and transferred) is assigned to the processor P6. The assignment of processing to the other processors P0 to P5 and P7 is the entry No. It is the same as 4-15. Thus, entry No. 5, entry no. The image data transfer TRA is assigned to the processor P6 to which no process is assigned in step 4.

このように、運用状態テーブルＴＡ１には、割り当て情報を含む運用情報が処理状態（例えば、画像データの処理結果に基づく処理状態）毎に予め設定されている。換言すれば、運用状態テーブルＴＡ１には、処理状態毎に、１つの運用情報が設定される。したがって、図１に示した動作状態管理モジュールＣＮＴ１は、複数の処理状態に対して、各処理状態に対応する運用情報を一義的に選択できる。これにより、データ処理システムＳＹＳでは、故障等が発生した状態（例えば、故障時の各処理と各プロセッサＰ０−Ｐ７との組み合わせ）を容易に再現でき、デバッグの効率を向上させることができる。すなわち、データ処理システムＳＹＳでは、故障等が発生した際のデバッグを容易にできる。   In this way, in the operation state table TA1, operation information including allocation information is set in advance for each processing state (for example, a processing state based on the processing result of image data). In other words, one piece of operation information is set for each processing state in the operation state table TA1. Therefore, the operation state management module CNT1 shown in FIG. 1 can uniquely select operation information corresponding to each processing state for a plurality of processing states. Thereby, in the data processing system SYS, a state where a failure or the like has occurred (for example, a combination of each process at the time of the failure and each processor P0 to P7) can be easily reproduced, and debugging efficiency can be improved. That is, the data processing system SYS can easily debug when a failure or the like occurs.

また、動作状態管理モジュールＣＮＴ１は、運用状態テーブルＴＡ１に設定された割り当て情報を用いることにより、各処理が所定の時間内で終了するように（リアルタイム制約を満足するように）、各処理を各プロセッサＰ０−Ｐ７に割り当てることができる。例えば、画像データ転送ＴＲＡの負荷が全体制御ＭＣの負荷に比べて大きく、かつ、プロセッサＰ６の処理能力がプロセッサＰ０の処理能力に比べて小さい場合、全体制御ＭＣをプロセッサＰ６に割り当て、かつ、画像データ転送ＴＲＡをプロセッサＰ０に割り当てることを示す割り当て情報が、運用状態テーブルＴＡ１に設定される。すなわち、各運用情報における各処理の各プロセッサへの割り当て情報を、リアルタイム制約を満足するように設定することによって、システムのすべての動作状態で、容易にリアルタイム制約を満足させることができる。   In addition, the operation state management module CNT1 uses the allocation information set in the operation state table TA1 so that each process is completed within a predetermined time (so that the real-time constraint is satisfied). It can be assigned to processors P0-P7. For example, when the load of the image data transfer TRA is larger than the load of the overall control MC and the processing capability of the processor P6 is smaller than the processing capability of the processor P0, the overall control MC is assigned to the processor P6, and the image Allocation information indicating that the data transfer TRA is allocated to the processor P0 is set in the operation state table TA1. That is, by setting the allocation information to each processor in each operation information so as to satisfy the real-time constraint, the real-time constraint can be easily satisfied in all operating states of the system.

図６は、運用状態テーブルＴＡ１の構成の別の例を示している。図６の運用状態テーブルＴＡ１は、上述した図５に示した運用状態テーブルＴＡ１に外部デバイス制御情報が追加されている。図６の運用状態テーブルＴＡ１のその他の構成は、図５に示した運用状態テーブルＴＡ１と同じである。すなわち、運用状態テーブルＴＡ１は、エントリ（Ｎｏ．）、処理結果情報（図の処理結果の列）、割り当て情報（図の処理割り当ての列）、外部デバイス制御情報（図の外部デバイス制御の列）を有している。なお、図中の処理結果の列の網掛けの意味は、上述した図５と同じである。また、図中の外部デバイス制御の列の網掛けは、処理結果の列の網掛けに対応して設定される外部デバイス制御情報を示している。   FIG. 6 shows another example of the configuration of the operation state table TA1. In the operation state table TA1 in FIG. 6, external device control information is added to the operation state table TA1 shown in FIG. The other configuration of the operation state table TA1 of FIG. 6 is the same as that of the operation state table TA1 shown in FIG. That is, the operation state table TA1 includes an entry (No.), processing result information (a processing result column in the figure), allocation information (a processing allocation column in the figure), external device control information (an external device control column in the figure). have. Note that the meaning of the shaded rows of the processing results in the figure is the same as in FIG. 5 described above. In addition, the shaded rows in the external device control column in the figure indicate external device control information set corresponding to the shaded rows in the processing results.

各運用情報は、各処理状態で必要な外部デバイスを適切に制御するための外部デバイス制御情報を有している。例えば、外部デバイス制御情報を用いる動作状態管理モジュールＣＮＴ１は、各外部デバイスの動作（動作モード等）を制御するための制御データを外部デバイス制御情報に基づいて生成し、かつ、生成した制御データを各外部デバイスに出力する外部デバイス制御部（図示せず）を有している。これにより、図１に示した動作状態管理モジュールＣＮＴ１は、各処理状態に対応する運用情報の割り当て情報に基づいて、各処理を各プロセッサＰ０−Ｐ７に割り当てるとともに、運用情報の外部デバイス制御情報に基づいて、各外部デバイスの動作（動作モード等）を制御できる。なお、図１に示した割り当て部ＡＬに、外部デバイス制御部の機能を含めてもよい。   Each operation information has external device control information for appropriately controlling an external device required in each processing state. For example, the operation state management module CNT1 using the external device control information generates control data for controlling the operation (operation mode, etc.) of each external device based on the external device control information, and generates the generated control data. An external device control unit (not shown) for outputting to each external device is provided. Thereby, the operation state management module CNT1 shown in FIG. 1 assigns each process to each processor P0-P7 based on the assignment information of the operation information corresponding to each process state, and uses it as the external device control information of the operation information. Based on this, it is possible to control the operation (operation mode, etc.) of each external device. Note that the function of the external device control unit may be included in the allocation unit AL illustrated in FIG.

例えば、エントリＮｏ．１では、ビデオカメラＣ１、Ｃ３の画像データに対してのみ、プロセッサＰ１、Ｐ３により人検出処理Ｓ−１、Ｓ−３が実施される。このため、エントリＮｏ．１では、ダウンコンバータＤＣ１、ＤＣ３は、外部デバイス制御情報に基づいて、画像のサイズおよびフレームレートがそれぞれＶＧＡおよび１０ｆｐｓの画像データをデータ処理システムＳＹＳに出力するように設定される。さらに、エントリＮｏ．１では、ダウンコンバータＤＣ２、ＤＣ４は、外部デバイス制御情報に基づいて、オフ（ＯＦＦ）に設定される。また、エントリＮｏ．１では、画像データが外部へ転送されないため、ＬＡＮコントローラＬＣは、外部デバイス制御情報に基づいて、オフ（ＯＦＦ）に設定される。   For example, entry No. In 1, the human detection processes S-1 and S-3 are performed by the processors P1 and P3 only on the image data of the video cameras C1 and C3. Therefore, entry No. In 1, the down converters DC1 and DC3 are set to output image data having an image size and a frame rate of VGA and 10 fps, respectively, to the data processing system SYS based on the external device control information. Further, the entry No. In 1, the down converters DC2 and DC4 are set to OFF based on the external device control information. In addition, the entry No. In 1, since the image data is not transferred to the outside, the LAN controller LC is set to OFF based on the external device control information.

また、例えば、エントリＮｏ．３−５では、ビデオカメラＣ１、Ｃ３の画像データに対して、プロセッサＰ１、Ｐ３により人追跡処理Ｔ−１、Ｔ−３が実施され、ビデオカメラＣ２、Ｃ４の画像データに対して、プロセッサＰ２、Ｐ４により人検出処理Ｓ−２、Ｓ−４が実施される。このため、エントリＮｏ．３−５では、ダウンコンバータＤＣ１、ＤＣ３は、外部デバイス制御情報に基づいて、画像のサイズおよびフレームレートがそれぞれＶＧＡおよび３０ｆｐｓの画像データをデータ処理システムＳＹＳに出力するように設定される。さらに、エントリＮｏ．３−５では、ダウンコンバータＤＣ２、ＤＣ４は、外部デバイス制御情報に基づいて、画像のサイズおよびフレームレートがそれぞれＶＧＡおよび１０ｆｐｓの画像データをデータ処理システムＳＹＳに出力するように設定される。また、エントリＮｏ．３−５では、画像データが外部へ転送されないため、ＬＡＮコントローラＬＣは、外部デバイス制御情報に基づいて、オフ（ＯＦＦ）に設定される。   For example, entry No. 3-5, human tracking processes T-1 and T-3 are performed on the image data of the video cameras C1 and C3 by the processors P1 and P3, and the processor P2 is applied to the image data of the video cameras C2 and C4. , P4 performs human detection processes S-2 and S-4. Therefore, entry No. In 3-5, the down-converters DC1 and DC3 are set to output image data having an image size and a frame rate of VGA and 30 fps, respectively, to the data processing system SYS based on the external device control information. Further, the entry No. In 3-5, the down converters DC2 and DC4 are set so as to output image data having an image size and a frame rate of VGA and 10 fps, respectively, to the data processing system SYS based on the external device control information. In addition, the entry No. In 3-5, since the image data is not transferred to the outside, the LAN controller LC is set to OFF based on the external device control information.

また、例えば、エントリＮｏ．５−１では、ビデオカメラＣ１の画像データに対して、プロセッサＰ５により顔認証ＦＲＥが実施され、ビデオカメラＣ２−Ｃ４の画像データに対して、プロセッサＰ２−Ｐ４により人検出処理Ｓ−２、Ｓ−３、Ｓ−４が実施される。このため、エントリＮｏ．５−１では、ダウンコンバータＤＣ１は、外部デバイス制御情報に基づいて、画像のサイズおよびフレームレートがそれぞれＸＧＡおよび３０ｆｐｓの画像データをデータ処理システムＳＹＳに出力するように設定される。さらに、エントリＮｏ．５−１では、ダウンコンバータＤＣ２−ＤＣ４は、外部デバイス制御情報に基づいて、画像のサイズおよびフレームレートがそれぞれＶＧＡおよび１０ｆｐｓの画像データをデータ処理システムＳＹＳに出力するように設定される。また、エントリＮｏ．５−１では、ＬＡＮで接続されたセンタ側に画像データを転送するため、ＬＡＮコントローラＬＣは、外部デバイス制御情報に基づいて、オン（ＯＮ）に設定される。   For example, entry No. In 5-1, face authentication FRE is performed on the image data of the video camera C1 by the processor P5, and human detection processing S-2, S is performed on the image data of the video camera C2-C4 by the processor P2-P4. -3 and S-4. Therefore, entry No. In 5-1, the down-converter DC1 is set to output image data having an image size and a frame rate of XGA and 30 fps, respectively, to the data processing system SYS based on the external device control information. Further, the entry No. In 5-1, the down-converters DC2-DC4 are set to output image data having an image size and a frame rate of VGA and 10 fps, respectively, to the data processing system SYS based on the external device control information. In addition, the entry No. In 5-1, in order to transfer the image data to the center side connected by the LAN, the LAN controller LC is set to ON based on the external device control information.

図７は、運用状態テーブルＴＡ１の構成の別の例を示している。図７の運用状態テーブルＴＡ１は、上述した図５に示した運用状態テーブルＴＡ１に電力制御情報が追加されている。図７の運用状態テーブルＴＡ１のその他の構成は、図５に示した運用状態テーブルＴＡ１と同じである。すなわち、運用状態テーブルＴＡ１は、エントリ（Ｎｏ．）、処理結果情報（図の処理結果の列）、割り当て情報（図の処理割り当ての列）、電力制御情報（図の電力制御の列）を有している。図中の符号Ｈは、プロセッサを通常（フルスピード）のクロック周波数で動作させることを示し、符号Ｌは、プロセッサを通常の半分（フルスピードの１／２のスピード）のクロック周波数で動作させることを示している。なお、図中の処理結果の列の網掛けの意味は、上述した図５と同じである。また、図中の電力制御の列の網掛けは、プロセッサを通常のクロック周波数で動作させたときに比べて、消費電力が低くなる状態（プロセッサのクロック周波数が通常の半分およびプロセッサがオフの状態）を示している。   FIG. 7 shows another example of the configuration of the operation state table TA1. In the operation state table TA1 of FIG. 7, power control information is added to the operation state table TA1 shown in FIG. The other configuration of the operation state table TA1 of FIG. 7 is the same as that of the operation state table TA1 shown in FIG. That is, the operation state table TA1 has an entry (No.), processing result information (a processing result column in the figure), allocation information (a processing allocation column in the figure), and power control information (a power control column in the figure). is doing. The symbol H in the figure indicates that the processor operates at a normal (full speed) clock frequency, and the symbol L indicates that the processor operates at a normal half (full speed 1/2 speed) clock frequency. Is shown. Note that the meaning of the shaded rows of the processing results in the figure is the same as in FIG. 5 described above. Also, the shaded rows in the power control column in the figure indicate that the power consumption is lower than when the processor is operated at the normal clock frequency (the processor clock frequency is half the normal frequency and the processor is off). ).

各運用情報は、各処理状態に応じて、プロセッサＰ０−Ｐ７の消費電力を適切に制御するための電力制御情報を有している。例えば、電力制御情報を用いる動作状態管理モジュールＣＮＴ１は、電力制御情報に基づいて、各プロセッサＰ０−Ｐ７のオン、オフおよびクロック周波数等を制御する電力制御部（図示せず）を有している。これにより、図１に示した動作状態管理モジュールＣＮＴ１は、各処理状態に対応する運用情報の割り当て情報に基づいて、各処理を各プロセッサＰ０−Ｐ７に割り当てるとともに、運用情報の電力制御情報に基づいて、プロセッサＰ０−Ｐ７の消費電力を適切に制御できる。この結果、消費電力を低減できる。なお、図１に示した割り当て部ＡＬに、電力制御部の機能を含めてもよい。   Each operation information has power control information for appropriately controlling the power consumption of the processors P0 to P7 according to each processing state. For example, the operation state management module CNT1 that uses power control information has a power control unit (not shown) that controls on / off of each of the processors P0 to P7, a clock frequency, and the like based on the power control information. . Thereby, the operation state management module CNT1 shown in FIG. 1 assigns each process to each processor P0-P7 based on the operation information assignment information corresponding to each process state, and also based on the power control information of the operation information. Thus, the power consumption of the processors P0 to P7 can be appropriately controlled. As a result, power consumption can be reduced. In addition, you may include the function of a power control part in the allocation part AL shown in FIG.

図の例は、全体制御ＭＣおよび人検出処理Ｓ−１、Ｓ−２、Ｓ−３、Ｓ−４の負荷が、他の処理（人追跡処理等）の負荷に比べて小さい場合を示している。例えば、全体制御ＭＣおよび人検出処理Ｓ−１、Ｓ−２、Ｓ−３、Ｓ−４は、プロセッサを通常の半分のクロック周波数で動作させた状態で、各プロセッサに処理される場合でも、リアルタイム制約を満足する。なお、人追跡処理Ｔ−１、Ｔ−２、Ｔ−３、Ｔ−４、行動解析ＡＣＴ、顔認証ＦＲＥ、画像データ転送ＴＲＡは、プロセッサを通常のクロック周波数で動作させた状態で、各プロセッサに処理される。   The example in the figure shows a case where the loads of the overall control MC and the human detection processes S-1, S-2, S-3, and S-4 are smaller than the loads of other processes (human tracking processes, etc.). Yes. For example, even when the overall control MC and the human detection processes S-1, S-2, S-3, and S-4 are processed by each processor while the processors are operated at a half clock frequency, Satisfy real-time constraints. It should be noted that the human tracking processes T-1, T-2, T-3, T-4, behavior analysis ACT, face authentication FRE, and image data transfer TRA are performed with each processor operating at a normal clock frequency. To be processed.

例えば、エントリＮｏ．１では、プロセッサＰ０により全体制御ＭＣが実施され、プロセッサＰ１、Ｐ３により、ビデオカメラＣ１、Ｃ３の画像データに対する人検出処理Ｓ−１、Ｓ−３が実施される。このため、エントリＮｏ．１では、プロセッサＰ０、Ｐ１、Ｐ３は、電力制御情報に基づいて、通常の半分のクロック周波数に設定され、プロセッサＰ２、Ｐ４−Ｐ７の電源は、電力制御情報に基づいて、オフ（ＯＦＦ）に設定される。   For example, entry No. In 1, the overall control MC is performed by the processor P0, and the human detection processes S-1 and S-3 are performed on the image data of the video cameras C1 and C3 by the processors P1 and P3. Therefore, entry No. 1, the processors P0, P1, and P3 are set to the normal half clock frequency based on the power control information, and the power sources of the processors P2, P4-P7 are turned off based on the power control information. Is set.

また、例えば、エントリＮｏ．３−５では、プロセッサＰ０により全体制御ＭＣが実施され、プロセッサＰ１、Ｐ３により人追跡処理Ｔ−１、Ｔ−３が実施され、プロセッサＰ２、Ｐ４により人検出処理Ｓ−２、Ｓ−４が実施され、プロセッサＰ７により行動解析ＡＣＴが実施される。このため、エントリＮｏ．３−５では、プロセッサＰ０、Ｐ２、Ｐ４は、電力制御情報に基づいて、通常の半分のクロック周波数に設定され、プロセッサＰ１、Ｐ３、Ｐ７は、電力制御情報に基づいて、通常のクロック周波数に設定され、プロセッサＰ５、Ｐ６の電源は、電力制御情報に基づいて、オフ（ＯＦＦ）に設定される。   For example, entry No. In 3-5, the overall control MC is performed by the processor P0, the person tracking processes T-1 and T-3 are performed by the processors P1 and P3, and the person detection processes S-2 and S-4 are performed by the processors P2 and P4. The behavior analysis ACT is performed by the processor P7. Therefore, entry No. In 3-5, the processors P0, P2, and P4 are set to the normal half clock frequency based on the power control information, and the processors P1, P3, and P7 are set to the normal clock frequency based on the power control information. The power sources of the processors P5 and P6 are set to OFF (OFF) based on the power control information.

図８は、図７に示した運用状態テーブルＴＡ１を用いた消費電力制御の一例を示している。図の横軸は時間ｔを示し、縦軸は消費電力制御をしない場合の消費電力（以下、最大消費電力とも称する）に対する消費電力の割合ＰＷ（％）を示している。消費電力制御をしない場合の消費電力は、例えば、プロセッサＰ０−Ｐ７の全てを通常のクロック周波数で動作させたときの消費電力に相当する。   FIG. 8 shows an example of power consumption control using the operation state table TA1 shown in FIG. In the figure, the horizontal axis represents time t, and the vertical axis represents the ratio PW (%) of power consumption to power consumption (hereinafter also referred to as maximum power consumption) when power consumption control is not performed. The power consumption when the power consumption control is not performed corresponds to, for example, the power consumption when all the processors P0 to P7 are operated at the normal clock frequency.

例えば、データ処理システムＳＹＳが起動された直後のサーチモード（上述した図２に示した処理１００、図７に示したエントリＮｏ．１）では、消費電力は、最大消費電力の約２０％である（図８の（ａ））。そして、全てのビデオカメラによるサーチモード（図２に示した処理２００、図７に示したエントリＮｏ．２）では、消費電力は、最大消費電力の約３０％である（図８の（ｂ））。   For example, in the search mode immediately after the data processing system SYS is activated (the process 100 shown in FIG. 2 and the entry No. 1 shown in FIG. 7), the power consumption is about 20% of the maximum power consumption. ((A) of FIG. 8). In the search mode (process 200 shown in FIG. 2, entry No. 2 shown in FIG. 7) with all video cameras, the power consumption is about 30% of the maximum power consumption ((b) of FIG. 8). ).

次に、追跡および行動解析モード（図２に示した処理３００）において、例えば、２つのビデオカメラの画像データに対して人追跡処理が実施されている場合（例えば、図７に示したエントリＮｏ．３−５）、消費電力は、最大消費電力の約５５％である（図８の（ｃ）、（ｇ））。また、追跡および行動解析モードにおいて、例えば、全てのビデオカメラの画像データに対して人追跡処理が実施されている場合（図７に示したエントリＮｏ．３−１５）、消費電力は、最大消費電力の約７０％である（図８の（ｄ））。   Next, in the tracking and behavior analysis mode (process 300 shown in FIG. 2), for example, when the person tracking process is performed on the image data of two video cameras (for example, the entry No. shown in FIG. 7). .3-5) and the power consumption is about 55% of the maximum power consumption ((c) and (g) of FIG. 8). In the tracking and behavior analysis mode, for example, when human tracking processing is performed on image data of all video cameras (entry No. 3-15 shown in FIG. 7), the power consumption is the maximum consumption. This is about 70% of the electric power ((d) in FIG. 8).

そして、顔認証モード（図２に示した処理４００）では、例えば、全てのビデオカメラの画像データに対して顔認証が実施されている場合（図７に示したエントリＮｏ．４−１５）、消費電力は、最大消費電力の約８０％である（図８の（ｅ））。また、画像データ圧縮および転送モード（図２に示した処理５００、５１０）では、例えば、全てのビデオカメラの画像データが圧縮および転送される場合（図７に示したエントリＮｏ．５−１５）、消費電力は、最大消費電力の約９５％である（図８の（ｆ））。なお、全てのビデオカメラの画像データが圧縮および転送される場合でも、プロセッサＰ０が通常の半分のクロック周波数で動作しているため、消費電力は、最大消費電力に比べて小さい。   In the face authentication mode (process 400 shown in FIG. 2), for example, when face authentication is performed on image data of all video cameras (entry No. 4-15 shown in FIG. 7), The power consumption is about 80% of the maximum power consumption ((e) of FIG. 8). In the image data compression and transfer mode (processes 500 and 510 shown in FIG. 2), for example, when image data of all video cameras is compressed and transferred (entry No. 5-15 shown in FIG. 7). The power consumption is about 95% of the maximum power consumption ((f) in FIG. 8). Even when the image data of all the video cameras is compressed and transferred, the power consumption is small compared to the maximum power consumption because the processor P0 operates at a half clock frequency.

また、全てのビデオカメラで人が検出されない状態では、処理状態が２つのビデオカメラによるサーチモード（図２に示した処理１００）に移るため、消費電力は、最大消費電力の約２０％である（図８の（ｈ））。図の例では、期間Ｔの平均消費電力は、最大消費電力の約４０％である。このように、運用状態テーブルＴＡ１を用いたデータ処理システムＳＹＳでは、処理状態に応じて消費電力を抑制でき、全体の平均消費電力を、消費電力制御をしない場合に比べて小さくできる。すなわち、消費電力を低減できる。   Further, in a state in which no person is detected by all the video cameras, the processing state shifts to the search mode (processing 100 shown in FIG. 2) by two video cameras, so the power consumption is about 20% of the maximum power consumption. ((H) of FIG. 8). In the example of the figure, the average power consumption in the period T is about 40% of the maximum power consumption. Thus, in the data processing system SYS using the operation state table TA1, the power consumption can be suppressed according to the processing state, and the overall average power consumption can be reduced as compared with the case where the power consumption control is not performed. That is, power consumption can be reduced.

図９は、運用状態テーブルＴＡ１の構成の別の例を示している。図９の運用状態テーブルＴＡ１は、上述した図５に示した運用状態テーブルＴＡ１に電力制御情報および外部デバイス制御情報が追加されている。図９の運用状態テーブルＴＡ１のその他の構成は、図５に示した運用状態テーブルＴＡ１と同じである。すなわち、運用状態テーブルＴＡ１は、エントリ（Ｎｏ．）、処理結果情報（図の処理結果の列）、割り当て情報（図の処理割り当ての列）、電力制御情報（図の電力制御の列）、外部デバイス制御情報（図の外部デバイス制御の列）を有している。なお、電力制御情報は、上述した図７に示した運用状態テーブルＴＡ１の電力制御情報と同じであり、外部デバイス制御情報は、上述した図６に示した運用状態テーブルＴＡ１の外部デバイス制御情報と同じである。これ等については、詳細な説明を省略する。   FIG. 9 shows another example of the configuration of the operation state table TA1. In the operation state table TA1 of FIG. 9, power control information and external device control information are added to the operation state table TA1 shown in FIG. The other configuration of the operation state table TA1 in FIG. 9 is the same as the operation state table TA1 shown in FIG. That is, the operation state table TA1 includes an entry (No.), processing result information (processing result column in the figure), allocation information (processing allocation column in the figure), power control information (power control column in the figure), external It has device control information (external device control column in the figure). The power control information is the same as the power control information in the operation state table TA1 shown in FIG. 7 described above, and the external device control information is the same as the external device control information in the operation state table TA1 shown in FIG. The same. Detailed description of these will be omitted.

例えば、各運用情報は、各処理状態に応じて、プロセッサＰ０−Ｐ７の消費電力を適切に制御するための電力制御情報と、各処理状態で必要な外部デバイスを適切に制御するための外部デバイス制御情報とを有している。例えば、上述した図１に示した動作状態管理モジュールＣＮＴ１は、図７で説明した電力制御部（図示せず）と、図６で説明した外部デバイス制御部（図示せず）とを有している。なお、図１に示した割り当て部ＡＬに、電力制御部および外部デバイス制御部の機能を含めてもよい。これにより、図１に示した動作状態管理モジュールＣＮＴ１は、各処理の各プロセッサＰ０−Ｐ７への割り当て、プロセッサＰ０−Ｐ７の消費電力の制御および各外部デバイスの動作（動作モード等）の制御を、各処理状態に応じて適切に実施できる。   For example, each operation information includes power control information for appropriately controlling the power consumption of the processors P0 to P7 according to each processing state, and an external device for appropriately controlling an external device necessary for each processing state. Control information. For example, the above-described operation state management module CNT1 shown in FIG. 1 includes the power control unit (not shown) described in FIG. 7 and the external device control unit (not shown) described in FIG. Yes. In addition, you may include the function of a power control part and an external device control part in the allocation part AL shown in FIG. As a result, the operation state management module CNT1 shown in FIG. 1 assigns each process to each processor P0-P7, controls the power consumption of the processors P0-P7, and controls the operation (operation mode, etc.) of each external device. It can be appropriately implemented according to each processing state.

図１０−図１５は、図９に示した運用状態テーブルＴＡ１を用いたデータ処理システムＳＹＳの各処理状態の概要を示している。なお、図１０−図１５の破線は、オフ状態の要素（プロセッサＰ、ダウンコンバータＤＣ、ＬＡＮコントローラＬＣ）を示している。   10 to 15 show an outline of each processing state of the data processing system SYS using the operation state table TA1 shown in FIG. In addition, the broken line of FIGS. 10-15 has shown the element (processor P, down converter DC, LAN controller LC) of an OFF state.

図１０は、ビデオカメラＣ１、Ｃ３によるサーチモード（上述した図２に示した処理１００、図９に示したエントリＮｏ．１）に対応する。例えば、プロセッサＰ０は、通常の半分のクロック周波数で全体制御を実施し、プロセッサＰ１、Ｐ３は、通常の半分のクロック周波数で人検出処理を実施する。また、ダウンコンバータＤＣ１、ＤＣ３は、画像のサイズおよびフレームレートがそれぞれＶＧＡおよび１０ｆｐｓの画像データをデータ処理システムＳＹＳに出力する。なお、プロセッサＰ２、Ｐ４−Ｐ７、ダウンコンバータＤＣ２、ＤＣ４、ＬＡＮコントローラＬＣは、オフしている。   10 corresponds to the search mode (video processing 100 shown in FIG. 2 described above, entry No. 1 shown in FIG. 9) by the video cameras C1 and C3. For example, the processor P0 performs overall control with a normal half clock frequency, and the processors P1 and P3 perform human detection processing with a normal half clock frequency. Further, the down converters DC1 and DC3 output image data having an image size and a frame rate of VGA and 10 fps, respectively, to the data processing system SYS. Note that the processors P2, P4-P7, the down converters DC2, DC4, and the LAN controller LC are off.

図１１は、ビデオカメラＣ１−Ｃ４によるサーチモード（図２に示した処理２００、図９に示したエントリＮｏ．２）に対応する。例えば、プロセッサＰ０は、通常の半分のクロック周波数で全体制御を実施し、プロセッサＰ１−Ｐ４は、通常の半分のクロック周波数で人検出処理を実施する。ダウンコンバータＤＣ１−ＤＣ４は、画像のサイズおよびフレームレートがそれぞれＶＧＡおよび１０ｆｐｓの画像データをデータ処理システムＳＹＳに出力する。なお、プロセッサＰ５−Ｐ７、ＬＡＮコントローラＬＣは、オフしている。   11 corresponds to the search mode (process 200 shown in FIG. 2, entry No. 2 shown in FIG. 9) by the video cameras C1-C4. For example, the processor P0 performs overall control at a normal half clock frequency, and the processors P1-P4 perform human detection processing at a normal half clock frequency. The down converters DC1 to DC4 output image data having an image size and a frame rate of VGA and 10 fps, respectively, to the data processing system SYS. Note that the processors P5-P7 and the LAN controller LC are off.

図１２は、追跡および行動解析モード（図２に示した処理３００）で、ビデオカメラＣ１、Ｃ２の画像データに対して人追跡処理が実施されている場合（図９に示したエントリＮｏ．３−５）に対応する。図中の網掛けのプロセッサＰは、通常のクロック周波数で動作するプロセッサを示し、網掛けのダウンコンバータＤＣは、ＶＧＡサイズで３０ｆｐｓの画像データを出力するダウンコンバータを示している。例えば、プロセッサＰ１、Ｐ３は、通常のクロック周波数で人追跡処理を実施し、プロセッサＰ７は、通常のクロック周波数で行動解析を実施する。また、例えば、ダウンコンバータＤＣ１、ＤＣ３は、画像のサイズおよびフレームレートがそれぞれＶＧＡおよび３０ｆｐｓの画像データをデータ処理システムＳＹＳに出力する。なお、プロセッサＰ０、Ｐ２、Ｐ４−Ｐ６、ダウンコンバータＤＣ２、ＤＣ４、ＬＡＮコントローラＬＣの動作（オフも含む）は、上述した図１１と同じである。   12 is a tracking and behavior analysis mode (the process 300 shown in FIG. 2) in the case where the person tracking process is performed on the image data of the video cameras C1 and C2 (entry No. 3 shown in FIG. 9). Corresponds to -5). A shaded processor P in the figure indicates a processor that operates at a normal clock frequency, and a shaded down converter DC indicates a down converter that outputs image data of 30 fps in the VGA size. For example, the processors P1 and P3 perform human tracking processing at a normal clock frequency, and the processor P7 performs behavior analysis at a normal clock frequency. Further, for example, the down converters DC1 and DC3 output image data having an image size and a frame rate of VGA and 30 fps, respectively, to the data processing system SYS. The operations (including OFF) of the processors P0, P2, P4-P6, the down converters DC2, DC4, and the LAN controller LC are the same as those in FIG.

図１３は、追跡および行動解析モード（図２に示した処理３００）で、ビデオカメラＣ１−Ｃ４の画像データに対して人追跡処理が実施されている場合（図９に示したエントリＮｏ．３−１５）に対応する。図中の網掛けのプロセッサＰおよびダウンコンバータＤＣの意味は、上述した図１２と同じである。例えば、プロセッサＰ１−Ｐ４は、通常のクロック周波数で人追跡処理を実施し、プロセッサＰ７は、通常のクロック周波数で行動解析を実施する。また、例えば、ダウンコンバータＤＣ１−ＤＣ４は、画像のサイズおよびフレームレートがそれぞれＶＧＡおよび３０ｆｐｓの画像データをデータ処理システムＳＹＳに出力する。なお、プロセッサＰ０、Ｐ５、Ｐ６、ＬＡＮコントローラＬＣの動作（オフも含む）は、上述した図１２と同じである。   13 shows a case where the person tracking process is performed on the image data of the video cameras C1 to C4 in the tracking and behavior analysis mode (the process 300 shown in FIG. 2) (entry No. 3 shown in FIG. 9). -15). The meanings of the shaded processor P and the down converter DC in the figure are the same as those in FIG. For example, the processors P1 to P4 perform human tracking processing at a normal clock frequency, and the processor P7 performs behavior analysis at a normal clock frequency. Further, for example, the down converters DC1 to DC4 output image data whose image size and frame rate are VGA and 30 fps, respectively, to the data processing system SYS. The operations of the processors P0, P5, P6 and the LAN controller LC (including OFF) are the same as those in FIG.

図１４は、顔認証モード（図２に示した処理４００）で、ビデオカメラＣ１−Ｃ４の画像データに対して顔認証が実施されている場合（図９に示したエントリＮｏ．４−１５）に対応する。図中の網掛けのプロセッサＰの意味は、上述した図１２と同じである。なお、太線で網掛けのダウンコンバータＤＣは、ＸＧＡサイズで３０ｆｐｓの画像データを出力するダウンコンバータを示している。例えば、プロセッサＰ５は、通常のクロック周波数で顔認証を実施する。また、例えば、ダウンコンバータＤＣ１−ＤＣ４は、画像のサイズおよびフレームレートがそれぞれＸＧＡおよび３０ｆｐｓの画像データをデータ処理システムＳＹＳに出力する。なお、プロセッサＰ０−Ｐ４、Ｐ６、Ｐ７、ＬＡＮコントローラＬＣの動作（オフも含む）は、上述した図１３と同じである。   14 shows a case where face authentication is performed on the image data of the video cameras C1-C4 in the face authentication mode (process 400 shown in FIG. 2) (entry No. 4-15 shown in FIG. 9). Corresponding to The meaning of the shaded processor P in the figure is the same as in FIG. Note that the downconverter DC shaded with bold lines indicates a downconverter that outputs image data of 30 fps in XGA size. For example, the processor P5 performs face authentication at a normal clock frequency. Further, for example, the down converters DC1 to DC4 output image data having an image size and a frame rate of XGA and 30 fps, respectively, to the data processing system SYS. Note that the operations (including OFF) of the processors P0 to P4, P6, P7, and the LAN controller LC are the same as those in FIG.

図１５は、画像データ圧縮および転送モード（図２に示した処理５００、５１０）で、ビデオカメラＣ１−Ｃ４の画像データが圧縮および転送される場合（図９に示したエントリＮｏ．５−１５）に対応する。図中の網掛けのプロセッサＰおよび太線で網掛けのダウンコンバータＤＣの意味は、上述した図１４と同じである。例えば、プロセッサＰ６は、通常のクロック周波数で画像データ転送を実施する。そして、ＬＡＮコントローラＬＣは、データ処理システムＳＹＳから受けた画像データを、ＬＡＮで接続されたセンタ（図示せず）に転送する。なお、プロセッサＰ０−Ｐ５、Ｐ７、ダウンコンバータＤＣ１−ＤＣ４の動作は、上述した図１４と同じである。   15 shows a case where the image data of the video camera C1-C4 is compressed and transferred in the image data compression and transfer mode (processes 500 and 510 shown in FIG. 2) (entry No. 5-15 shown in FIG. 9). ). The meanings of the shaded processor P and the downconverter DC shaded with bold lines are the same as those in FIG. 14 described above. For example, the processor P6 performs image data transfer at a normal clock frequency. Then, the LAN controller LC transfers the image data received from the data processing system SYS to a center (not shown) connected via the LAN. The operations of the processors P0 to P5 and P7 and the down converters DC1 to DC4 are the same as those in FIG.

以上、この実施形態では、動作状態管理モジュールＣＮＴ１は、各処理状態に対して一義的に設定された割り当て情報（運用情報内の割り当て情報）に基づいて、各処理を各プロセッサＰ０−Ｐ７に割り当てる。これにより、この実施形態では、故障等の発生した状態（例えば、各プロセッサに割り当てられていた処理）を容易に再現でき、デバッグの効率を向上させることができる。すなわち、この実施形態では、故障等が発生した際のデバッグを容易にできる。また、各運用情報をリアルタイム制約を満足するように設定することで、すべての動作状態で容易にリアルタイム制約を満足させることができる。さらに、運用情報が電力制御情報を有する場合、この実施形態では、各処理状態に応じて、プロセッサＰ０−Ｐ７の消費電力を適切に制御でき、消費電力を低減できる。   As described above, in this embodiment, the operation state management module CNT1 assigns each process to each processor P0-P7 based on the assignment information (assignment information in the operation information) uniquely set for each process state. . As a result, in this embodiment, a state in which a failure or the like has occurred (for example, a process assigned to each processor) can be easily reproduced, and debugging efficiency can be improved. That is, in this embodiment, debugging when a failure or the like occurs can be facilitated. In addition, by setting each operation information so as to satisfy the real-time constraint, the real-time constraint can be easily satisfied in all operation states. Further, when the operation information includes power control information, in this embodiment, the power consumption of the processors P0 to P7 can be appropriately controlled according to each processing state, and the power consumption can be reduced.

図１６は、別の実施形態におけるデータ処理システムＳＹＳの概要を示している。この実施形態では、複数の運用状態テーブルＴＡ（ＴＡ１、ＴＡ２）を有し、上述した図１に示した動作状態管理モジュールＣＮＴ１の代わりに動作状態管理モジュールＣＮＴ２が設けられている。その他の構成は、図１−図１５と同じである。図１−図１５で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。例えば、データ処理システムＳＹＳは、マルチプロセッサシステムであり、監視カメラシステムに用いられる。また、例えば、動作状態管理モジュールＣＮＴ２は、ソフトウェアで実現され、プロセッサＰ０上で動作する。そして、動作状態管理モジュールＣＮＴ２が動作している間、例えば、運用状態テーブルＴＡ１、ＴＡ２は、メインメモリＭＭに保持される。すなわち、動作状態管理モジュールＣＮＴ２は、運用状態テーブルＴＡ（ＴＡ１、ＴＡ２）が保持されたメインメモリＭＭ、プロセッサＰ０−Ｐ７および外部インターフェースＩＦ１、ＩＦ２等に、内部バスＢＵＳを介してアクセスできる。   FIG. 16 shows an overview of a data processing system SYS in another embodiment. In this embodiment, a plurality of operation state tables TA (TA1, TA2) are provided, and an operation state management module CNT2 is provided instead of the operation state management module CNT1 shown in FIG. Other configurations are the same as those in FIGS. The same elements as those described in FIGS. 1 to 15 are denoted by the same reference numerals, and detailed description thereof will be omitted. For example, the data processing system SYS is a multiprocessor system and is used in a surveillance camera system. Further, for example, the operation state management module CNT2 is realized by software and operates on the processor P0. During the operation of the operation state management module CNT2, for example, the operation state tables TA1 and TA2 are held in the main memory MM. That is, the operation state management module CNT2 can access the main memory MM, the processors P0 to P7, the external interfaces IF1 and IF2, and the like in which the operation state table TA (TA1, TA2) is held via the internal bus BUS.

動作状態管理モジュールＣＮＴ２は、図１に示した動作状態管理モジュールＣＮＴ１にスイッチ部ＳＷが追加されている。その他の動作状態管理モジュールＣＮＴ２の構成は、図１に示した動作状態管理モジュールＣＮＴ１と同じである。例えば、スイッチ部ＳＷは、外部からテーブル選択信号ＴＳＩＧを受け、テーブル選択信号ＴＳＩＧに基づいて、データ処理システムＳＹＳで使用する運用状態テーブルＴＡを選択する。   In the operation state management module CNT2, a switch unit SW is added to the operation state management module CNT1 shown in FIG. The other operation state management module CNT2 has the same configuration as the operation state management module CNT1 shown in FIG. For example, the switch unit SW receives a table selection signal TSIG from the outside, and selects an operation state table TA to be used in the data processing system SYS based on the table selection signal TSIG.

例えば、監視カメラシステムでは、システム全体の効率を向上させるために、昼間と夜間（あるいは、平日と休日）でシステム全体の動作モードを変更する場合がある。この場合、例えば、データ処理システムＳＹＳは、システム全体の各動作モードに対応する運用状態テーブルＴＡ（例えば、昼間用の運用状態テーブルＴＡ１および夜間用の運用状態テーブルＴＡ２）を有し、テーブル選択信号ＴＳＩＧにより、動作モードに適した運用状態テーブルＴＡを選択する。すなわち、この実施形態では、データ処理システムＳＹＳは、使用する運用状態テーブルＴＡをシステム全体の動作モードに応じて選択でき、動作モードに適した制御を効率よく実施できる。以上、この実施形態においても、上述した図１−図１５で説明した実施形態と同様の効果を得ることができる。   For example, in a surveillance camera system, the operation mode of the entire system may be changed between daytime and nighttime (or weekday and holiday) in order to improve the efficiency of the entire system. In this case, for example, the data processing system SYS has an operation state table TA (for example, an operation state table TA1 for daytime and an operation state table TA2 for nighttime) corresponding to each operation mode of the entire system, and a table selection signal The operation state table TA suitable for the operation mode is selected by TSIG. That is, in this embodiment, the data processing system SYS can select the operation state table TA to be used according to the operation mode of the entire system, and can efficiently perform control suitable for the operation mode. As described above, also in this embodiment, the same effect as that of the embodiment described with reference to FIGS. 1 to 15 can be obtained.

なお、上述した実施形態では、データ処理システムＳＹＳを監視カメラシステムに用いる場合の例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、データ処理システムＳＹＳは、外部センサからの入力データを複数のプロセッサで処理するマルチプロセッサシステムを有するセンシングシステム（自動車に搭載される安全支援システム等）に用いられてもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。   In the above-described embodiment, an example in which the data processing system SYS is used for a surveillance camera system has been described. The present invention is not limited to such an embodiment. For example, the data processing system SYS may be used in a sensing system (such as a safety support system installed in an automobile) having a multiprocessor system that processes input data from an external sensor by a plurality of processors. Also in this case, the same effect as the above-described embodiment can be obtained.

上述した実施形態では、動作状態管理モジュールＣＮＴ（ＣＮＴ１、ＣＮＴ２）がソフトウェアで実現され、プロセッサＰ０上で動作する例について述べた。本発明はかかる実施形態に限定されるものではない。例えば、動作状態管理モジュールＣＮＴは、プロセッサＰ０以外のプロセッサＰ（プロセッサＰ１等）上で動作してもよい。あるいは、動作状態管理モジュールＣＮＴは、内部バスＢＵＳに接続されるハードウェアで実現されてもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。   In the above-described embodiment, the example in which the operation state management module CNT (CNT1, CNT2) is realized by software and operates on the processor P0 has been described. The present invention is not limited to such an embodiment. For example, the operation state management module CNT may operate on a processor P (such as the processor P1) other than the processor P0. Alternatively, the operation state management module CNT may be realized by hardware connected to the internal bus BUS. Also in this case, the same effect as the above-described embodiment can be obtained.

上述した実施形態では、データ処理システムＳＹＳが１つの動作状態管理モジュールＣＮＴを有する例について述べた。本発明はかかる実施形態に限定されるものではない。例えば、データ処理システムＳＹＳは、複数の動作状態管理モジュールＣＮＴを有してもよい。この場合、例えば、プロセッサ群ＰＥは、動作状態管理モジュールＣＮＴ毎に分類され、各動作状態管理モジュールＣＮＴは、対応するプロセッサ群ＰＥのプロセッサＰに各処理を割り当てる。この場合にも、上述した実施形態と同様の効果を得ることができる。   In the above-described embodiment, the example in which the data processing system SYS has one operation state management module CNT has been described. The present invention is not limited to such an embodiment. For example, the data processing system SYS may include a plurality of operation state management modules CNT. In this case, for example, the processor group PE is classified for each operation state management module CNT, and each operation state management module CNT assigns each process to the processor P of the corresponding processor group PE. Also in this case, the same effect as the above-described embodiment can be obtained.

上述した実施形態では、サーチモード等のモード毎に処理結果が検索さる運用状態テーブルＴＡが用いられる例について述べた。本発明はかかる実施形態に限定されるものではない。例えば、図１７に示すように、センシング結果の組み合わせ（図１７の処理結果の列）は、モード毎に分けずに設定されてもよい。図１７では、処理結果の列の“０”は、人が検出されていない状態（処理結果）を示し、“１”は、人が検出された状態（処理結果）を示し、“２”は、異常行動が検出された状態（処理結果）を示し、“３”は、正当でない利用者が検出された状態（処理結果）を示している。このように、１つのビデオカメラＣからの画像データに対する処理結果が４通りあるため、センシング結果の組み合わせは、２５６通りである。なお、“１”は、行動解析で正常と判断された状態および顔認証で正当な利用者と判断された状態および画像データの転送が完了した時点の状態を含む。   In the above-described embodiment, the example in which the operation state table TA in which the processing result is searched for each mode such as the search mode is used has been described. The present invention is not limited to such an embodiment. For example, as shown in FIG. 17, combinations of sensing results (sequence of processing results in FIG. 17) may be set without dividing each mode. In FIG. 17, “0” in the processing result column indicates a state where no person is detected (processing result), “1” indicates a state where a person is detected (processing result), and “2” indicates The state (processing result) in which abnormal behavior is detected is shown, and “3” shows the state (processing result) in which an unauthorized user is detected. Thus, since there are four processing results for image data from one video camera C, there are 256 combinations of sensing results. Note that “1” includes a state determined to be normal by behavior analysis, a state determined to be a valid user by face authentication, and a state at the time when transfer of image data is completed.

この場合、例えば、動作状態管理モジュールは、センシング結果の組み合わせの変化を検出したときに、運用状態テーブルＴの処理結果（図１７の処理結果の列）とセンシング結果とを比較し、センシング結果に対応する運用情報を選択する。そして、動作状態管理モジュールは、選択した運用情報に基づいて、各処理を各プロセッサＰ０−Ｐ７に割り当てる。なお、例えば、プロセッサＰ７は、行動解析で正常と判断した場合、行動解析が実施されたビデオカメラＣの画像データの処理結果として、“１”を動作状態管理モジュールに返す。また、例えば、プロセッサＰ５は、顔認証で正当な利用者と判断した場合、顔認証が実施されたビデオカメラＣの画像データの処理結果として、“１”を動作状態管理モジュールに返す。さらに、例えば、プロセッサＰ６は、画像データの転送が完了したときに、転送した画像データの処理結果として、“１”を動作状態管理モジュールに返す。この場合にも、上述した実施形態と同様の効果を得ることができる。   In this case, for example, when the operation state management module detects a change in the combination of sensing results, the operation state management module compares the processing result of the operation state table T (the processing result column in FIG. 17) with the sensing result, and obtains the sensing result. Select the corresponding operation information. Then, the operation state management module assigns each process to each processor P0-P7 based on the selected operation information. For example, when the processor P7 determines that the behavior analysis is normal, the processor P7 returns “1” to the operation state management module as the processing result of the image data of the video camera C on which the behavior analysis has been performed. Further, for example, when the processor P5 determines that the user is an authorized user by the face authentication, the processor P5 returns “1” to the operation state management module as the processing result of the image data of the video camera C subjected to the face authentication. Further, for example, when the transfer of the image data is completed, the processor P6 returns “1” to the operation state management module as the processing result of the transferred image data. Also in this case, the same effect as the above-described embodiment can be obtained.

以上、本発明について詳細に説明してきたが、上記の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。   As mentioned above, although this invention was demonstrated in detail, said embodiment and its modification are only examples of this invention, and this invention is not limited to this. Obviously, modifications can be made without departing from the scope of the present invention.

一実施形態におけるデータ処理システムの概要を示す図である。It is a figure which shows the outline | summary of the data processing system in one Embodiment. データ処理システムの動作の一例を示す図である。It is a figure which shows an example of operation | movement of a data processing system. 図１に示した動作状態管理モジュールの動作の一例を示す図である。It is a figure which shows an example of operation | movement of the operation state management module shown in FIG. データ処理システムのソフトウェアの構成の一例を示す図である。It is a figure which shows an example of a software structure of a data processing system. 図１に示した運用状態テーブルの構成の一例を示す図である。It is a figure which shows an example of a structure of the operation state table shown in FIG. 図１に示した運用状態テーブルの構成の別の例を示す図である。It is a figure which shows another example of a structure of the operation state table shown in FIG. 図１に示した運用状態テーブルの構成の別の例を示す図である。It is a figure which shows another example of a structure of the operation state table shown in FIG. 図７に示した運用状態テーブルを用いた消費電力制御の一例を示す図である。It is a figure which shows an example of the power consumption control using the operation state table shown in FIG. 図１に示した運用状態テーブルの構成の別の例を示す図である。It is a figure which shows another example of a structure of the operation state table shown in FIG. 図９に示した運用状態テーブルを用いたデータ処理システムの処理状態の一例を示す図である。It is a figure which shows an example of the processing state of the data processing system using the operation state table shown in FIG. 図９に示した運用状態テーブルを用いたデータ処理システムの別の処理状態の一例を示す図である。FIG. 10 is a diagram illustrating an example of another processing state of the data processing system using the operation state table illustrated in FIG. 9. 図９に示した運用状態テーブルを用いたデータ処理システムの別の処理状態の一例を示す図である。FIG. 10 is a diagram illustrating an example of another processing state of the data processing system using the operation state table illustrated in FIG. 9. 図９に示した運用状態テーブルを用いたデータ処理システムの別の処理状態の一例を示す図である。FIG. 10 is a diagram illustrating an example of another processing state of the data processing system using the operation state table illustrated in FIG. 9. 図９に示した運用状態テーブルを用いたデータ処理システムの別の処理状態の一例を示す図である。FIG. 10 is a diagram illustrating an example of another processing state of the data processing system using the operation state table illustrated in FIG. 9. 図９に示した運用状態テーブルを用いたデータ処理システムの別の処理状態の一例を示す図である。FIG. 10 is a diagram illustrating an example of another processing state of the data processing system using the operation state table illustrated in FIG. 9. 別の実施形態におけるデータ処理システムの概要を示す図である。It is a figure which shows the outline | summary of the data processing system in another embodiment. 図５に示した運用状態テーブルの変形例を示す図である。It is a figure which shows the modification of the operation state table shown in FIG.

符号の説明Explanation of symbols

ＢＭ‥ブートメモリ；ＢＵＳ‥内部バス；ＣＮＴ１、ＣＮＴ２‥動作状態管理モジュール；ＩＦ１、ＩＦ２‥外部インターフェース；ＭＭ‥メインメモリ；Ｐ０−Ｐ７‥プロセッサ；ＰＥ‥プロセッサ群；ＳＹＳ‥データ処理システム；ＴＡ１、ＴＡ２‥運用状態テーブル   BM, boot memory; BUS, internal bus; CNT1, CNT2, operation status management module; IF1, IF2, external interface; MM, main memory; P0-P7, processor; PE, processor group, SYS, data processing system, TA1, TA2 Operation status table

Claims (7)

入力データを処理する複数のプロセッサと、
複数の処理を前記複数のプロセッサに割り当てるための複数の割り当て情報を有する運用テーブルと、
前記運用テーブルから、前記入力データの処理結果に対応する前記割り当て情報を選択し、選択した前記割り当て情報に基づいて、前記複数の処理を前記複数のプロセッサに割り当てる制御部とを備え、
前記割り当て情報は、前記入力データの処理結果に基づく処理状態毎に分類されていることを特徴とするデータ処理システム。 A plurality of processors for processing input data;
An operation table having a plurality of allocation information for allocating a plurality of processes to the plurality of processors;
A controller that selects the allocation information corresponding to the processing result of the input data from the operation table, and allocates the plurality of processes to the plurality of processors based on the selected allocation information;
The data processing system, wherein the allocation information is classified for each processing state based on a processing result of the input data. 請求項１記載のデータ処理システムにおいて、
前記制御部は、前記処理状態毎に予め設定された前記割り当て情報を、前記入力データの処理結果に対して一義的に選択することを特徴とするデータ処理システム。 The data processing system of claim 1, wherein
The said control part selects uniquely the said allocation information preset for every said processing state with respect to the processing result of the said input data, The data processing system characterized by the above-mentioned. 請求項１記載のデータ処理システムにおいて、
前記運用テーブルは、外部のデバイスを制御するための複数の外部制御情報を有し、
前記外部制御情報は、前記処理状態毎に分類され、
前記制御部は、前記運用テーブルから、前記入力データの処理結果に対応する前記割り当て情報および前記外部制御情報を選択し、選択した前記割り当て情報に基づいて、複数の処理を前記複数のプロセッサに割り当てるとともに、選択した前記外部制御情報に基づいて、前記外部のデバイスの動作を変更することを特徴とするデータ処理システム。 The data processing system of claim 1, wherein
The operation table has a plurality of external control information for controlling external devices,
The external control information is classified for each processing state,
The control unit selects the allocation information and the external control information corresponding to the processing result of the input data from the operation table, and allocates a plurality of processes to the plurality of processors based on the selected allocation information. In addition, the data processing system changes the operation of the external device based on the selected external control information. 請求項１記載のデータ処理システムにおいて、
外部にデータを転送するデータ転送部を備え、
前記運用テーブルは、前記データ転送部を制御するための外部制御情報を有し、
前記外部制御情報は、前記処理状態毎に分類され、
前記制御部は、前記運用テーブルから、前記入力データの処理結果に対応する前記割り当て情報および前記外部制御情報を選択し、選択した前記割り当て情報に基づいて、複数の処理を前記複数のプロセッサに割り当てるとともに、選択した前記外部制御情報に基づいて、前記データ転送部の動作を変更することを特徴とするデータ処理システム。 The data processing system of claim 1, wherein
A data transfer unit that transfers data to the outside
The operation table has external control information for controlling the data transfer unit,
The external control information is classified for each processing state,
The control unit selects the allocation information and the external control information corresponding to the processing result of the input data from the operation table, and allocates a plurality of processes to the plurality of processors based on the selected allocation information. In addition, the data processing system changes the operation of the data transfer unit based on the selected external control information. 請求項１記載のデータ処理システムにおいて、
前記割り当て情報に基づく前記プロセッサと前記処理の組み合わせは、前記各処理を所定の時間内で終了させる組み合わせであることを特徴とするデータ処理システム。 The data processing system of claim 1, wherein
A combination of the processor and the process based on the allocation information is a combination for ending the processes within a predetermined time. 請求項１記載のデータ処理システムにおいて、
前記複数のプロセッサは、複数の動作モードを有し、
前記運用テーブルは、前記動作モードを変更するための動作モード情報を有し、
前記動作モード情報は、前記処理状態毎に分類され、
前記制御部は、前記運用テーブルから、前記入力データの処理結果に対応する前記割り当て情報および前記動作モード情報を選択し、選択した前記割り当て情報に基づいて、複数の処理を前記複数のプロセッサに割り当てるとともに、選択した前記動作モード情報に基づいて、前記複数のプロセッサの動作モードを変更することを特徴とするデータ処理システム。 The data processing system of claim 1, wherein
The plurality of processors have a plurality of operation modes;
The operation table has operation mode information for changing the operation mode,
The operation mode information is classified for each processing state,
The control unit selects the allocation information and the operation mode information corresponding to the processing result of the input data from the operation table, and allocates a plurality of processes to the plurality of processors based on the selected allocation information. And a data processing system that changes operation modes of the plurality of processors based on the selected operation mode information. 請求項１記載のデータ処理システムにおいて、
複数の前記運用テーブルを保持する記憶部と、
外部からの信号に基づいて切り替わるスイッチ部とを備え、
前記スイッチ部は、前記外部からの信号に基づいて、前記複数の運用テーブルから前記制御部に参照される運用テーブルを選択することを特徴とするデータ処理システム。 The data processing system of claim 1, wherein
A storage unit for holding a plurality of the operation tables;
A switch unit that switches based on an external signal,
The data processing system, wherein the switch unit selects an operation table referenced by the control unit from the plurality of operation tables based on the signal from the outside.

Images