JP2021033785A

JP2021033785A - Information processing apparatus and program

Info

Publication number: JP2021033785A
Application number: JP2019155024A
Authority: JP
Inventors: 加藤　圭; Kei Kato; 圭加藤
Original assignee: Fujitsu Client Computing Ltd
Current assignee: Fujitsu Client Computing Ltd
Priority date: 2019-08-27
Filing date: 2019-08-27
Publication date: 2021-03-01

Abstract

To generate filter information.SOLUTION: An information processing apparatus includes an acquisition unit, a detection unit, a recording unit, and a generation unit. The acquisition unit acquires image data obtained by imaging the same location for several hours. The detection unit detects persons from the image data. The recording unit records coordinates in each time of the persons detected by the detection unit for each person. The generation unit generates filter information indicating a moving area in which the person can move in the image data, on the basis of a trajectory formed by connecting the coordinates of each person recorded by the recording unit in time series.SELECTED DRAWING: Figure 9

Description

本発明は、情報処理装置、及びプログラムに関する。 The present invention relates to an information processing device and a program.

従来、画像に含まれている人物を検出する技術が知られている。このような人物検出技術において、人物では無い物品を人物と誤検出してしまう場合がある。そのため、物品を人物と誤検出してしまうことを低減させる技術が求められている。 Conventionally, a technique for detecting a person included in an image has been known. In such a person detection technique, an article that is not a person may be erroneously detected as a person. Therefore, there is a demand for a technique for reducing erroneous detection of an article as a person.

ここで、画像上の全ての領域から人物を検出する必要が無い場合がある。例えば、画像に通路と棚とが含まれている場合に、通路には人物はいるが、棚には人物はいないとみなすことができる。このような場合に、棚からの人物の検出は、誤検出であるとみなすことができる。このように、人物がいない領域を定義することで、物品を人物と誤検出してしまうことを低減させることができる。 Here, it may not be necessary to detect a person from all areas on the image. For example, if the image contains a passage and a shelf, it can be considered that there is a person in the passage but no person in the shelf. In such a case, the detection of a person from the shelf can be regarded as a false detection. By defining the area where there is no person in this way, it is possible to reduce the false detection of the article as a person.

特開２０１９−１２１９０４号公報Japanese Unexamined Patent Publication No. 2019-121904

しかしながら、画像を撮像する撮像部は無数にあるため撮像部毎に物がいない領域が定義されたフィルタ情報を生成することは困難である。 However, since there are innumerable imaging units for capturing images, it is difficult to generate filter information in which an object-free region is defined for each imaging unit.

本発明は、上記に鑑みてなされたものであって、フィルタ情報を生成することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to generate filter information.

本発明の第１態様に係る情報処理装置は、取得部と、検出部と、記録部と、生成部とを備える。前記取得部は、同一の場所を複数時間撮影した画像データを取得する。前記検出部は、前記画像データから人物を検出する。前記記録部は、前記検出部が検出した前記人物の各時間の座標を前記人物毎に記録する。前記生成部は、前記記録部が記録した前記人物毎の前記座標を時系列順に繋げた軌跡に基づいて、前記画像データで前記人物が移動可能な領域である移動可能領域を示すフィルタ情報を生成する。 The information processing device according to the first aspect of the present invention includes an acquisition unit, a detection unit, a recording unit, and a generation unit. The acquisition unit acquires image data obtained by photographing the same place for a plurality of hours. The detection unit detects a person from the image data. The recording unit records the coordinates of each time of the person detected by the detection unit for each person. The generation unit generates filter information indicating a movable area, which is a movable area of the person in the image data, based on a locus in which the coordinates of each person recorded by the recording unit are connected in chronological order. To do.

本発明の第２態様に係るプログラムは、情報処理装置が有するコンピュータを、取得部と、検出部と、記録部と、生成部として機能させる。前記取得部は、同一の場所を複数時間撮影した画像データを取得する。前記検出部は、前記画像データから人物を検出する。前記記録部は、前記検出部が検出した前記人物の各時間の座標を前記人物毎に記録する。前記生成部は、前記記録部が記録した前記人物毎の前記座標を時系列順に繋げた軌跡に基づいて、前記画像データで前記人物が移動可能な領域である移動可能領域を示すフィルタ情報を生成する。 The program according to the second aspect of the present invention causes the computer of the information processing apparatus to function as an acquisition unit, a detection unit, a recording unit, and a generation unit. The acquisition unit acquires image data obtained by photographing the same place for a plurality of hours. The detection unit detects a person from the image data. The recording unit records the coordinates of each time of the person detected by the detection unit for each person. The generation unit generates filter information indicating a movable area, which is a movable area of the person in the image data, based on a locus in which the coordinates of each person recorded by the recording unit are connected in chronological order. To do.

本発明に係る情報処理装置、及びプログラムは、フィルタ情報を生成するという効果を奏する。 The information processing device and the program according to the present invention have the effect of generating filter information.

図１は、本実施例に係る分散型コンピュータの全体構成の一例を示す図である。FIG. 1 is a diagram showing an example of the overall configuration of the distributed computer according to the present embodiment. 図２は、分散型コンピュータの各装置のハードウェア構成の一例を示す図である。FIG. 2 is a diagram showing an example of the hardware configuration of each device of the distributed computer. 図３は、本実施例に係るプラットフォーム間の通信処理の一例を説明するための図である。FIG. 3 is a diagram for explaining an example of communication processing between platforms according to this embodiment. 図４は、本実施例に係る分散型コンピュータの各部の機能構成の一例を示す機能ブロック図である。FIG. 4 is a functional block diagram showing an example of the functional configuration of each part of the distributed computer according to the present embodiment. 図５は、カメラが撮像した画像データからの人物の検出結果の一例を示す図である。FIG. 5 is a diagram showing an example of a person detection result from the image data captured by the camera. 図６は、除外領域が設定された画像データの一例を示す図である。FIG. 6 is a diagram showing an example of image data in which an exclusion region is set. 図７は、フィルタ情報の一例を示す図である。FIG. 7 is a diagram showing an example of filter information. 図８は、人物特定処理部の機能構成の一例を示す機能ブロック図である。FIG. 8 is a functional block diagram showing an example of the functional configuration of the person identification processing unit. 図９は、プラットフォームの機能構成の一例を示す機能ブロック図である。FIG. 9 is a functional block diagram showing an example of the functional configuration of the platform. 図１０は、人物検出部による人物候補の検出結果の一例を示す図である。FIG. 10 is a diagram showing an example of the detection result of a person candidate by the person detection unit. 図１１は、人物検出部による人物候補の撮影位置に応じた検出結果の一例を示す図である。FIG. 11 is a diagram showing an example of a detection result according to a shooting position of a person candidate by the person detection unit. 図１２は、座標点のプロットの一例を示す図である。FIG. 12 is a diagram showing an example of a plot of coordinate points. 図１３は、座標点のプロット位置の一例を示す図である。FIG. 13 is a diagram showing an example of plot positions of coordinate points. 図１４は、座標点を時系列順に繋げた状態の一例を示す図である。FIG. 14 is a diagram showing an example of a state in which coordinate points are connected in chronological order. 図１５は、本実施例に係るフィルタ生成処理の一例を示すフローチャートである。FIG. 15 is a flowchart showing an example of the filter generation process according to the present embodiment. 図１６は、本実施例に係る人物特定処理部における人物特定処理を示すフローチャートである。FIG. 16 is a flowchart showing a person identification process in the person identification processing unit according to the present embodiment.

以下に、本発明に係る情報処理装置、及びプログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Hereinafter, examples of the information processing apparatus and the program according to the present invention will be described in detail with reference to the drawings. The present invention is not limited to this embodiment.

図１は、本実施例に係る分散型コンピュータ１の全体構成の一例を示す図である。分散型コンピュータ１は、複数のプラットフォーム１０−１〜１０−８と、複数のプラットフォーム１０−１〜１０−８を通信可能に接続する中継装置３０とを備える情報処理システムである。図１に示すように、実施例に係る分散型コンピュータ１は、プラットフォーム１０−１〜１０−８と、中継装置３０とを備えている。 FIG. 1 is a diagram showing an example of the overall configuration of the distributed computer 1 according to the present embodiment. The distributed computer 1 is an information processing system including a plurality of platforms 10-1 to 10-8 and a relay device 30 for communicably connecting the plurality of platforms 10-1 to 10-8. As shown in FIG. 1, the distributed computer 1 according to the embodiment includes platforms 10-1 to 10-8 and a relay device 30.

プラットフォーム１０−１〜１０−８は、中継装置３０を介して、通信可能に接続されている。プラットフォーム１０−１〜１０−８は、例えば、中継装置３０が設けられたボード上のスロットに挿入される。また、複数のスロットのうち、何れかのスロットは、プラットフォーム１０−１〜１０−８が挿入されていない空き状態であってもよい。以下の説明では、各プラットフォーム１０−１〜１０−８を区別する必要がなく、任意のプラットフォーム１０−１〜１０−８を示す場合には、プラットフォーム１０と記載する。 Platforms 10-1 to 10-8 are communicably connected via a relay device 30. Platforms 10-1 to 10-8 are inserted, for example, into slots on the board on which the relay device 30 is provided. Further, any of the plurality of slots may be in an empty state in which platforms 10-1 to 10-8 are not inserted. In the following description, it is not necessary to distinguish each platform 10-1 to 10-8, and when any platform 10-1 to 10-8 is indicated, it is described as platform 10.

プラットフォーム１０−１は、プラットフォーム１０−２〜１０−８を管理して、プラットフォーム１０−２〜１０−８に各種処理を実行させるメインの情報処理装置である。 Platform 10-1 is a main information processing device that manages platforms 10-2 to 10-8 and causes platforms 10-2 to 10-8 to execute various processes.

プラットフォーム１０−１には、モニタ２１と、入力装置２２とが接続されている。モニタ２１は、例えば液晶表示装置等の各種画面を表示する。入力装置２２は、例えばキーボードやマウス等の各種操作を受け付ける。 A monitor 21 and an input device 22 are connected to the platform 10-1. The monitor 21 displays various screens such as a liquid crystal display device. The input device 22 accepts various operations such as a keyboard and a mouse.

プラットフォーム１０−２〜１０−８は、プラットフォーム１０−１の要求に基づいて、例えばＡＩ（Artificial Intelligence）推論処理や画像処理等を実行するサブの情報処理装置である。また、プラットフォーム１０−２〜１０−８は、それぞれが異なる機能を有していてもよいし、複数のプラットフォーム１０毎に機能を有していてもよい。 Platforms 10-2 to 10-8 are sub-information processing devices that execute, for example, AI (Artificial Intelligence) inference processing, image processing, and the like based on the requirements of platform 10-1. Further, the platforms 10-2 to 10-8 may each have a different function, or may have a function for each of a plurality of platforms 10.

プラットフォーム１０−１〜１０−８は、ホスト側として動作可能なルートコンプレックス（ＲＣ：Root Complex）１１−１〜１１−８を有する。以下の説明では、各ルートコンプレックス１１−１〜１１−８を区別する必要がなく、任意のルートコンプレックス１１−１〜１１−８を示す場合には、ルートコンプレックス１１と記載する。 Platforms 10-1 to 10-8 have a root complex (RC: Root Complex) 11-1 to 11-8 that can operate as a host side. In the following description, it is not necessary to distinguish each route complex 11-1 to 11-8, and when any route complex 11-1 to 11-8 is indicated, it is described as root complex 11.

ルートコンプレックス１１は、中継装置３０の各エンドポイント３１−１〜３１−８との通信を実行する。すなわち、プラットフォーム１０と中継装置３０とは、ＰＣＩｅ（Peripheral Component Interconnect Express）等の通信規格により通信可能に接続される。プラットフォーム１０と中継装置３０とは、ＰＣＩｅに限らず他の通信規格により接続されていてもよい。 The route complex 11 executes communication with each endpoint 31-1 to 1-31-8 of the relay device 30. That is, the platform 10 and the relay device 30 are communicably connected by a communication standard such as PCIe (Peripheral Component Interconnect Express). The platform 10 and the relay device 30 may be connected by other communication standards, not limited to PCIe.

中継装置３０は、複数のエンドポイント（ＥＰ：End Point）３１−１〜３１−８を有する。また、中継装置３０は、エンドポイント３１−１〜３１−８に接続されたルートコンプレックス１１を有する複数のプラットフォーム１０間での通信を中継する。 The relay device 30 has a plurality of endpoints (EPs: End Points) 31-1 to 1-31-8. In addition, the relay device 30 relays communication between a plurality of platforms 10 having a route complex 11 connected to endpoints 31-1 to 1-31-8.

エンドポイント３１−１〜３１−８は、プラットフォーム１０のルートコンプレックス１１との通信を実行する。以下の説明では、各エンドポイント３１−１〜３１−８を区別する必要がなく、任意のエンドポイント３１−１〜３１−８を示す場合には、エンドポイント３１と記載する。 Endpoints 31-1 to 1-31-8 perform communication with the root complex 11 of platform 10. In the following description, it is not necessary to distinguish between the endpoints 31 to 1-31-8, and when any endpoint 31 to 1-31-8 is indicated, it is described as the endpoint 31.

次に、分散型コンピュータ１の各装置のハードウェア構成について説明する。ここで、図２は、分散型コンピュータ１の各装置のハードウェア構成の一例を示す図である。ここで、プラットフォーム１０−１のハードウェア構成を例に説明する。しかし、プラットフォーム１０−２〜１０−８も同様の構成になっている。 Next, the hardware configuration of each device of the distributed computer 1 will be described. Here, FIG. 2 is a diagram showing an example of the hardware configuration of each device of the distributed computer 1. Here, the hardware configuration of platform 10-1 will be described as an example. However, platforms 10-2 to 10-8 have a similar configuration.

プラットフォーム１０−１は、ＡＩ処理や画像処理等の演算処理を行なうコンピュータである。プラットフォーム１０は、ルートコンプレックス１１−１と、プロセッサ１２−１と、メモリ１３−１と、記憶部１４−１と、通信部１５−１とを備える。また、これらは、バスを介して通信可能に接続される。 Platform 10-1 is a computer that performs arithmetic processing such as AI processing and image processing. The platform 10 includes a root complex 11-1, a processor 12-1, a memory 13-1, a storage unit 14-1, and a communication unit 15-1. In addition, they are communicably connected via a bus.

プロセッサ１２−１は、プラットフォーム１０−１全体を制御する。プロセッサ１２−１は、マルチプロセッサであってもよい。また、プロセッサ１２−１は、例えばＣＰＵ（Central Processing Unit），ＭＰＵ（Micro Processing Unit），ＧＰＵ（Graphics Processing Unit），ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit），ＰＬＤ（Programmable Logic Device），ＦＰＧＡ（Field Programmable Gate Array）のいずれか一つであってもよい。また、プロセッサ１２は、ＣＰＵ，ＭＰＵ，ＧＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。以下の説明では、プロセッサ１２−１〜１２−８を区別する必要がなく、任意のプロセッサ１２−１〜１２−８を示す場合には、プロセッサ１２と記載する。 Processor 12-1 controls the entire platform 10-1. Processor 12-1 may be a multiprocessor. Further, the processor 12-1 includes, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), and a PLD (Programmable Logic Device). ), FPGA (Field Programmable Gate Array) may be one of them. Further, the processor 12 may be a combination of two or more types of elements of the CPU, MPU, GPU, DSP, ASIC, PLD, and FPGA. In the following description, it is not necessary to distinguish processors 12-1 to 12-8, and when any processor 12-1 to 12-8 is indicated, it is referred to as processor 12.

メモリ１３−１は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ１３−１のＲＯＭには、各種ソフトウェアプログラムやこのプログラム用のデータ類が書き込まれている。メモリ１３−１上のソフトウェアプログラムは、プロセッサ１２に適宜読み込まれて実行される。また、メモリ１３−１のＲＡＭは、一次記憶メモリあるいはワーキングメモリとして利用される。以下の説明では、メモリ１３−１〜１３−８を区別する必要がなく、任意のメモリ１３−１〜１３−８を示す場合には、メモリ１３と記載する。 The memory 13-1 is a storage memory including a ROM (Read Only Memory) and a RAM (Random Access Memory). Various software programs and data for this program are written in the ROM of the memory 13-1. The software program on the memory 13-1 is appropriately read and executed by the processor 12. Further, the RAM of the memory 13-1 is used as a primary storage memory or a working memory. In the following description, it is not necessary to distinguish between the memories 13-1 to 13-8, and when an arbitrary memory 13-1 to 13-8 is indicated, it is described as the memory 13.

記憶部１４−１は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive）、ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）等の記憶装置であって、種々のデータを格納するものである。例えば、記憶部１４−１には各種ソフトウェアプログラムが記憶される。以下の説明では、記憶部１４−１〜１４−８を区別する必要がなく、任意の記憶部１４−１〜１４−８を示す場合には、記憶部１４と記載する。 The storage unit 14-1 is a storage device such as a hard disk drive (HDD), SSD (Solid State Drive), and storage class memory (SCM), and stores various data. is there. For example, various software programs are stored in the storage unit 14-1. In the following description, it is not necessary to distinguish between the storage units 14-1 to 14-8, and when any storage unit 14-1 to 14-8 is indicated, it is described as the storage unit 14.

プラットフォーム１０においては、プロセッサ１２がメモリ１３や記憶部１４に格納されたソフトウェアプログラムを実行することで各種機能を実現する。 In the platform 10, various functions are realized by the processor 12 executing a software program stored in the memory 13 and the storage unit 14.

なお、上記の各種ソフトウェアプログラムは、必ずしもメモリ１３や記憶部１４に記憶されている必要はない。例えば、媒体読取装置等が読み取り可能な記憶媒体に記憶されたプログラムを、プラットフォーム１０が読み出して実行するようにしてもよい。プラットフォーム１０が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラムを記憶させておき、プラットフォーム１０がこれらからプログラムを読み出して実行するようにしてもよい。 The various software programs described above do not necessarily have to be stored in the memory 13 or the storage unit 14. For example, the platform 10 may read and execute a program stored in a storage medium that can be read by a medium reader or the like. The storage medium that can be read by the platform 10 corresponds to, for example, a CD-ROM, a DVD disk, a portable recording medium such as a USB (Universal Serial Bus) memory, a semiconductor memory such as a flash memory, a hard disk drive, or the like. Further, the program may be stored in a device connected to a public line, the Internet, a LAN, or the like, and the platform 10 may read the program from these and execute the program.

通信部１５−１は、カメラ５０（図４参照）等と有線または無線により接続するためのインタフェースである。以下の説明では、通信部１５−１〜１５−８を区別する必要がなく、任意の通信部１５−１〜１５−８を示す場合には、通信部１５と記載する。 The communication unit 15-1 is an interface for connecting to the camera 50 (see FIG. 4) or the like by wire or wirelessly. In the following description, it is not necessary to distinguish the communication units 15-1 to 15-8, and when any communication unit 15-1 to 15-8 is indicated, it is described as the communication unit 15.

次に、中継装置３０について説明する。中継装置３０は、プラットフォーム１０毎に設けられたエンドポイント３１−１〜３１−８と、プロセッサ３２と、メモリ３３と、記憶部３４と、内部バス３５と、ＰＣＩｅバス３６とを備える。以下の説明では、各エンドポイント３１−１〜３１−８を区別する必要がなく、任意のエンドポイント３１−１〜３１−８を示す場合には、エンドポイント３１と記載する。 Next, the relay device 30 will be described. The relay device 30 includes endpoints 31-1 to 1-31-8 provided for each platform 10, a processor 32, a memory 33, a storage unit 34, an internal bus 35, and a PCIe bus 36. In the following description, it is not necessary to distinguish between the endpoints 31 to 1-31-8, and when any endpoint 31 to 1-31-8 is indicated, it is described as the endpoint 31.

エンドポイント３１は、プラットフォーム１０毎に設けられ、データの送受信を実行する。例えば、エンドポイント３１は、接続されたプラットフォーム１０からデータを受信した場合に、ＰＣＩｅバス３６を介して、送信先のプラットフォーム１０に接続されたエンドポイント３１に受信したデータを送信する。 The endpoint 31 is provided for each platform 10 and executes data transmission / reception. For example, when the endpoint 31 receives data from the connected platform 10, it transmits the received data to the endpoint 31 connected to the destination platform 10 via the PCIe bus 36.

例えば、ルートコンプレックス１１は、ＤＭＡ（Direct Memory Access）転送により他のプラットフォーム１０にデータを送信する。すなわち、エンドポイント３１は、データの送信元のプラットフォーム１０に接続されたエンドポイント３１から、ＰＣＩｅバス３６を介してデータを受信した場合に、接続されたプラットフォーム１０に受信したデータを送信する。 For example, the route complex 11 transmits data to another platform 10 by DMA (Direct Memory Access) transfer. That is, when the endpoint 31 receives data from the endpoint 31 connected to the platform 10 from which the data is transmitted via the PCIe bus 36, the endpoint 31 transmits the received data to the connected platform 10.

プロセッサ３２は、中継装置３０全体を制御する。プロセッサ３２は、マルチプロセッサであってもよい。また、プロセッサ３２は、例えばＣＰＵ，ＭＰＵ，ＧＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか一つであってもよい。また、プロセッサ３２は、ＣＰＵ，ＭＰＵ，ＧＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。 The processor 32 controls the entire relay device 30. The processor 32 may be a multiprocessor. Further, the processor 32 may be any one of, for example, CPU, MPU, GPU, DSP, ASIC, PLD, and FPGA. Further, the processor 32 may be a combination of two or more types of elements of the CPU, MPU, GPU, DSP, ASIC, PLD, and FPGA.

メモリ３３は、ＲＯＭ、及びＲＡＭを含む記憶装置である。ＲＯＭには、各種ソフトウェアプログラムやこのプログラム用のデータ類が書き込まれている。メモリ３３に記憶されたプログラムは、プロセッサ３２に読み込まれて実行される。また、ＲＡＭは、ワーキングメモリとして利用される。 The memory 33 is a storage device including a ROM and a RAM. Various software programs and data for this program are written in the ROM. The program stored in the memory 33 is read into the processor 32 and executed. In addition, RAM is used as a working memory.

記憶部３４は、ハードディスクドライブ、ＳＳＤ、ストレージクラスメモリ等の記憶装置であって、種々のデータを格納するものである。例えば、記憶部３４には各種ソフトウェアプログラムが記憶される。 The storage unit 34 is a storage device such as a hard disk drive, SSD, and storage class memory, and stores various data. For example, various software programs are stored in the storage unit 34.

内部バス３５は、プロセッサ３２、メモリ３３、記憶部３４、及びＰＣＩｅバス３６を通信可能に接続する。 The internal bus 35 connects the processor 32, the memory 33, the storage unit 34, and the PCIe bus 36 in a communicable manner.

ＰＣＩｅバス３６は、複数のエンドポイント３１、及び内部バス３５を通信可能に接続する。すなわち、ＰＣＩｅバス３６は、複数のエンドポイント３１間でデータを転送可能に接続する。また、ＰＣＩｅバス３６は、例えばＰＣＩｅ規格に準拠したバスである。 The PCIe bus 36 connects a plurality of endpoints 31 and an internal bus 35 in a communicable manner. That is, the PCIe bus 36 connects the plurality of endpoints 31 so that data can be transferred. Further, the PCIe bus 36 is, for example, a bus compliant with the PCIe standard.

次に、中継装置３０に接続されるプラットフォーム１０−１とプラットフォーム１０−２との間における通信処理の一例について説明する。図３は、本実施例に係る分散型コンピュータ１におけるプラットフォーム１０間における通信処理の一例を説明するための図である。ここでは、プラットフォーム１０−１と、プラットフォーム１０−２との間での通信処理の一例について説明するが、他のプラットフォーム１０間も同様に通信を行う。 Next, an example of communication processing between the platform 10-1 and the platform 10-2 connected to the relay device 30 will be described. FIG. 3 is a diagram for explaining an example of communication processing between platforms 10 in the distributed computer 1 according to the present embodiment. Here, an example of communication processing between the platform 10-1 and the platform 10-2 will be described, but communication is also performed between the other platforms 10 in the same manner.

図３に示すように、分散型コンピュータ１は、例えば、ＰＣＩｅの規格で規定されたレイヤー構造を有している。そして、分散型コンピュータ１は、各階層を介して、プラットフォーム１０間の通信を実行する。 As shown in FIG. 3, the distributed computer 1 has, for example, a layer structure defined by the PCIe standard. Then, the distributed computer 1 executes communication between the platforms 10 via each layer.

送信元のプラットフォーム１０−１は、ソフトウェアが指定したデータを、トランザクション層、データリンク層、及び物理層（ＰＨＹ）を介して、中継装置３０の物理層（ＰＨＹ）に転送する。 The source platform 10-1 transfers the data specified by the software to the physical layer (PHY) of the relay device 30 via the transaction layer, the data link layer, and the physical layer (PHY).

中継装置３０は、送信元のプラットフォーム１０−１から転送されてきたデータを、物理層（ＰＨＹ）、及びデータリンク層を介して、トランザクション層に受け渡す。中継装置３０は、トランザクション層において、送信先のプラットフォーム１０−２に対応するエンドポイント３１にトンネリングによりデータを転送する。中継装置３０は、トランザクション層、データリンク層、及び物理層（ＰＨＹ）を介して、送信先のプラットフォーム１０−２の物理層（ＰＨＹ）に転送する。このように、中継装置３０は、エンドポイント３１間でデータをトンネリングさせることで、送信元のプラットフォーム１０−１からから送信先のプラットフォーム１０−２にデータを転送する。 The relay device 30 passes the data transferred from the source platform 10-1 to the transaction layer via the physical layer (PHY) and the data link layer. The relay device 30 transfers data by tunneling to the endpoint 31 corresponding to the destination platform 10-2 in the transaction layer. The relay device 30 transfers the data to the physical layer (PHY) of the destination platform 10-2 via the transaction layer, the data link layer, and the physical layer (PHY). In this way, the relay device 30 transfers data from the source platform 10-1 to the destination platform 10-2 by tunneling the data between the endpoints 31.

送信先のプラットフォーム１０−２では、物理層（ＰＨＹ）、データリンク層、及びトランザクション層を介して、データがソフトウェアに受け渡される。 On the destination platform 10-2, data is passed to the software via the physical layer (PHY), the data link layer, and the transaction layer.

また、中継装置３０に接続された複数のプラットフォーム１０のうち、一のプラットフォーム１０にデータの転送が集中しない場合、異なる任意の組み合わせのプラットフォーム１０間で並行してデータを転送することができる。 Further, when data transfer is not concentrated on one platform 10 among the plurality of platforms 10 connected to the relay device 30, data can be transferred in parallel between different arbitrary combinations of platforms 10.

例えば、プラットフォーム１０−１に対して、プラットフォーム１０−２、及びプラットフォーム１０−３が通信する場合には、中継装置３０は、プラットフォーム１０−２、及びプラットフォーム１０−３との通信をシリアル処理により実行する。一方、異なるプラットフォーム１０同士が通信し、特定のプラットフォーム１０に通信が集中しない場合には、中継装置３０は、プラットフォーム１０間の通信を並列処理により実行する。 For example, when the platform 10-2 and the platform 10-3 communicate with the platform 10-1, the relay device 30 executes the communication with the platform 10-2 and the platform 10-3 by serial processing. To do. On the other hand, when different platforms 10 communicate with each other and communication is not concentrated on a specific platform 10, the relay device 30 executes communication between the platforms 10 by parallel processing.

次に、本実施形態の分散型コンピュータ１が有している特徴的な機能について説明する。 Next, the characteristic functions of the distributed computer 1 of the present embodiment will be described.

図４は、本実施例に係る分散型コンピュータ１の各部の機能構成の一例を示す機能ブロック図である。なお、図４においては、中継装置３０を省略している。 FIG. 4 is a functional block diagram showing an example of the functional configuration of each part of the distributed computer 1 according to the present embodiment. In FIG. 4, the relay device 30 is omitted.

まず、プラットフォーム１０−１について説明する。 First, platform 10-1 will be described.

プラットフォーム１０−１のプロセッサ１２−１は、メモリ１３−１や記憶部１４−１等に記憶されるプログラムを実行することによって、図４に示す機能を実現するコンピュータである。具体的には、プロセッサ１２−１は、機能部として、画像取得部１００１と、接続制御部１００２と、処理結果取得部１００３と、表示制御部１００４とを備えている。 The processor 12-1 of the platform 10-1 is a computer that realizes the functions shown in FIG. 4 by executing a program stored in the memory 13-1 or the storage unit 14-1. Specifically, the processor 12-1 includes an image acquisition unit 1001, a connection control unit 1002, a processing result acquisition unit 1003, and a display control unit 1004 as functional units.

画像取得部１００１は、カメラ５０から画像データを取得する。画像取得部１００１は、取得した画像データを接続制御部１００２に出力する。また、画像取得部１００１は、取得した画像データを表示制御部１００４に出力する。 The image acquisition unit 1001 acquires image data from the camera 50. The image acquisition unit 1001 outputs the acquired image data to the connection control unit 1002. Further, the image acquisition unit 1001 outputs the acquired image data to the display control unit 1004.

接続制御部１００２は、プラットフォーム１０−１からプラットフォーム１０−２〜１０−７に対してデータを出力するためのインタフェースである。 The connection control unit 1002 is an interface for outputting data from the platform 10-1 to the platforms 10-2 to 10-7.

処理結果取得部１００３は、ＡＩ処理の処理結果を取得する。また、処理結果取得部１００３は、取得した処理結果を表示制御部１００４に出力する。 The processing result acquisition unit 1003 acquires the processing result of the AI processing. Further, the processing result acquisition unit 1003 outputs the acquired processing result to the display control unit 1004.

表示制御部１００４は、処理結果取得部１００３が取得したＡＩ処理の処理結果に基づいて、画像取得部１００１が取得した画像データをモニタ２１に表示させる。例えば、表示制御部１００４は、画像データをカメラ５０毎にモニタ２１に同時に表示させる。 The display control unit 1004 causes the monitor 21 to display the image data acquired by the image acquisition unit 1001 based on the processing result of the AI processing acquired by the processing result acquisition unit 1003. For example, the display control unit 1004 simultaneously displays the image data on the monitor 21 for each camera 50.

次に、プラットフォーム１０−２〜１０−７について説明する。図４に示すように、プラットフォーム１０−２〜１０−７は、協働でＡＩ処理部１００を実現する。ＡＩ処理部１００は、カメラ５０から取得した画像データに対して、ディープラーニング（Deep Learning）技術を利用した人物の認識等のＡＩ処理を実行する。より詳細には、ＡＩ処理部１００は、人物特定処理、人物紐付け処理、人物分類処理などのＡＩ処理を、分散して実行する。 Next, platforms 10-2 to 10-7 will be described. As shown in FIG. 4, platforms 10-2 to 10-7 collaborate to realize the AI processing unit 100. The AI processing unit 100 executes AI processing such as recognition of a person using deep learning technology on the image data acquired from the camera 50. More specifically, the AI processing unit 100 executes AI processing such as person identification processing, person association processing, and person classification processing in a distributed manner.

更に詳しくは、プラットフォーム１０−２〜１０−４のプロセッサ１２−２〜１２−４は、メモリ１３−２〜１３−４や、記憶部１４−２〜１４−４に記憶されるプログラムを実行することによって、人物特定処理を実行する人物特定処理部１０１を実現する。また、プラットフォーム１０−５〜１０−６のプロセッサ１２−５〜１２−６は、メモリ１３−５〜１３−６や、記憶部１４−５〜１４−６に記憶されるプログラムを実行することによって、人物紐付け処理を実行する人物紐付け処理部１０２を実現する。また、プラットフォーム１０−７のプロセッサ１２−７は、メモリ１３−７や、記憶部１４−７に記憶されるプログラムを実行することによって、人物分類処理を実行する人物分類処理部１０３を実現する。 More specifically, the processors 12-2 to 12-4 of the platforms 10-2 to 10-4 execute the programs stored in the memories 13-2 to 13-4 and the storage units 14-2 to 14-4. As a result, the person identification processing unit 101 that executes the person identification processing is realized. Further, the processor 12-5 to 12-6 of the platform 10-5 to 10-6 executes a program stored in the memory 13-5 to 13-6 and the storage unit 14-5 to 14-6. , The person association processing unit 102 that executes the person association process is realized. Further, the processor 12-7 of the platform 10-7 realizes the person classification processing unit 103 that executes the person classification processing by executing the program stored in the memory 13-7 and the storage unit 14-7.

まず、人物特定処理部１０１が実行する人物特定処理について説明する。 First, the person identification process executed by the person identification processing unit 101 will be described.

ここで、図５は、カメラ５０が撮像した画像データからの人物の検出結果の一例を示す図である。図５に示すように、分散型コンピュータ１は、棚の一部分を人物と誤検出してしまう場合がある。そこで、人物の誤検出を防止する技術が望まれている。 Here, FIG. 5 is a diagram showing an example of the detection result of a person from the image data captured by the camera 50. As shown in FIG. 5, the distributed computer 1 may erroneously detect a part of the shelf as a person. Therefore, a technique for preventing erroneous detection of a person is desired.

ここで、人物は、床の上面に立っている。一方、人物が立つことが出来ない棚等が設置された領域には、人物はいないものと考えられる。よって、人物特定処理部１０１は、人物がいない領域を検出対象の領域から除外することで、人物の誤検出を低減することができる。 Here, the person is standing on the upper surface of the floor. On the other hand, it is considered that there are no people in the area where shelves or the like where people cannot stand are installed. Therefore, the person identification processing unit 101 can reduce erroneous detection of a person by excluding the area where there is no person from the area to be detected.

図６は、除外領域が設定された画像データの一例を示す図である。図６に示すように、人物が移動可能な領域を移動可能領域に設定し、移動可能領域以外の人物が移動することができない領域を除外領域に設定する。移動可能領域とは、人物が移動可能な領域であって、画像データにおける例えば床の領域である。除外領域は、人物が移動可能な領域であって、画像データにおける例えば床以外の領域である。そして、人物検出において、床に立っている、つまり床に足が接していることを条件として付加することで人物の検出精度を向上させることができる。 FIG. 6 is a diagram showing an example of image data in which an exclusion region is set. As shown in FIG. 6, an area in which a person can move is set as a movable area, and an area other than the movable area in which a person cannot move is set as an exclusion area. The movable area is an area in which a person can move, and is, for example, a floor area in the image data. The exclusion area is an area in which a person can move, and is an area other than the floor, for example, in the image data. Then, in the person detection, the accuracy of detecting the person can be improved by adding the condition that the person is standing on the floor, that is, the foot is in contact with the floor.

そこで、人物特定処理部１０１は、同一の場所を複数時間撮影した画像データに、除外領域及び移動可能領域が定義されたフィルタ情報を適用する。ここで、図７は、フィルタ情報の一例を示す図である。図７は、図５及び図６に示す画像に対する除外領域及び移動可能領域を示している。そして、図７は、黒色の領域が除外領域を示しており、白色の領域が移動可能領域を示している。フィルタ情報は、例えばビットマップ形式等の画像情報である。 Therefore, the person identification processing unit 101 applies the filter information in which the exclusion area and the movable area are defined to the image data obtained by photographing the same place for a plurality of hours. Here, FIG. 7 is a diagram showing an example of filter information. FIG. 7 shows an exclusion region and a movable region for the images shown in FIGS. 5 and 6. Then, in FIG. 7, the black region indicates the exclusion region, and the white region indicates the movable region. The filter information is image information such as a bitmap format.

ここで、人物特定処理部１０１の機能構成について説明する。図８は、人物特定処理部１０１の機能構成の一例を示す機能ブロック図である。プラットフォーム１０−２〜１０−４のプロセッサ１２−２〜１２−４は、メモリ１３−２〜１３−４や、記憶部１４−２〜１４−４に記憶されるプログラムを実行することによって、図８に示す機能を実現するコンピュータである。具体的には、プロセッサ１２−２〜１２−４は、機能部として、画像取得部１０１１、人物検出部１０１２、及び人物特定部１０１３を備える。 Here, the functional configuration of the person identification processing unit 101 will be described. FIG. 8 is a functional block diagram showing an example of the functional configuration of the person identification processing unit 101. The processors 12-2 to 12-4 of the platforms 10-2 to 10-4 execute the programs stored in the memories 13-2 to 13-4 and the storage units 14-2 to 14-4. It is a computer that realizes the functions shown in 8. Specifically, the processors 12-2 to 12-4 include an image acquisition unit 1011, a person detection unit 1012, and a person identification unit 1013 as functional units.

画像取得部１０１１は、画像データを取得する。例えば、画像取得部１０１１は、プラットフォーム１０−１を介して、カメラ５０が撮影した画像データを取得する。 The image acquisition unit 1011 acquires image data. For example, the image acquisition unit 1011 acquires image data captured by the camera 50 via the platform 10-1.

人物検出部１０１２は、画像データから人物の候補である人物候補を検出する。人物検出部１０１２は、例えば、パターン認識により画像データから人物を検出する。 The person detection unit 1012 detects a person candidate who is a person candidate from the image data. The person detection unit 1012 detects a person from image data by pattern recognition, for example.

人物特定部１０１３は、画像データにおいて人物が移動可能な領域である移動可能領域を示すフィルタ情報に基づいて、人物検出部１０１２が検出した人物候補が移動可能領域上に存在する場合に人物と特定する。例えば、人物特定部１０１３は、人物検出部１０１２が検出した人物候補の足が移動可能領域上にある場合に、人物と特定する。また、人物特定部１０１３は、移動可能領域上に足がある人物候補の領域内から頭又は顔を検出した場合に、人物と特定してもよい。人物候補の領域とは、画像データ上において人物検出部１０１２が検出した人物候補の領域である。 The person identification unit 1013 identifies a person when the person candidate detected by the person detection unit 1012 exists on the movable area based on the filter information indicating the movable area which is the area where the person can move in the image data. To do. For example, the person identification unit 1013 identifies a person when the foot of the person candidate detected by the person detection unit 1012 is on the movable area. Further, the person identification unit 1013 may identify the person as a person when the head or face is detected in the area of the person candidate whose feet are on the movable area. The person candidate area is a person candidate area detected by the person detection unit 1012 on the image data.

図４に戻り、人物紐付け処理部１０２が実行する人物紐付け処理について説明する。 Returning to FIG. 4, the person association processing executed by the person association processing unit 102 will be described.

図４に示すように、プラットフォーム１０−５〜２−６のプロセッサ１２−５〜１２−６は、メモリ１３−５〜１３−６や、記憶部１４−５〜１４−６に記憶されるプログラムを実行することによって、人物紐付け処理部１０２を実現する。 As shown in FIG. 4, the processor 12-5 to 12-6 of the platform 10-5 to 2-6 is a program stored in the memory 13-5 to 13-6 and the storage unit 14-5 to 14-6. By executing the above, the person association processing unit 102 is realized.

人物紐付け処理部１０２は、特定した人物の座標を時系列順に紐付ける。更に詳しくは、人物紐付け処理部１０２は、人物特定処理部１０１が人物であると特定した場合に、人物特定処理部１０１が特定した人物の画像データ上の座標を時系列順に記録する。これにより、人物紐付け処理部１０２は、人物特定処理部１０１が特定した人物の移動の軌跡を記録する。すなわち、人物紐付け処理部１０２は、人物特定処理部１０１が特定した人物を追跡可能にする。 The person association processing unit 102 associates the coordinates of the specified person in chronological order. More specifically, when the person identification processing unit 101 identifies a person, the person association processing unit 102 records the coordinates on the image data of the person specified by the person identification processing unit 101 in chronological order. As a result, the person association processing unit 102 records the locus of movement of the person specified by the person identification processing unit 101. That is, the person association processing unit 102 makes it possible to trace the person specified by the person identification processing unit 101.

次に、人物分類処理部１０３が実行する人物分類処理について説明する。 Next, the person classification process executed by the person classification processing unit 103 will be described.

図４に示すように、プラットフォーム１０−７のプロセッサ１２−７は、メモリ１３−７や、記憶部１４−７に記憶されるプログラムを実行することによって、人物分類処理部１０３を実現する。 As shown in FIG. 4, the processor 12-7 of the platform 10-7 realizes the person classification processing unit 103 by executing a program stored in the memory 13-7 and the storage unit 14-7.

人物分類処理部１０３は、座標を時系列順に紐付けた人物を分類する。更に詳しくは、人物分類処理部１０３は、人物紐付け処理部１０２が追跡可能にした人物を分類分けする。例えば、人物分類処理部１０３は、人物の性別や年齢等の属性毎の分類で分類分けを行う。また、人物分類処理部１０３は、人物の行動等に基づいて不審人物であるか否かで分類分けを行う。 The person classification processing unit 103 classifies a person whose coordinates are linked in chronological order. More specifically, the person classification processing unit 103 classifies the persons made traceable by the person association processing unit 102. For example, the person classification processing unit 103 classifies by attributes such as gender and age of a person. In addition, the person classification processing unit 103 classifies the person based on whether or not the person is a suspicious person based on the behavior of the person or the like.

次に、フィルタ情報の生成について説明する。 Next, the generation of filter information will be described.

本実施形態では、プラットフォーム１０−８がフィルタ情報を生成する場合を例に説明する。しかしながら、フィルタ情報は、プラットフォーム１０−８以外のプラットフォーム１０−１〜１０−７が生成してもよいし、図１には示されていない情報処理装置が生成したフィルタ情報を取得してもよい。 In the present embodiment, the case where the platform 10-8 generates the filter information will be described as an example. However, the filter information may be generated by platforms 10-1 to 10-7 other than platforms 10-8, or filter information generated by an information processing device (not shown in FIG. 1) may be acquired. ..

フィルタ情報を生成するためには、人物が移動可能な領域を定義する必要がある。すなわち、床を定義する必要がある。床を定義する方法として、例えば計算式等により除外領域を定義する方策が考えられる。しかしながら、カメラ５０は複数ある。また、カメラ５０が設置される場所も複数ある。そのため、多数ある画像データ毎に除外領域を設定することは困難である。そのため、除外領域を容易に設定可能な技術が望まれている。そこで、プラットフォーム１０−８は、多数の人物が移動した移動の軌跡に基づいて、フィルタ情報を生成する。 In order to generate filter information, it is necessary to define the area in which a person can move. That is, it is necessary to define the floor. As a method of defining the floor, for example, a method of defining the exclusion area by a calculation formula or the like can be considered. However, there are a plurality of cameras 50. In addition, there are a plurality of places where the camera 50 is installed. Therefore, it is difficult to set an exclusion area for each of a large number of image data. Therefore, a technique capable of easily setting the exclusion area is desired. Therefore, the platform 10-8 generates filter information based on the locus of movement of a large number of people.

図９は、プラットフォーム１０−８の機能構成の一例を示す機能ブロック図である。プラットフォーム１０−８のプロセッサ１２−８は、メモリ１３−８や、記憶部１４−８に記憶されるプログラムを実行することによって、図９に示す機能を実現するコンピュータである。具体的には、プロセッサ１２−８は、機能部として、画像取得部１０８１、人物検出部１０８２、人物追跡部１０８３、骨格推定部１０８４、領域算出部１０８５、移動判定部１０８６、フィルタ生成部１０８７、及び完成判定部１０８８を備える。 FIG. 9 is a functional block diagram showing an example of the functional configuration of the platform 10-8. The processor 12-8 of the platform 10-8 is a computer that realizes the functions shown in FIG. 9 by executing a program stored in the memory 13-8 and the storage unit 14-8. Specifically, the processor 12-8 has, as functional units, an image acquisition unit 1081, a person detection unit 1082, a person tracking unit 1083, a skeleton estimation unit 1084, an area calculation unit 1085, a movement determination unit 1086, and a filter generation unit 1087. And the completion determination unit 1088 is provided.

画像取得部１０８１は、取得部の一例である。画像取得部１０８１は、同一の場所を複数時間撮影した画像データを取得する。更に詳しくは、画像取得部１０８１は、カメラ５０が同一の場所を複数時間撮影した画像データを取得する。 The image acquisition unit 1081 is an example of an acquisition unit. The image acquisition unit 1081 acquires image data obtained by photographing the same place for a plurality of hours. More specifically, the image acquisition unit 1081 acquires image data obtained by photographing the same place by the camera 50 for a plurality of hours.

人物検出部１０８２は、検出部の一例である。人物検出部１０８２は、画像データから人物を検出する。更に詳しくは、人物検出部１０８２は、カメラ５０が撮像した画像データから人物の候補である人物候補を検出する。例えば、人物検出部１０８２は、パターン認識により画像データから人物候補を検出する。また、人物検出部１０８２は、人物候補を検出した場合に、人物候補が含まれる人物領域を画像データに設定する。例えば、人物検出部１０８２は、図５に示すように、人物を囲う矩形形状の人物領域を画像データ上に設定する。さらに、人物検出部１０８２は、人物領域から人物の頭の領域を示す頭領域や、顔の領域を示す顔領域を画像データ上に設定する。 The person detection unit 1082 is an example of the detection unit. The person detection unit 1082 detects a person from the image data. More specifically, the person detection unit 1082 detects a person candidate who is a person candidate from the image data captured by the camera 50. For example, the person detection unit 1082 detects a person candidate from image data by pattern recognition. Further, when the person candidate is detected, the person detection unit 1082 sets the person area including the person candidate in the image data. For example, as shown in FIG. 5, the person detection unit 1082 sets a rectangular person area surrounding the person on the image data. Further, the person detection unit 1082 sets a head area indicating a person's head area and a face area indicating a face area from the person area on the image data.

人物追跡部１０８３は、記録部の一例である。人物追跡部１０８３は、人物検出部１０８２が検出した人物候補の各時間の座標を人物候補毎に記録する。これにより、人物追跡部１０８３は、画像データから検出した人物の移動を追跡する。更に詳しくは、人物追跡部１０８３は、人物検出部１０８２が検出した人物候補に対して、人物を識別可能な人物コードが付与されているか否かを判定する。人物追跡部１０８３は、人物コードを付与していない場合に、人物コードを付与する。そして、人物追跡部１０８３は、人物検出部１０８２が人物候補を検出した座標を時系列順に記録する。一方、人物追跡部１０８３は、人物コードを付与している場合に、人物検出部１０８２が人物候補を検出した座標を人物コードに関連付けて時系列順に記録する。 The person tracking unit 1083 is an example of a recording unit. The person tracking unit 1083 records the coordinates of each time of the person candidate detected by the person detecting unit 1082 for each person candidate. As a result, the person tracking unit 1083 tracks the movement of the person detected from the image data. More specifically, the person tracking unit 1083 determines whether or not a person code that can identify a person is assigned to the person candidate detected by the person detecting unit 1082. The person tracking unit 1083 assigns a person code when the person code is not assigned. Then, the person tracking unit 1083 records the coordinates in which the person detection unit 1082 detects the person candidate in chronological order. On the other hand, when the person code is assigned, the person tracking unit 1083 records the coordinates in which the person detection unit 1082 detects the person candidate in chronological order in association with the person code.

骨格推定部１０８４は、画像データに含まれる人物の候補である人物候補の骨格を推定する。更に詳しくは、骨格推定部１０８４は、人物検出部１０８２が検出した人物候補の骨格を推定する。また、骨格推定部１０８４は、人物候補の骨格を推定した場合に、各部位がある画像データ上の座標を取得する。例えば、骨格推定部１０８４は、人物候補の足首がある座標を取得する。 The skeleton estimation unit 1084 estimates the skeleton of a person candidate who is a person candidate included in the image data. More specifically, the skeleton estimation unit 1084 estimates the skeleton of the person candidate detected by the person detection unit 1082. Further, the skeleton estimation unit 1084 acquires the coordinates on the image data in which each part is located when the skeleton of the person candidate is estimated. For example, the skeleton estimation unit 1084 acquires the coordinates of the ankle of the person candidate.

領域算出部１０８５は、算出部の一例である。領域算出部１０８５は、画像データに含まれる人物の候補である人物候補の画像データ上の領域の縦横比及び面積を算出する。更に詳しくは、領域算出部１０８５は、人物検出部１０８２が検出した人物候補の人物領域の縦横比及び面積を算出する。ここで、図１０は、人物検出部１０８２による人物候補の検出結果の一例を示す図である。図１１は、人物検出部１０８２による人物候補の撮影位置に応じた検出結果の一例を示す図である。図１０に示すように、人物検出部１０８２が人物候補を検出した場合、人物領域は適切な縦横比になる。ところが、人物検出部１０８２が人物以外の物体を人物と誤検出した場合、人物領域は、小さすぎる、幅広すぎる、広すぎる、又は高すぎる等の形状になる。 The area calculation unit 1085 is an example of the calculation unit. The area calculation unit 1085 calculates the aspect ratio and the area of the area on the image data of the person candidate who is a person candidate included in the image data. More specifically, the area calculation unit 1085 calculates the aspect ratio and the area of the person area of the person candidate detected by the person detection unit 1082. Here, FIG. 10 is a diagram showing an example of the detection result of the person candidate by the person detection unit 1082. FIG. 11 is a diagram showing an example of a detection result according to a shooting position of a person candidate by the person detection unit 1082. As shown in FIG. 10, when the person detection unit 1082 detects a person candidate, the person area has an appropriate aspect ratio. However, when the person detection unit 1082 erroneously detects an object other than a person as a person, the person area has a shape such as too small, too wide, too wide, or too high.

一方、図１１に示すように、人物候補がカメラ５０の近くにいるか遠くにいるかにより、人物領域の大きさは変化する。そこで、領域算出部１０８５は、画像データ上に設定された人物領域の縦横比及び面積を算出する。そして、領域算出部１０８５は、算出した人物領域の面積が事前に設定された範囲内であって、縦横比が事前に設定された範囲内である場合に、該当する人物候補は人物であると判定する。 On the other hand, as shown in FIG. 11, the size of the person area changes depending on whether the person candidate is near or far from the camera 50. Therefore, the area calculation unit 1085 calculates the aspect ratio and the area of the person area set on the image data. Then, the area calculation unit 1085 determines that the corresponding person candidate is a person when the calculated area of the person area is within the preset range and the aspect ratio is within the preset range. judge.

移動判定部１０８６は、画像データに含まれる人物の候補である人物候補の画像データ上の領域の面積の変化に基づいて人物候補が移動したか否かを判定する。更に詳しくは、移動判定部１０８６は、人物検出部１０８２が検出した人物候補の人物領域の大きさの変化に基づいて、人物の移動を検出する。ここで、人物は移動する。一方、人物検出部１０８２の検出結果が人物ではない場合には移動しない。そこで、移動判定部１０８６は、人物候補の移動を検出するか否かに基づいて、人物であるか否かを判定する。例えば、移動判定部１０８６は、人物領域の大きさが２０バーセント等の閾値以上変化した場合に、人物が移動していると判定する。 The movement determination unit 1086 determines whether or not the person candidate has moved based on the change in the area of the area on the image data of the person candidate who is the person candidate included in the image data. More specifically, the movement determination unit 1086 detects the movement of a person based on the change in the size of the person area of the person candidate detected by the person detection unit 1082. Here, the person moves. On the other hand, if the detection result of the person detection unit 1082 is not a person, the person does not move. Therefore, the movement determination unit 1086 determines whether or not the person is a person based on whether or not the movement of the person candidate is detected. For example, the movement determination unit 1086 determines that the person is moving when the size of the person area changes by a threshold value such as 20 percent or more.

例えば、人物候補がカメラ５０に近づいた場合、又は人物候補がカメラ５０から遠ざかった場合に、図１１に示すように、人物領域の大きさが変化する。また、人物候補がカメラ５０の撮影領域に進入した場合、又は人物がカメラ５０の撮影領域から退出した場合に、撮影領域の境界線で人物領域の大きさが変化する。具体的には、撮影領域に人物が進入する場合、進入直後には体の一部分が撮影領域にあるが、時間が経過するに従い撮影領域にある体の部分が増加する。一方、撮影領域に人物が退出する場合、退出直後には体の略全部が撮影領域にあるが、時間が経過するに従い撮影領域になる体の部分が減少する。このように、人物候補がカメラ５０の撮影領域に進入、又は退出する場合に、人物領域の大きさが変化する。移動判定部１０８６は、人物領域の大きさが閾値以上変化するか否かに基づいて、人物の移動を検出する。 For example, when the person candidate approaches the camera 50, or when the person candidate moves away from the camera 50, the size of the person area changes as shown in FIG. Further, when the person candidate enters the shooting area of the camera 50 or the person exits the shooting area of the camera 50, the size of the person area changes at the boundary line of the shooting area. Specifically, when a person enters the shooting area, a part of the body is in the shooting area immediately after the entry, but the part of the body in the shooting area increases as time elapses. On the other hand, when a person leaves the shooting area, almost the entire body is in the shooting area immediately after leaving, but the part of the body that becomes the shooting area decreases as time passes. In this way, when the person candidate enters or exits the shooting area of the camera 50, the size of the person area changes. The movement determination unit 1086 detects the movement of the person based on whether or not the size of the person area changes by the threshold value or more.

フィルタ生成部１０８７は、生成部の一例である。フィルタ生成部１０８７は、人物追跡部１０８３が記録した人物候補毎の座標を時系列順に繋げた軌跡に基づいて、画像データにおいて人物が移動可能な領域である移動可能領域を示すフィルタ情報を生成する。更に詳しくは、フィルタ生成部１０８７は、人物検出部１０８２が検出した人物候補のうち、骨格推定部１０８４、領域算出部１０８５、及び移動判定部１０８６が人物であると判定した人物の人物コードを抽出する。フィルタ生成部１０８７は、抽出した人物コードの人物について、人物追跡部１０８３が記録した各時間の座標を取得する。 The filter generation unit 1087 is an example of the generation unit. The filter generation unit 1087 generates filter information indicating a movable area, which is a movable area in the image data, based on a locus in which the coordinates of each person candidate recorded by the person tracking unit 1083 are connected in chronological order. .. More specifically, the filter generation unit 1087 extracts the person code of the person determined by the skeleton estimation unit 1084, the area calculation unit 1085, and the movement determination unit 1086 from the person candidates detected by the person detection unit 1082. To do. The filter generation unit 1087 acquires the coordinates of each time recorded by the person tracking unit 1083 for the person with the extracted person code.

フィルタ生成部１０８７は、取得した各時間の座標を示す座標点をプロットする。ここで、図１２は、座標点のプロットの一例を示す図である。図１２に示すように、フィルタ生成部１０８７は、人物の人物領域の底辺の中央に座標点をプロットする。なお、フィルタ生成部１０８７は、人物の人物領域の底辺の中央に限らず、他の位置に座標点をプロットしてもよい。 The filter generation unit 1087 plots the coordinate points indicating the acquired coordinates of each time. Here, FIG. 12 is a diagram showing an example of a plot of coordinate points. As shown in FIG. 12, the filter generation unit 1087 plots the coordinate points at the center of the base of the person area of the person. The filter generation unit 1087 may plot the coordinate points not only at the center of the bottom of the person area of the person but also at other positions.

図１３は、座標点のプロット位置の一例を示す図である。図１３（ａ）は、人物領域の底辺の中央に座標点をプロットした状態を示している。図１３（ｂ）は、人物領域の上辺の左端に座標点をプロットした状態を示している。図１３（ｃ）は、人物領域の幅方向及び高さ方向の中央に座標点をプロットした状態を示している。図１３（ｄ）は、人物領域の底辺の左端に座標点をプロットした状態を示している。図１３に示すように、座標点は、人物の人物領域の底辺の中央に限らず、人物領域における何れの位置であってもよい。 FIG. 13 is a diagram showing an example of plot positions of coordinate points. FIG. 13A shows a state in which the coordinate points are plotted in the center of the base of the person area. FIG. 13B shows a state in which the coordinate points are plotted on the left end of the upper side of the person area. FIG. 13C shows a state in which the coordinate points are plotted in the center in the width direction and the height direction of the person area. FIG. 13D shows a state in which the coordinate points are plotted at the left end of the bottom of the person area. As shown in FIG. 13, the coordinate point is not limited to the center of the bottom of the person area of the person, and may be any position in the person area.

また、フィルタ生成部１０８７は、各時間の座標毎に、座標点をプロットする。フィルタ生成部１０８７は、各座標点の基になった座標を取得した時系列順に、プロットした各座標点を繋げる。ここで、図１４は、座標点を時系列順に繋げた状態の一例を示す図である。図１４に示すように、フィルタ生成部１０８７は、同一人物の座標点を時系列順に繋げることで人物が移動した軌跡を生成する。１人の移動の軌跡は線であるが、多数の人物の移動の軌跡を合わせることで、人物が移動可能な領域が示された面になる。フィルタ生成部１０８７は、複数の人物の移動の軌跡に基づいて、人物が移動可能な領域である移動可能領域を示すフィルタ情報を生成する。 Further, the filter generation unit 1087 plots the coordinate points for each coordinate of each time. The filter generation unit 1087 connects the plotted coordinate points in chronological order in which the coordinates on which the coordinate points are based are acquired. Here, FIG. 14 is a diagram showing an example of a state in which the coordinate points are connected in chronological order. As shown in FIG. 14, the filter generation unit 1087 generates a locus of movement of a person by connecting the coordinate points of the same person in chronological order. The locus of movement of one person is a line, but by matching the loci of movement of many people, it becomes a surface showing an area where a person can move. The filter generation unit 1087 generates filter information indicating a movable area, which is a movable area of a person, based on the movement loci of a plurality of people.

ここで、移動可能領域は、人物が移動可能な領域を示している。よって、フィルタ生成部１０８７は、人物ではない物体の移動の軌跡に基づいて、フィルタ情報を生成すべきではない。そこで、フィルタ生成部１０８７は、骨格推定部１０８４が骨格を推定できた人物候補の人物の軌跡に基づいて、フィルタ情報を生成する。また、フィルタ生成部１０８７は、領域算出部１０８５が算出した縦横比及び面積が設定範囲内である人物候補の人物の軌跡に基づいて、フィルタ情報を生成する。また、フィルタ生成部１０８７は、移動判定部１０８６が移動したと判定した人物候補の人物の軌跡に基づいて、フィルタ情報を生成する。 Here, the movable area indicates an area in which a person can move. Therefore, the filter generation unit 1087 should not generate filter information based on the locus of movement of an object that is not a person. Therefore, the filter generation unit 1087 generates the filter information based on the locus of the person who is the person candidate whose skeleton can be estimated by the skeleton estimation unit 1084. Further, the filter generation unit 1087 generates filter information based on the locus of a person who is a candidate person whose aspect ratio and area calculated by the area calculation unit 1085 are within the set range. Further, the filter generation unit 1087 generates filter information based on the locus of the person candidate who is determined to have moved by the movement determination unit 1086.

なお、フィルタ生成部１０８７は、骨格推定部１０８４、領域算出部１０８５、及び移動判定部１０８６のうち、全ての人物であると判定した場合に該当する人物の軌跡に基づいてフィルタ情報を生成してもよい。または、フィルタ生成部１０８７は、これらの機能部の判定結果の多数決により人物であると判定された場合に該当する人物の軌跡に基づいてフィルタ情報を生成してもよい。または、フィルタ生成部１０８７は、これらの機能部のうちの何れか一つが人物であると判定した場合に該当する人物の軌跡に基づいてフィルタ情報を生成してもよい。 The filter generation unit 1087 generates filter information based on the locus of the corresponding person when it is determined that the person is all of the skeleton estimation unit 1084, the area calculation unit 1085, and the movement determination unit 1086. May be good. Alternatively, the filter generation unit 1087 may generate filter information based on the locus of the corresponding person when it is determined that the person is a person by a majority decision of the determination results of these functional units. Alternatively, the filter generation unit 1087 may generate filter information based on the locus of the corresponding person when any one of these functional units is determined to be a person.

ここで、図１１にて説明したように、カメラ５０から近い位置に人物がいれば人物領域は大きくなり、カメラ５０から遠い位置に人物がいれば人物領域は小さくなる。そして、軌跡は、人物が通過した箇所を示している。よって、カメラ５０から遠い位置の軌跡の太さを、カメラ５０から近い位置の軌跡の太さと同じにした場合、本来、人物が通過していない箇所まで通過したことになってしまう。一方、カメラ５０から近い位置の軌跡の太さを、カメラ５０から遠い位置の軌跡の太さと同じにした場合、本来は通過した箇所が通過していないことになってしまう。 Here, as described with reference to FIG. 11, if there is a person near the camera 50, the person area becomes large, and if there is a person far from the camera 50, the person area becomes small. And the locus shows the place where the person passed. Therefore, if the thickness of the locus at a position far from the camera 50 is the same as the thickness of the locus at a position close to the camera 50, the person has passed to a place where the person originally did not pass. On the other hand, if the thickness of the locus at a position close to the camera 50 is the same as the thickness of the locus at a position far from the camera 50, the originally passed portion will not pass.

そこで、フィルタ生成部１０８７は、画像データ上の人物の位置に応じて軌跡の太さを変更する。ここで、人物がカメラ５０から遠ざかるに従い、人物の位置は画像データの上方に移動する。そこで、フィルタ生成部１０８７は、画像データにおける座標点のＸ軸方向の座標に応じて軌跡の太さを変更する。例えば、フィルタ生成部１０８７は、人物領域の幅の１０パーセントの太さに変更する。 Therefore, the filter generation unit 1087 changes the thickness of the locus according to the position of the person on the image data. Here, as the person moves away from the camera 50, the position of the person moves above the image data. Therefore, the filter generation unit 1087 changes the thickness of the locus according to the coordinates of the coordinate points in the image data in the X-axis direction. For example, the filter generation unit 1087 changes the thickness to 10% of the width of the person area.

また、フィルタ生成部１０８７は、軌跡と軌跡との間隙を埋めることで、フィルタ情報を生成する。ここで、移動可能領域を全て軌跡で生成しようとすると多くの時間がかかってしまう。そこで、フィルタ生成部１０８７は、軌跡と軌跡との間隙を通過箇所とみなして補充することで生成時間の短縮を図ることができる。一方、全ての間隙を補充すると必要以上に補充してしまうことになる。 Further, the filter generation unit 1087 generates filter information by filling the gap between the loci and the locus. Here, it takes a lot of time to generate all the movable areas with loci. Therefore, the filter generation unit 1087 can shorten the generation time by replenishing the gap between the loci as a passing location. On the other hand, if all the gaps are replenished, it will be replenished more than necessary.

例えば、通路の中央に物品が置かれている場合を想定する。この場合に、人物は物品を避けて通過するため物品の両側に軌跡が生成される。そのため、全ての間隙を補充しようとすると、物品が置かれている箇所も補充の対象となるが、物品が置かれている箇所は人物が通過しないため軌跡を補充すべきではない。そこで、フィルタ生成部１０８７は、軌跡と軌跡との間隙の距離が閾値以下の場合に、間隙を補充する。ここで、閾値は、任意の値であってもよいし、計算式により算出される値であってもよいし、その他の値であってもよい。例えば、閾値は、Ｘ軸方向の座標に応じて決定される値であってもよいし、人物領域の幅に応じて決定される値であってもよいし、その他の値であってもよい。 For example, assume that an article is placed in the center of the aisle. In this case, since the person passes by avoiding the article, trajectories are generated on both sides of the article. Therefore, when trying to replenish all the gaps, the place where the article is placed is also subject to replenishment, but the locus should not be replenished because the person does not pass through the place where the article is placed. Therefore, the filter generation unit 1087 replenishes the gap when the distance between the loci and the gap is equal to or less than the threshold value. Here, the threshold value may be an arbitrary value, a value calculated by a calculation formula, or another value. For example, the threshold value may be a value determined according to the coordinates in the X-axis direction, a value determined according to the width of the person area, or another value. ..

完成判定部１０８８は、フィルタ情報の生成が完了したか否かを判定する。ここで、フィルタ情報の生成完成の判定基準は、任意の条件を設定することができる。例えば、完成判定部１０８８は、人物が設定人数以上通過しても移動可能領域が増加しない場合に生成完了と判定してもよいし、設定時間が経過しても移動可能領域が増加しない場合に生成完了と判定してもよいし、カメラ５０が撮影した動画が終了した場合に生成完了と判定してもよい。 The completion determination unit 1088 determines whether or not the generation of the filter information is completed. Here, any condition can be set as the criterion for determining the completion of generating the filter information. For example, the completion determination unit 1088 may determine that the generation is completed when the movable area does not increase even if the number of people passes by the set number of people or more, or when the movable area does not increase even after the set time elapses. It may be determined that the generation is completed, or it may be determined that the generation is completed when the moving image captured by the camera 50 is completed.

次に、プラットフォーム１０−８によるフィルタ生成処理について説明する。図１５は、本実施例に係るフィルタ生成処理の一例を示すフローチャートである。フィルタ生成処理は、フィルタ情報を生成する処理である。 Next, the filter generation process by the platform 10-8 will be described. FIG. 15 is a flowchart showing an example of the filter generation process according to the present embodiment. The filter generation process is a process for generating filter information.

人物検出部１０８２は、カメラ５０から取得した画像データから人物候補を検出する人物検出処理を実行する（ステップＳ１）。 The person detection unit 1082 executes a person detection process for detecting a person candidate from the image data acquired from the camera 50 (step S1).

人物追跡部１０８３は、画像データ上における人物候補の座標を人物コード毎に時系列順に記録する（ステップＳ２）。 The person tracking unit 1083 records the coordinates of the person candidate on the image data in chronological order for each person code (step S2).

骨格推定部１０８４は、人物検出部１０８２が検出した人物候補の骨格を推定する（ステップＳ３）。 The skeleton estimation unit 1084 estimates the skeleton of the person candidate detected by the person detection unit 1082 (step S3).

領域算出部１０８５は、人物検出部１０８２が検出した人物候補の人物領域の縦横比を算出する（ステップＳ４）。 The area calculation unit 1085 calculates the aspect ratio of the person area of the person candidate detected by the person detection unit 1082 (step S4).

領域算出部１０８５は、人物検出部１０８２が検出した人物候補の人物領域の面積を算出する（ステップＳ５）。 The area calculation unit 1085 calculates the area of the person area of the person candidate detected by the person detection unit 1082 (step S5).

移動判定部１０８６は、人物検出部１０８２が検出した人物候補が移動した否かを判定する（ステップＳ６）。 The movement determination unit 1086 determines whether or not the person candidate detected by the person detection unit 1082 has moved (step S6).

フィルタ生成部１０８７は、骨格推定部１０８４、領域算出部１０８５、及び移動判定部１０８６の判定結果に基づいて、人物検出部１０８２が検出した人物候補が人物であるか否かを判定する（ステップＳ７）。人物候補が人物ではないと判定した場合に（ステップＳ７；Ｎｏ）、プラットフォーム１０−８は、ステップＳ１に移行する。 The filter generation unit 1087 determines whether or not the person candidate detected by the person detection unit 1082 is a person based on the determination results of the skeleton estimation unit 1084, the area calculation unit 1085, and the movement determination unit 1086 (step S7). ). When it is determined that the person candidate is not a person (step S7; No), the platform 10-8 proceeds to step S1.

人物候補が人物である場合に（ステップＳ７；Ｙｅｓ）、フィルタ生成部１０８７は、人物の移動の軌跡を生成する（ステップＳ８）。 When the person candidate is a person (step S7; Yes), the filter generation unit 1087 generates a locus of movement of the person (step S8).

フィルタ生成部１０８７は、軌跡と軌跡との間隙の距離が閾値以下の間隙を補充する（ステップＳ９）。すなわち、フィルタ生成部１０８７は、移動可能領域に擬制する。 The filter generation unit 1087 replenishes the gap in which the distance between the loci and the gap is equal to or less than the threshold value (step S9). That is, the filter generation unit 1087 imitates the movable region.

完成判定部１０８８は、フィルタ情報完成の判定基準が満たされたか否かを判定する（ステップＳ１０）。フィルタ情報完成の判定基準が満たされていない場合に（ステップＳ１０；Ｎｏ）、プラットフォーム１０−８は、ステップＳ１に移行する。 The completion determination unit 1088 determines whether or not the determination criteria for completion of the filter information is satisfied (step S10). If the criterion for completing the filter information is not satisfied (step S10; No), the platform 10-8 proceeds to step S1.

フィルタ情報完成の判定基準が満たされた場合に（ステップＳ１０；Ｙｅｓ）、プラットフォーム１０−８は、フィルタ生成処理を終了する。 When the criterion for completing the filter information is satisfied (step S10; Yes), the platform 10-8 ends the filter generation process.

次に、プラットフォーム１０−２〜１０−４の人物特定処理部１０１における人物特定処理について説明する。本実施形態の人物特定処理は、上述した図１５で示したフィルタ生成処理で生成されたフィルタ情報を用いる。フィルタ情報を用いることで、処理負担が軽いにも関わらず高精度の人物の特定が可能となる。図１６は、本実施例に係る人物特定処理部１０１における人物特定処理の一例を示すフローチャートである。 Next, the person identification processing in the person identification processing unit 101 of the platforms 10-2 to 10-4 will be described. The person identification process of the present embodiment uses the filter information generated by the filter generation process shown in FIG. 15 described above. By using the filter information, it is possible to identify a person with high accuracy even though the processing load is light. FIG. 16 is a flowchart showing an example of the person identification process in the person identification processing unit 101 according to the present embodiment.

画像取得部１０１１は、プラットフォーム１０−１を介して、カメラ５０が撮影した画像データを取得する（ステップＳ２１）。 The image acquisition unit 1011 acquires the image data captured by the camera 50 via the platform 10-1 (step S21).

人物検出部１０１２は、画像データ上における、人物である可能性があると考えられる表示領域を、人物候補として検出する（ステップＳ２２）。人物候補の検出手法としては、例えば、パターン認識が考えられるが他の手法を用いてもよい。 The person detection unit 1012 detects a display area on the image data that is considered to be a person as a person candidate (step S22). As a method for detecting a person candidate, for example, pattern recognition can be considered, but other methods may be used.

人物特定部１０１３は、人物検出部１０１２によって検出された人物候補が、フィルタ生成部１０８７によって生成されたフィルタ情報で表された移動可能領域に存在するか否かを判定する（ステップＳ２３）。存在しないと判定した場合（ステップＳ２３：Ｎｏ）、当該人物候補は人物でないと判断して、ステップＳ２５の処理に進む。 The person identification unit 1013 determines whether or not the person candidate detected by the person detection unit 1012 exists in the movable area represented by the filter information generated by the filter generation unit 1087 (step S23). If it is determined that the person does not exist (step S23: No), it is determined that the person candidate is not a person, and the process proceeds to step S25.

一方、人物特定部１０１３は、人物検出部１０１２によって検出された人物候補が、フィルタ生成部１０８７によって生成されたフィルタ情報で表された移動可能領域に存在すると判定した場合（ステップＳ２３：Ｙｅｓ）、当該人物候補を、人物と特定する（ステップＳ２４）。人物候補が移動領域に存在すると判断する基準としては、例えば、人物候補（として検出された表示領域）の下端または人物候補（として検出された表示領域）の下端から所定の領域が、移動可能領域に含まれている等が考えられる。なお、判定基準はこのような手法に制限するものではなく、当該移動可能領域に人物が存在していることを推定可能な判定基準であればよい。 On the other hand, when the person identification unit 1013 determines that the person candidate detected by the person detection unit 1012 exists in the movable area represented by the filter information generated by the filter generation unit 1087 (step S23: Yes). The person candidate is identified as a person (step S24). As a criterion for determining that a person candidate exists in the moving area, for example, a predetermined area from the lower end of the person candidate (display area detected as) or the lower end of the person candidate (display area detected as) is a movable area. It is possible that it is included in. The determination standard is not limited to such a method, and any determination standard that can estimate that a person exists in the movable area may be used.

そして、人物特定処理部１０１は、画像データに含まれている全ての人物候補について特定処理が終了したか否かを判定する（ステップＳ２５）。全ての人物候補について特定処理が終了してないと判定した場合（ステップＳ２５：Ｎｏ）、再びステップＳ２３から処理を行う。 Then, the person identification processing unit 101 determines whether or not the identification processing has been completed for all the person candidates included in the image data (step S25). When it is determined that the specific processing has not been completed for all the person candidates (step S25: No), the processing is performed again from step S23.

一方、人物特定処理部１０１は、全ての人物候補について特定処理が終了したと判定した場合（ステップＳ２５：Ｙｅｓ）、処理を終了する。 On the other hand, when the person identification processing unit 101 determines that the identification processing has been completed for all the person candidates (step S25: Yes), the person identification processing unit 101 ends the processing.

図１６に示される処理で示されるように、人物特定部１０１３は、フィルタ情報に基づいて、人物検出部１０１２が検出した人物候補が移動可能領域上に存在する場合に人物と特定する。すなわち、人物特定部１０１３は、人物がいない領域で人物候補が検出された場合、人物ではないと判断する。従って、本実施例に係るプラットフォーム１０−２〜１０−４は、人物の誤検出を低減することができる。 As shown in the process shown in FIG. 16, the person identification unit 1013 identifies a person when the person candidate detected by the person detection unit 1012 exists on the movable area based on the filter information. That is, when the person candidate is detected in the area where there is no person, the person identification unit 1013 determines that the person is not a person. Therefore, the platforms 10-2 to 10-4 according to the present embodiment can reduce erroneous detection of a person.

以上のように、本実施例に係るプラットフォーム１０−８によれば、画像取得部１０８１は、同一の場所を複数時間撮影した画像データを取得する。人物追跡部１０８３は、人物検出部１０８２が検出した人物候補の各時間の座標を人物候補毎に記録する。フィルタ生成部１０８７は、骨格推定部１０８４、領域算出部１０８５、及び移動判定部１０８６の判定結果に基づいて、人物検出部１０８２が画像データから検出した人物候補から人物を特定する。ここで、多数の人物の座標を時系列順に繋げた軌跡を合わせることで、人物が移動可能な領域が示された面になる。フィルタ生成部１０８７は、人物追跡部１０８３が記録した各人物の座標を時系列順に繋げた軌跡に基づいて、移動可能領域が示されたフィルタ情報を生成する。従って、本実施例に係るプラットフォーム１０−８は、フィルタ情報を生成することができる。 As described above, according to the platform 10-8 according to the present embodiment, the image acquisition unit 1081 acquires image data obtained by photographing the same place for a plurality of hours. The person tracking unit 1083 records the coordinates of each time of the person candidate detected by the person detecting unit 1082 for each person candidate. The filter generation unit 1087 identifies a person from the person candidates detected by the person detection unit 1082 from the image data based on the determination results of the skeleton estimation unit 1084, the area calculation unit 1085, and the movement determination unit 1086. Here, by matching the trajectories of connecting the coordinates of a large number of people in chronological order, a surface in which a person can move becomes a surface. The filter generation unit 1087 generates filter information indicating a movable area based on a locus in which the coordinates of each person recorded by the person tracking unit 1083 are connected in chronological order. Therefore, the platform 10-8 according to this embodiment can generate filter information.

上述の実施形態では、各部のバス（例えば、拡張バス）又はＩ／ＯインタフェースとしてＰＣＩｅを例に挙げて説明したが、バスまたはＩ／ＯインタフェースはＰＣＩｅに限定されない。例えば、各部のバスまたはＩ／Ｏインタフェースは、データ転送バスによって、デバイス（周辺制御コントローラ）とプロセッサとの間でデータ転送を行える技術であればよい。データ転送バスは、１個の筐体等に設けられたローカルな環境（例えば、１つのシステム又は１つの装置）で高速にデータを転送できる汎用のバスであってもよい。Ｉ／Ｏインタフェースは、パラレルインタフェース及びシリアルインタフェースの何れであってもよい。 In the above-described embodiment, PCIe is taken as an example as a bus (for example, an expansion bus) or an I / O interface of each part, but the bus or I / O interface is not limited to PCIe. For example, the bus or I / O interface of each part may be a technology capable of transferring data between a device (peripheral control controller) and a processor by a data transfer bus. The data transfer bus may be a general-purpose bus that can transfer data at high speed in a local environment (for example, one system or one device) provided in one housing or the like. The I / O interface may be either a parallel interface or a serial interface.

Ｉ／Ｏインタフェースは、シリアル転送の場合、ポイント・ツー・ポイント接続ができ、データをパケットベースで転送可能な構成でよい。なお、Ｉ／Ｏインタフェースは、シリアル転送の場合、複数のレーンを有してよい。Ｉ／Ｏインタフェースのレイヤー構造は、パケットの生成及び復号を行うトランザクション層と、エラー検出等を行うデータリンク層と、シリアルとパラレルとを変換する物理層とを有してよい。また、Ｉ／Ｏインタフェースは、階層の最上位であり１又は複数のポートを有するルートコンプレックス、Ｉ／Ｏデバイスであるエンドポイント、ポートを増やすためのスイッチ、及び、プロトコルを変換するブリッジ等を含んでよい。Ｉ／Ｏインタフェースは、送信するデータとクロック信号とをマルチプレクサによって多重化して送信してもよい。この場合、受信側は、デマルチプレクサでデータとクロック信号を分離してよい。 In the case of serial transfer, the I / O interface may be configured so that point-to-point connection is possible and data can be transferred on a packet basis. The I / O interface may have a plurality of lanes in the case of serial transfer. The layer structure of the I / O interface may include a transaction layer that generates and decodes packets, a data link layer that performs error detection, and a physical layer that converts serial and parallel. In addition, the I / O interface includes a route complex at the top of the hierarchy and having one or more ports, an endpoint that is an I / O device, a switch for increasing the number of ports, a bridge for converting a protocol, and the like. It's fine. The I / O interface may multiplex the data to be transmitted and the clock signal by a multiplexer and transmit them. In this case, the receiving side may separate the data and the clock signal by a demultiplexer.

１分散型コンピュータ
１０プラットフォーム
２１モニタ
３０中継装置
５０カメラ
１００ＡＩ処理部
１０１人物特定処理部
１０２人物紐付け処理部
１０３人物分類処理部
１００１、１０１１、１０８１画像取得部
１００２接続制御部
１００３処理結果取得部
１００４表示制御部
１０１２、１０８２人物検出部
１０１３人物特定部
１０８３人物追跡部
１０８４骨格推定部
１０８５領域算出部
１０８６移動判定部
１０８７フィルタ生成部
１０８８完成判定部 1 Distributed computer 10 Platform 21 Monitor 30 Relay device 50 Camera 100 AI processing unit 101 Person identification processing unit 102 Person association processing unit 103 Person classification processing unit 1001, 1011, 1081 Image acquisition unit 1002 Connection control unit 1003 Processing result acquisition unit 1004 Display control unit 1012, 1082 Person detection unit 1013 Person identification unit 1083 Person tracking unit 1084 Skeleton estimation unit 1085 Area calculation unit 1086 Movement judgment unit 1087 Filter generation unit 1088 Completion judgment unit

本発明の第１態様に係る情報処理装置は、取得部と、検出部と、記録部と、生成部とを備える。前記取得部は、同一の場所を複数時間撮影した画像データを取得する。前記検出部は、前記画像データから人物を検出する。前記記録部は、前記検出部が時間毎に検出した前記人物を表す人物領域のうち、前記場所の重力方向における底辺近傍の所定の位置を示す座標を、前記人物毎に記録する。前記生成部は、前記記録部が記録した前記人物毎の前記座標を時系列順に繋げた軌跡に基づいて、前記画像データで前記人物が移動可能な領域である移動可能領域を示すフィルタ情報を生成する。 The information processing device according to the first aspect of the present invention includes an acquisition unit, a detection unit, a recording unit, and a generation unit. The acquisition unit acquires image data obtained by photographing the same place for a plurality of hours. The detection unit detects a person from the image data. The recording unit, among the human region representative of the person the detection unit detects for each time, the coordinates indicating a predetermined position of the bottom vicinity of the gravity direction of the place is recorded for each of the persons. The generation unit generates filter information indicating a movable area, which is a movable area of the person in the image data, based on a locus in which the coordinates of each person recorded by the recording unit are connected in chronological order. To do.

本発明の第２態様に係るプログラムは、情報処理装置が有するコンピュータを、取得部と、検出部と、記録部と、生成部として機能させる。前記取得部は、同一の場所を複数時間撮影した画像データを取得する。前記検出部は、前記画像データから人物を検出する。前記記録部は、前記検出部が時間毎に検出した前記人物を表す人物領域のうち、前記場所の重力方向における底辺近傍の所定の位置を示す座標を、前記人物毎に記録する。前記生成部は、前記記録部が記録した前記人物毎の前記座標を時系列順に繋げた軌跡に基づいて、前記画像データで前記人物が移動可能な領域である移動可能領域を示すフィルタ情報を生成する。 The program according to the second aspect of the present invention causes the computer of the information processing apparatus to function as an acquisition unit, a detection unit, a recording unit, and a generation unit. The acquisition unit acquires image data obtained by photographing the same place for a plurality of hours. The detection unit detects a person from the image data. The recording unit, among the human region representative of the person the detection unit detects for each time, the coordinates indicating a predetermined position of the bottom vicinity of the gravity direction of the place is recorded for each of the persons. The generation unit generates filter information indicating a movable area, which is a movable area of the person in the image data, based on a locus in which the coordinates of each person recorded by the recording unit are connected in chronological order. To do.

本発明の第１態様に係る情報処理装置は、取得部と、検出部と、記録部と、生成部とを備える。前記取得部は、撮像部によって撮像される表示領域の一方の辺と、当該一方の辺の反対側の辺と、の間を略直交する方向が、前記表示領域に写っている場所の上下方向に対応し、人物が移動可能な地面と、当該上下方向で当該人物が移動しない程度に当該地面より高い物体と、が存在する同一の場所を複数時間撮影した画像データを取得する。前記検出部は、前記画像データから人物を検出する。前記記録部は、前記検出部が時間毎に検出した前記人物を表す人物領域であって、前記上下方向のうち下方向に存在する辺近傍の所定の位置を示す座標を、前記人物毎に記録する。前記生成部は、前記記録部が記録した前記人物毎の前記座標を時系列順に繋げた軌跡に基づいて、前記画像データで前記人物が移動可能な前記地面に対応する領域である移動可能領域を示すフィルタ情報を生成する。 The information processing device according to the first aspect of the present invention includes an acquisition unit, a detection unit, a recording unit, and a generation unit. In the acquisition unit, the direction substantially orthogonal to one side of the display area imaged by the imaging unit and the side opposite to the one side is the vertical direction of the place reflected in the display area. Corresponding to, image data obtained by photographing the same place where a person can move and an object higher than the ground so that the person does not move in the vertical direction exists for a plurality of hours is acquired. The detection unit detects a person from the image data. The recording unit is a person area representing the person the detection unit detects for each time, the coordinates indicating the prescribed position of the straight sides that exists among downward direction of the vertical direction, recorded in each of the person To do. Based on the locus of connecting the coordinates of each person recorded by the recording unit in chronological order, the generation unit creates a movable area, which is a region corresponding to the ground on which the person can move in the image data. Generate the indicated filter information.

本発明の第２態様に係るプログラムは、情報処理装置が有するコンピュータを、取得部と、検出部と、記録部と、生成部として機能させる。前記取得部は、撮像部によって撮像される表示領域の一方の辺と、当該一方の辺の反対側の辺と、の間を略直交する方向が、前記表示領域に写っている場所の上下方向に対応し、人物が移動可能な地面と、当該上下方向で当該人物が移動しない程度に当該地面より高い物体と、が存在する同一の場所を複数時間撮影した画像データを取得する。前記検出部は、前記画像データから人物を検出する。前記記録部は、前記検出部が時間毎に検出した前記人物を表す人物領域であって、前記上下方向のうち下方向に存在する辺近傍の所定の位置を示す座標を、前記人物毎に記録する。前記生成部は、前記記録部が記録した前記人物毎の前記座標を時系列順に繋げた軌跡に基づいて、前記画像データで前記人物が移動可能な領域である移動可能領域を示すフィルタ情報を生成する。 The program according to the second aspect of the present invention causes the computer of the information processing apparatus to function as an acquisition unit, a detection unit, a recording unit, and a generation unit. In the acquisition unit, the direction substantially orthogonal to one side of the display area imaged by the imaging unit and the side opposite to the one side is the vertical direction of the place reflected in the display area. Corresponding to, image data obtained by photographing the same place where a person can move and an object higher than the ground so that the person does not move in the vertical direction exists for a plurality of hours is acquired. The detection unit detects a person from the image data. The recording unit is a person area representing the person the detection unit detects for each time, the coordinates indicating the prescribed position of the straight sides that exists among downward direction of the vertical direction, recorded in each of the person To do. The generation unit generates filter information indicating a movable area, which is a movable area of the person in the image data, based on a locus in which the coordinates of each person recorded by the recording unit are connected in chronological order. To do.

Claims

同一の場所を複数時間撮影した画像データを取得する取得部と、
前記画像データから人物を検出する検出部と、
前記検出部が検出した前記人物の各時間の座標を前記人物毎に記録する記録部と、
前記記録部が記録した前記人物毎の前記座標を時系列順に繋げた軌跡に基づいて、前記画像データで前記人物が移動可能な領域である移動可能領域を示すフィルタ情報を生成する生成部と、
を備える情報処理装置。 An acquisition unit that acquires image data obtained by shooting the same location for multiple hours,
A detection unit that detects a person from the image data,
A recording unit that records the coordinates of each time of the person detected by the detection unit for each person, and a recording unit.
Based on the locus of connecting the coordinates of each person recorded by the recording unit in chronological order, a generation unit that generates filter information indicating a movable area, which is a movable area of the person in the image data, and a generation unit.
Information processing device equipped with.

前記生成部は、前記軌跡と前記軌跡との間隙を埋めることで、前記フィルタ情報を生成する、
請求項１に記載の情報処理装置。 The generation unit generates the filter information by filling the gap between the locus and the locus.
The information processing device according to claim 1.

前記生成部は、前記画像データ上の前記人物の位置に応じて前記軌跡の太さを変更する、
請求項１又は２に記載の情報処理装置。 The generation unit changes the thickness of the locus according to the position of the person on the image data.
The information processing device according to claim 1 or 2.

前記画像データに含まれる前記人物の候補である人物候補の骨格を推定する骨格推定部を更に備え、
前記生成部は、前記骨格推定部が前記骨格を推定できた前記人物候補の前記人物の前記軌跡に基づいて、前記フィルタ情報を生成する、
請求項１から３の何れか一項に記載の情報処理装置。 Further provided with a skeleton estimation unit that estimates the skeleton of the person candidate that is the person candidate included in the image data.
The generation unit generates the filter information based on the locus of the person of the person candidate whose skeleton can be estimated by the skeleton estimation unit.
The information processing device according to any one of claims 1 to 3.

前記画像データに含まれる前記人物の候補である人物候補の前記画像データ上の領域の縦横比及び面積を算出する算出部を更に備え、
前記生成部は、前記算出部が算出した前記縦横比及び前記面積が設定範囲内である前記人物候補の前記人物の前記軌跡に基づいて、前記フィルタ情報を生成する、
請求項１から４の何れか一項に記載の情報処理装置。 A calculation unit for calculating the aspect ratio and the area of the area on the image data of the person candidate who is the candidate of the person included in the image data is further provided.
The generation unit generates the filter information based on the aspect ratio calculated by the calculation unit and the locus of the person of the person candidate whose area is within the set range.
The information processing device according to any one of claims 1 to 4.

前記画像データに含まれる前記人物の候補である人物候補の前記画像データ上の領域の面積の変化に基づいて当該人物候補が移動したか否かを判定する移動判定部を更に備え、
前記生成部は、前記移動判定部が移動したと判定した前記人物候補の前記人物の前記軌跡に基づいて、前記フィルタ情報を生成する、
請求項１から５の何れか一項に記載の情報処理装置。 A movement determination unit for determining whether or not the person candidate has moved based on a change in the area of the area on the image data of the person candidate included in the image data is further provided.
The generation unit generates the filter information based on the locus of the person of the person candidate who is determined to have moved by the movement determination unit.
The information processing device according to any one of claims 1 to 5.

前記移動可能領域は、前記画像データにおける床の領域である、
請求項１から６の何れか一項に記載の情報処理装置。 The movable area is a floor area in the image data.
The information processing device according to any one of claims 1 to 6.

情報処理装置が有するコンピュータを、
同一の場所を複数時間撮影した画像データを取得する取得部と、
前記画像データから人物を検出する検出部と、
前記検出部が検出した前記人物の各時間の座標を前記人物毎に記録する記録部と、
前記記録部が記録した前記人物毎の前記座標を時系列順に繋げた軌跡に基づいて、前記画像データで前記人物が移動可能な領域である移動可能領域を示すフィルタ情報を生成する生成部と、
して機能させるためのプログラム。 The computer that the information processing device has
An acquisition unit that acquires image data obtained by shooting the same location for multiple hours,
A detection unit that detects a person from the image data,
A recording unit that records the coordinates of each time of the person detected by the detection unit for each person, and a recording unit.
Based on the locus of connecting the coordinates of each person recorded by the recording unit in chronological order, a generation unit that generates filter information indicating a movable area, which is a movable area of the person in the image data, and a generation unit.
A program to make it work.