JP2022068793A - Information processing apparatus, information processing method and program - Google Patents

Abstract

To facilitate selection of a desired analysis result from accumulated analysis results.SOLUTION: Information is accepted which is used for setting an analysis region which is a region used for a given analysis process in a captured image, retaining for the captured image the analysis region set on the captured image in association with an analysis result representing the result of the given analysis process on the analysis region, and selecting at lest one analysis result from a plurality of retained analysis result, the information concerning a position on a given image specified by a user operation. Then, at least one analysis result is selected from the plurality of retained analysis results on the basis of the position specified by the user operation in the given image and the position of the analysis region on the captured image.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理技術に関する。 The present invention relates to information processing technology.

従来、画像に対して解析領域を設定し、当該解析領域において実行された所定の解析処理の解析結果を取得する技術が知られている。また日時などの情報を検索キーとして、過去蓄積された解析結果から所望の解析結果を選択する技術が知られている。 Conventionally, there is known a technique of setting an analysis area for an image and acquiring an analysis result of a predetermined analysis process executed in the analysis area. Further, there is known a technique of selecting a desired analysis result from the analysis results accumulated in the past by using information such as a date and time as a search key.

特許文献１では、解析の際に設定していた多角形領域を識別する名称を検索キーとして過去の解析結果を検索する技術が提示されている。 Patent Document 1 presents a technique for searching past analysis results using a name that identifies a polygonal region set at the time of analysis as a search key.

特開２０１７－４１８６４号公報Japanese Unexamined Patent Publication No. 2017-41864.

撮像された期間に応じて異なる解析領域が撮像画像上に設定されることがあり、この場合、異なる解析領域に対して複数の解析結果が蓄積されることになる。このとき蓄積された複数の解析結果から所望の解析結果を検索するにあたって、特許文献１に記載の技術では、多角形領域の名称と実際に設定した多角形領域の形状との対応関係をユーザーが事前に把握していないと、所望の解析結果を検索することが難しい。 Different analysis regions may be set on the captured image depending on the period of imaging, and in this case, a plurality of analysis results are accumulated for different analysis regions. In searching for a desired analysis result from a plurality of analysis results accumulated at this time, in the technique described in Patent Document 1, the user determines the correspondence relationship between the name of the polygonal region and the shape of the polygonal region actually set. It is difficult to search for the desired analysis result without knowing it in advance.

本発明は上記の課題を解析するためになされたものであり、蓄積された解析結果から所望の解析結果を容易に選択できるようにすることを目的としている。 The present invention has been made to analyze the above-mentioned problems, and an object of the present invention is to make it possible to easily select a desired analysis result from the accumulated analysis results.

上記課題を解決するために、例えば、本発明に係る画像処理装置は、以下の構成を有する。すなわち、撮像手段に撮像された撮像画像において所定の解析処理に用いられる領域である解析領域を設定する設定手段と、前記撮像画像について、当該撮像画像上に前記設定手段に設定された解析領域と、当該解析領域における前記所定の解析処理の結果を示す解析結果とを関連付けて保持する保持手段と、前記保持手段により保持される複数の解析結果から少なくとも１つの解析結果を選択するために用いられる情報であって、所定の画像においてユーザー操作により指定された位置の情報を受け付ける受付手段と、前記ユーザー操作に基づく前記所定の画像上の位置と、前記解析領域の撮像画像上の位置とに基づき、前記保持手段に保持される複数の解析結果のうち、少なくとも１つの解析結果を選択する選択手段と、を有する。 In order to solve the above problems, for example, the image processing apparatus according to the present invention has the following configuration. That is, a setting means for setting an analysis area which is a region used for a predetermined analysis process in the captured image captured by the imaging means, and an analysis region set for the setting means on the captured image for the captured image. , A holding means for associating and holding an analysis result indicating the result of the predetermined analysis process in the analysis area, and a holding means for selecting at least one analysis result from a plurality of analysis results held by the holding means. Information based on a receiving means that receives information on a position designated by a user operation in a predetermined image, a position on the predetermined image based on the user operation, and a position on a captured image of the analysis region. , A selection means for selecting at least one analysis result from a plurality of analysis results held in the holding means.

本発明によれば、蓄積された解析結果から所望の解析結果を容易に選択できるようになる。 According to the present invention, a desired analysis result can be easily selected from the accumulated analysis results.

システム構成の一例を示した図である。It is a figure which showed an example of the system configuration. 機能ブロックの一例を示す図である。It is a figure which shows an example of a functional block. 解析領域において実行される所定の解析処理について説明するための図である。It is a figure for demonstrating the predetermined analysis processing executed in an analysis area. 解析結果を蓄積した集計情報について説明するための図である。It is a figure for demonstrating the aggregated information which accumulated the analysis result. 所定の画像において指定される指定領域について説明するための図である。It is a figure for demonstrating the designated area designated in a predetermined image. 解析結果を選択する処理について説明するための図である。It is a figure for demonstrating the process of selecting an analysis result. 生成される表示ウィンドウについて説明するための図である。It is a figure for demonstrating the generated display window. 解析結果を蓄積する処理および表示ウィンドウを生成する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process of accumulating the analysis result, and the process of generating a display window. 生成される表示ウィンドウについて説明するための図である。It is a figure for demonstrating the generated display window. 各装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of each apparatus.

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。 Hereinafter, embodiments according to the present invention will be described with reference to the accompanying drawings. The configuration shown in the following embodiments is merely an example, and is not limited to the configurations shown in the drawings.

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。 (Embodiment 1)
FIG. 1 is a diagram showing a system configuration in this embodiment. The system in this embodiment includes an information processing device 100, an image pickup device 110, a recording device 120, and a display 130.

情報処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。 The information processing device 100, the image pickup device 110, and the recording device 120 are connected to each other via the network 140. The network 140 is realized from a plurality of routers, switches, cables and the like conforming to a communication standard such as ETHERNET (registered trademark).

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。 The network 140 may be realized by the Internet, a wired LAN (Local Area Network), a wireless LAN (Wireless Lan), a WAN (Wide Area Network), or the like.

情報処理装置１００は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。 The information processing apparatus 100 is realized by, for example, a personal computer or the like in which a program for realizing the information processing function described later is installed.

撮像装置１１０は、画像を撮像する装置であり、撮像手段として機能する。撮像装置１１０は、撮像した画像（撮像画像）の画像データと、撮像画像を撮像した撮像日時の情報と、撮像画像を撮像した撮像装置１１０を識別する識別情報とを関連付けて、ネットワーク１４０を介し、情報処理装置１００や記録装置１２０などへ送信する。なお、本実施形態において、撮像装置１１０は複数であってもよい。その場合、複数の撮装置１１０の各々は、撮像画像の画像データと、撮像画像の撮像日時の情報と、撮像画像を撮像した撮像装置１１０を識別する識別情報とを関連付けて、ネットワーク１４０を介し、情報処理装置１００や記録装置１２０などへ送信する。情報処理装置１００および記録装置１２０は、例えば、送信された撮像画像と関連付けられた識別情報を用いて、当該撮像画像は、複数の撮像装置１１０のうちどの撮像装置１１０により撮像されたかを判断する。 The image pickup device 110 is a device for taking an image and functions as an image pickup means. The image pickup device 110 associates the image data of the captured image (captured image), the information on the date and time when the captured image was captured, and the identification information for identifying the image pickup device 110 that captured the captured image, via the network 140. , The information is transmitted to the information processing device 100, the recording device 120, and the like. In this embodiment, there may be a plurality of image pickup devices 110. In that case, each of the plurality of photographing devices 110 associates the image data of the captured image, the information of the imaging date and time of the captured image, and the identification information for identifying the image pickup device 110 that captured the captured image, via the network 140. , Is transmitted to the information processing device 100, the recording device 120, and the like. The information processing device 100 and the recording device 120 use, for example, the identification information associated with the transmitted captured image to determine which image pickup device 110 among the plurality of image pickup devices 110 captured the captured image. ..

記録装置１２０は、撮像画像の画像データと、撮像画像の撮像日時の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、情報処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像データ、識別情報など）を情報処理装置１００へ送信する。 The recording device 120 records the image data of the captured image, the information on the imaging date and time of the captured image, and the identification information for identifying the image pickup device 110 in association with each other. Then, in accordance with the request from the information processing device 100, the recording device 120 transmits the recorded data (image data, identification information, etc.) to the information processing device 100.

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、情報処理装置１００の情報処理の結果や、撮像画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。なお、ディスプレイ１３０、情報処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。 The display 130 is composed of an LCD (Liquid Crystal Display) or the like, and displays information processing results of the information processing apparatus 100, captured images, and the like. The display 130 is connected to the information processing apparatus 100 via a display cable compliant with a communication standard such as HDMI (registered trademark) (High Definition Multimedia Interface). At least two or all of the display 130, the information processing device 100, and the recording device 120 may be provided in a single housing.

なお、情報処理装置１００による情報処理の結果や、撮像画像は、情報処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。 The result of information processing by the information processing device 100 and the captured image are not limited to the display 130 connected to the information processing device 100 via the display cable, but are displayed on, for example, a display having the following external device. You may. That is, it may be displayed on a display of a mobile device such as a smartphone or a tablet terminal connected via the network 140.

取得部２００は、撮像装置１１０に撮像された動画像を構成する各フレームの撮像画像を順次取得する。なお、取得部２００は、撮像装置１１０から送信された動画像を取得してもよいし、記録装置１２０から送信された動画像を取得してもよい。 The acquisition unit 200 sequentially acquires the captured images of each frame constituting the moving image captured by the imaging device 110. The acquisition unit 200 may acquire the moving image transmitted from the imaging device 110, or may acquire the moving image transmitted from the recording device 120.

記録部２０１は、図１０を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０３０等によって実現でき、情報処理装置１００による情報処理に関わる情報やデータを記録する。 The recording unit 201 can be realized by a RAM (Random Access Memory) 1010, an HDD (Hard Disk Drive) 1030, or the like, which will be described later with reference to FIG. 10, and records information and data related to information processing by the information processing apparatus 100.

操作受付部２０２は、キーボードやマウス等の入力装置（不図示）を介して、ユーザーが行った操作を受け付ける。例えば、操作受付部２０２は、撮像装置１１０に撮像された撮像画像において所定の解析処理が実行される領域である解析領域を指定する操作を受け付ける。 The operation receiving unit 202 receives an operation performed by the user via an input device (not shown) such as a keyboard or a mouse. For example, the operation receiving unit 202 accepts an operation of designating an analysis area, which is an area in which a predetermined analysis process is executed in the captured image captured by the image pickup device 110.

設定部２０３は、撮像画像において所定の解析処理に用いられる領域である解析領域を設定する。設定部２０３は、例えば、ユーザー操作に基づき、撮像画像において解析領域を設定する。この場合、操作受付部２０２は、表示された撮像画像上においてユーザー操作により指定された解析領域の位置の情報（位置情報）を受け付け、設定部２０３は、当該解析領域の位置の情報に基づき、撮像画像上に解析領域を設定する。なお、解析領域の位置情報は、撮像画像の左上の頂点を原点としたＸＹ座標において、撮像画像上の解析領域の各頂点のＸＹ座標で示されるものとする。 The setting unit 203 sets an analysis area, which is an area used for a predetermined analysis process in the captured image. The setting unit 203 sets the analysis area in the captured image, for example, based on the user operation. In this case, the operation receiving unit 202 receives the information (position information) of the position of the analysis area designated by the user operation on the displayed captured image, and the setting unit 203 receives the information of the position of the analysis area based on the information of the position of the analysis area. Set the analysis area on the captured image. The position information of the analysis area is indicated by the XY coordinates of each vertex of the analysis area on the captured image in the XY coordinates with the upper left vertex of the captured image as the origin.

画像解析部２０４は、取得部２００により取得された撮像画像上に設定された解析領域において所定の解析処理を実行する。なお本実施形態において、所定の解析処理は、撮像画像から特定の物体を検出する検出処理に関するものとする。例えば、所定の解析処理は、撮像画像に対する特定の物体を検出する検出処理、当該撮像画像において検出処理により検出された特定物体の数を計数する計数処理などがある。なお、撮像画像から特定の物体を検出する検出処理では、例えば、パターンマッチング処理などを用いてもよいし、機械学習により学習された識別器を用いて撮像画像から特定の物体を検出する処理を用いてもよい。また、所定の解析処理は、撮像画像において検出処理により検出された特定の物体を追尾する追尾処理でもよい。記録部２０１は、取得部２００により取得された撮像画像について、当該撮像画像上に設定された解析領域を示す情報と、当該解析領域において実行された所定の解析処理の解析結果を示す情報とを関連付けて保持（記録）する。なお記録部２０１により保持される情報の詳細な説明については後述する。 The image analysis unit 204 executes a predetermined analysis process in the analysis region set on the captured image acquired by the acquisition unit 200. In the present embodiment, the predetermined analysis process is related to the detection process of detecting a specific object from the captured image. For example, the predetermined analysis process includes a detection process for detecting a specific object with respect to a captured image, a counting process for counting the number of specific objects detected by the detection process in the captured image, and the like. In the detection process for detecting a specific object from the captured image, for example, a pattern matching process or the like may be used, or a process for detecting a specific object from the captured image using a classifier learned by machine learning may be used. You may use it. Further, the predetermined analysis process may be a tracking process for tracking a specific object detected by the detection process in the captured image. The recording unit 201 provides information indicating an analysis area set on the captured image and information indicating the analysis result of a predetermined analysis process executed in the analysis region for the captured image acquired by the acquisition unit 200. Retain (record) in association. A detailed description of the information held by the recording unit 201 will be described later.

選択部２０５は、所定の画像においてユーザー操作により指定された位置と、解析領域の撮像画像上の位置とに基づき、記録部２０１により保持される複数の解析結果のうち、少なくとも１つの解析結果を対象解析結果として選択する。選択部２０５による処理の詳細な説明については後述する。 The selection unit 205 obtains at least one analysis result among the plurality of analysis results held by the recording unit 201 based on the position designated by the user operation in the predetermined image and the position on the captured image of the analysis area. Select as the target analysis result. A detailed description of the processing by the selection unit 205 will be described later.

生成部２０６は、選択部２０５により対象解析結果として選択された少なくとも１つの解析結果を示す情報を含む表示ウィンドウを生成する。表示制御部２０７は、生成部２０６により生成された表示ウィンドウをディスプレイ１３０に表示させる。 The generation unit 206 generates a display window containing information indicating at least one analysis result selected as the target analysis result by the selection unit 205. The display control unit 207 causes the display 130 to display the display window generated by the generation unit 206.

ここで、図３を参照して、本実施形態における画像解析部２０４により実行される所定の解析処理の一例について説明する。図３は、撮像装置１１０により撮像された撮像画像に設定された解析領域に対して所定の解析処理が実行された一例を示す図である。なお本実施形態における画像解析部２０４は、解析領域に対する所定の解析処理として、当該解析処理に含まれる人物の数を検出し、検出した人物の数を計数する計数処理を実行するものとする。 Here, with reference to FIG. 3, an example of a predetermined analysis process executed by the image analysis unit 204 in the present embodiment will be described. FIG. 3 is a diagram showing an example in which a predetermined analysis process is executed on an analysis region set in an image captured by the image pickup device 110. Note that the image analysis unit 204 in the present embodiment executes a counting process of detecting the number of persons included in the analysis process and counting the number of the detected persons as a predetermined analysis process for the analysis area.

図３（ａ）に示す解析領域３０１ａは、撮像画像３００ａに対し設定部２０３により設定された解析領域である。図３（ａ）に示すように、画像解析部２０４は、解析領域３０１ａに含まれる人物を計数する計数処理を実行し、当該解析領域３０１ａに対応する解析結果として、“５”という人物の計数結果を得る。このとき、記録部２０１は、撮像画像３００ａについて、解析領域３０１ａを識別する情報である解析領域ＩＤと、当該解析領域３０１ａの撮像画像上の位置を示す位置情報と、当該解析領域３０１ａにおける解析結果の情報とを関連つけて保持する。また、図３（ｂ）に示す解析領域３０１ｂは、撮像画像３００ａと異なる時刻に撮像された撮像画像３００ｂに設定された解析領域であって、解析領域３０１ａと異なる解析領域である。図３（ｂ）に示すように、画像解析部２０４は、解析領域３０１ｂに含まれる人物を計数する計数処理を実行し、当該解析領域３０１ｂに対応する解析結果として、“４”という人物の計数結果を得る。このとき、記録部２０１は、撮像画像３００ｂについて、解析領域３０１ｂを識別する解析領域ＩＤと、当該解析領域３０１ｂの撮像画像上の位置情報と、当該解析領域３０１ｂにおける解析結果の情報とを関連つけて保持する。また、図３（ｃ）に示す解析領域３０１ｃは、撮像画像３００ａ～３００ｂと異なる時刻に撮像された撮像画像３００ｃに設定された解析領域であって、解析領域３０１ａ～３０１ｂと異なる解析領域である。図３（ｃ）に示すように、画像解析部２０４は、解析領域３０１ｃに含まれる人物を計数する計数処理を実行し、当該解析領域３０１ｃに対応する解析結果として、“０”という人物の計数結果を得る。このとき、記録部２０１は、撮像画像３００ｃについて、解析領域３０１ｃを識別する解析領域ＩＤと、当該解析領域３０１ｃの撮像画像上の位置情報と、当該解析領域３０１ｃにおける解析結果の情報とを関連つけて保持する。なお、記録部２０１は、解析領域３０１ａと解析領域３０１ｂとで撮像画像上の位置が異なるため、解析領域３０１ａと異なる解析領域ＩＤを解析領域３０１ｂに対して付与する。また、記録部２０１は、解析領域３０１ａ～３０１ｂと解析領域３０１ｃとでそれぞれ撮像画像上の位置が異なるため、解析領域３０１ａ～３０１ｂと異なる解析領域ＩＤを解析領域３０１ｃに対して付与する。 The analysis area 301a shown in FIG. 3A is an analysis area set by the setting unit 203 with respect to the captured image 300a. As shown in FIG. 3A, the image analysis unit 204 executes a counting process for counting the persons included in the analysis area 301a, and counts the person "5" as the analysis result corresponding to the analysis area 301a. Get results. At this time, the recording unit 201 has an analysis area ID that is information for identifying the analysis area 301a, position information indicating the position of the analysis area 301a on the image captured image, and an analysis result in the analysis area 301a. Retains the information in relation to. Further, the analysis region 301b shown in FIG. 3B is an analysis region set in the captured image 300b captured at a time different from that of the captured image 300a, and is an analysis region different from the analysis region 301a. As shown in FIG. 3B, the image analysis unit 204 executes a counting process for counting the persons included in the analysis area 301b, and counts the person "4" as the analysis result corresponding to the analysis area 301b. Get results. At this time, the recording unit 201 associates the analysis region ID that identifies the analysis region 301b with the captured image 300b, the position information on the captured image of the analysis region 301b, and the information of the analysis result in the analysis region 301b. And hold. Further, the analysis region 301c shown in FIG. 3C is an analysis region set in the captured images 300c captured at a different time from the captured images 300a to 300b, and is an analysis region different from the analysis regions 301a to 301b. .. As shown in FIG. 3C, the image analysis unit 204 executes a counting process for counting the persons included in the analysis area 301c, and counts the persons "0" as the analysis result corresponding to the analysis area 301c. Get results. At this time, the recording unit 201 associates the analysis region ID that identifies the analysis region 301c with the captured image 300c, the position information on the captured image of the analysis region 301c, and the information of the analysis result in the analysis region 301c. And hold. Since the recording unit 201 has different positions on the captured image between the analysis area 301a and the analysis area 301b, the recording unit 201 assigns an analysis area ID different from the analysis area 301a to the analysis area 301b. Further, since the recording unit 201 has different positions on the captured image between the analysis areas 301a to 301b and the analysis area 301c, the recording unit 201 assigns an analysis area ID different from the analysis areas 301a to 301b to the analysis area 301c.

続いて、図４を参照して、本実施形態における記録部２０１により蓄積される解析結果を情報について説明する。図４は、記録部２０１により蓄積される解析結果の情報である集計情報を説明するための図である。図４に集計情報４００は、或る撮像装置１１０により撮像された動画像を構成する複数の撮像画像４４０の各々について、当該撮像画像に設定された解析領域に対して所定の解析処理が実行されることで得た複数の解析結果を蓄積した情報である。具体的には、本実施形態における記録部２０１は、集計情報４００において、次の各情報を関連付けて保持する。すなわち、撮像画像を撮像した撮像装置１１０を識別するカメラＩＤ４０１、当該撮像画像を識別するフレーム番号４０２、当該撮像画像の撮像日時４０３、当該撮像画像に設定された解析領域の解析領域ＩＤ４０４、当該解析領域の撮像画像上の位置である位置情報４０５、当該解析領域に対する所定の解析処理により得られた解析結果４０６とが関連付けられて保持される。 Subsequently, with reference to FIG. 4, the analysis result accumulated by the recording unit 201 in the present embodiment will be described with reference to the information. FIG. 4 is a diagram for explaining aggregated information which is information of analysis results accumulated by the recording unit 201. In FIG. 4, in the aggregated information 400, a predetermined analysis process is executed for the analysis region set in the captured image for each of the plurality of captured images 440 constituting the moving image captured by a certain imaging device 110. This is information that accumulates multiple analysis results obtained by doing so. Specifically, the recording unit 201 in the present embodiment associates and holds the following information in the aggregated information 400. That is, the camera ID 401 that identifies the image pickup device 110 that captured the captured image, the frame number 402 that identifies the captured image, the imaging date and time 403 of the captured image, the analysis area ID 404 of the analysis area set for the captured image, and the analysis. The position information 405, which is the position on the captured image of the region, and the analysis result 406 obtained by a predetermined analysis process for the analysis region are associated and held.

なお、図３（ａ）に示す解析領域３０１ａの解析領域ＩＤ４０４として“ａ”、図３（ｂ）に示す解析領域３０１ｂの解析領域ＩＤ４０４として“ｂ”、図３（ｃ）に示す解析領域３０１ｃの解析領域ＩＤ４０４として“ｃ”、がそれぞれ付与されているものとする。そして、図４に示す複数の撮像画像４４０の各々に対する所定の解析処理が実行されるのに先立ち、ユーザー操作に従って次のような設定がなされているものとする。すなわち、“２０２０／〇／△／１３：００～２０２０／〇／△／１３：５９”の撮像期間に撮像された撮像画像に対して解析領域３０１ａ、“２０２０／〇／△／１４：００～２０２０／〇／△／１６：５９”の撮像期間に撮像された撮像画像の各々に対し解析領域３０１ｂ、“２０２０／〇／△／１７：００～２０２０／〇／△／１８：００”の撮像期間に撮像された撮像画像に対して解析領域３０１ｃが設定される。そして、当該設定に従って複数の撮像画像４００に対して実行された所定の解析処理の解析結果を蓄積することで集計情報４００が得られる。これより、例えば集計情報４００に示すように、カメラＩＤ４０１“ａａａ”の撮像装置１１０により“２０２０／〇／△／１３：０１”に撮像された撮像画像上に設定された解析領域ＩＤ４０４“ａ”の解析領域３０１ａに対する解析結果４０６として“１”が得られている。 The analysis area ID404 of the analysis area 301a shown in FIG. 3A is “a”, the analysis area ID404 of the analysis area 301b shown in FIG. 3B is “b”, and the analysis area 301c shown in FIG. 3C. It is assumed that "c" is assigned as the analysis area ID 404 of. Then, it is assumed that the following settings are made according to the user operation prior to the execution of the predetermined analysis processing for each of the plurality of captured images 440 shown in FIG. That is, for the captured image captured during the imaging period of "2020 / 〇 / Δ / 13: 00 to 2020 / 〇 / Δ / 13: 59", the analysis region 301a, "2020 / 〇 / Δ / 14:00 to Imaging of analysis area 301b, "2020 / 〇 / △ / 17: 00-2020 / 〇 / △ / 18:00" for each of the captured images captured during the "2020 / 〇 / △ / 16: 59" imaging period. The analysis area 301c is set for the captured image captured during the period. Then, the aggregated information 400 is obtained by accumulating the analysis results of the predetermined analysis processing executed on the plurality of captured images 400 according to the setting. From this, for example, as shown in the aggregated information 400, the analysis area ID 404 “a” set on the captured image captured by the image pickup device 110 of the camera ID 401 “aaa” at “2020 / 〇 / Δ / 13: 01”. "1" is obtained as the analysis result 406 for the analysis region 301a of.

続いて、図５～図６を参照して、記録部２０１に記録される集計情報４００に蓄積される複数の解析結果からユーザーが所望する少なくとも１つの解析結果を対象解析結果として選択する処理について説明する。図５は、ディスプレイ１３０に表示された所定の画像上において解析結果の選択に用いられる領域である指定領域の一例を示す図である。図５に示す指定領域５０１は、所定の画像５００においてユーザー操作に従って指定された領域である。なお、所定の画像５００は、本実施形態において撮像装置１１０により撮像された撮像画像であるものとする。このとき、撮像装置１１０が複数ある場合、ユーザーが選択した撮像装置１１０の撮像画像を所定の画像５００として用いてもよい。また集計情報４００に集計される複数の解析結果のうち解析結果の検索対象とする撮像装置１１０がユーザーにより選択されている場合、当該選択された撮像装置１１０により撮像された撮像画像を所定の画像５００として用いてもよい。なお、所定の画像５００は、撮像装置１１０に撮像された撮像画像に限らず、他の任意の画像であってもよい。例えば、撮像装置１１０により撮像された撮像画像と画像サイズが同じである任意の色の画像を所定の画像５００として用いてもよい。なお図５において、解析結果の選択に用いられる指定領域として矩形の領域の場合について説明したが、これに限らず、例えば、指定領域としてラインがユーザーにより指定されてもよいし点が指定されてもよい。なお、所定の画像５００上において指定された指定領域５０１の位置情報は、所定の画像５００の左上の頂点を原点として、指定領域５０１の各頂点のＸＹ座標で示されるものとする。 Subsequently, with reference to FIGS. 5 to 6, the process of selecting at least one analysis result desired by the user from a plurality of analysis results stored in the aggregated information 400 recorded in the recording unit 201 as the target analysis result. explain. FIG. 5 is a diagram showing an example of a designated area which is an area used for selecting an analysis result on a predetermined image displayed on the display 130. The designated area 501 shown in FIG. 5 is an area designated according to a user operation in a predetermined image 500. The predetermined image 500 is an image captured by the image pickup apparatus 110 in the present embodiment. At this time, when there are a plurality of image pickup devices 110, the image captured by the image pickup device 110 selected by the user may be used as the predetermined image 500. Further, when the image pickup device 110 to be searched for the analysis result is selected by the user from the plurality of analysis results aggregated in the aggregated information 400, the captured image captured by the selected image pickup device 110 is a predetermined image. It may be used as 500. The predetermined image 500 is not limited to the captured image captured by the image pickup device 110, and may be any other image. For example, an image of an arbitrary color having the same image size as the image captured by the image pickup device 110 may be used as the predetermined image 500. Note that FIG. 5 has described the case of a rectangular area as the designated area used for selecting the analysis result, but the present invention is not limited to this, and for example, a line may be designated by the user as the designated area, or a point is designated. May be good. The position information of the designated area 501 designated on the predetermined image 500 is indicated by the XY coordinates of each vertex of the designated area 501 with the upper left vertex of the predetermined image 500 as the origin.

図６は、所定の画像５００において指定された位置に基づき、記録部２０１に記録される集計情報４０１に蓄積される複数の解析結果から対象解析結果として少なくとも１つの解析結果を選択する処理について説明するための図である。本実施形態において、集計情報４０１に蓄積される複数の解析結果から少なくとも１つの解析結果を選択するために、所定の画像５００において指定領域５０１が指定されたのち、選択部２０５は、次のような処理を実行する。まず、選択部２０５は、集計情報４０１にて保持される解析結果が得られた撮像画像に設定されている解析領域を特定し、特定した解析領域と指定領域５０１とで重複する領域（以下重複領域）のサイズが所定の条件を満たす解析領域を対象解析領域として選択する。集計情報４００に示す例において、“２０２０／〇／△／１３：００～２０２０／〇／△／１８：００”の撮像期間においてカメラＩＤ４０１“ａａａ”の撮像装置１１０により撮像された撮像画像について解析結果が保持されている。このとき、選択部２０５は、当該撮像期間に撮像された撮像画像に設定された解析領域の種類として、解析ＩＤ４０４を参照し、解析領域ＩＤ４０４が“ａ”～”ｃ”である解析領域３０１ａ～３０１ｃを特定する。選択部２０５は、特定した解析領域３０１ａ～３０１ｃのそれぞれと、指定領域５０１とで重複する重複領域のサイズが所定の条件を満たすかを判定し、所定の条件を満たすと判定された解析領域を対象解析領域として選択する。ここで、選択部２０５は、図６（ａ）に示すように、所定の画像５００と、解析領域３０１ａが設定された撮像画像とが合致するように重ね合わせたとき、指定領域５０１と解析領域３０１ａとの重複領域のサイズが所定の条件を満たすかを判定する。本実施形態において、所定の条件を満たすかを判定する処理として、指定領域５０１のサイズに対する重複領域のサイズが所定割合以上であるかを判定する処理であるものとする。所定割合を３０％とした場合、図６（ａ）に示す例では、指定領域５０１のサイズに対する指定領域３０１ａのサイズの割合は３０％以上であるため、選択部２０５は、解析領域３０１ａを対象解析領域として選択する。また、選択部２０５は、図６（ｂ）に示すように、指定領域５００が設定された所定の画像５００と、解析領域３０１ｂが設定された撮像画像とが合致するように重ね合わせたとき、指定領域５０１のサイズに対する重複領域のサイズが所定割合以上かを判定する。図６（ｂ）の場合、指定領域５０１と解析領域３０１ｂは重複しないため、選択部２０５は、指定領域５０１のサイズに対する指定領域５０１と解析領域３０１ｂとの重複領域のサイズは所定割合未満と判定し、指定領域３０１ｂを対象解析領域として選択しない。また、選択部２０５は、図６（ｃ）に示すように、指定領域５００が設定された所定の画像５００と、解析領域３０１ｃが設定された撮像画像とが合致するように重ね合わせたとき、指定領域５０１のサイズに対する指定領域５０１と解析領域３０１ｃとの重複領域のサイズが所定割合以上かを判定する。上述のように所定割合を３０％と想定した場合、選択部２０５は、指定領域５０１のサイズに対する重複領域のサイズは所定割合以上と判定し、指定領域３０１ｃを対象解析領域として選択する。以上のように、選択部２０５は、集計情報４００にて保持される解析結果に関連付けられた解析領域のうち、当該解析領域と指定領域５０１の重複領域（以下重複領域）のサイズが所定の条件を満たす解析領域を対象解析領域として選択する。図６に示す例では、選択部２０５は、集計情報４０１にて保持される解析結果に関連付けられた解析領域３０１ａ～３０１ｃのうち、解析領域３０１ａおよび解析領域３０１ｃを対象解析領域として選択する。そして、選択部２０５は、集計情報４００にて保持される複数の解析結果のうち、対象解析領域に関連付けられた解析結果を対象解析結果として選択する。具体的には、選択部２０５は、集計情報４０１にて保持される“２０２０／〇／△／１３：００～２０２０／〇／△／１８：００”の撮像期間に対応する解析結果４０６のうち、対象解析領域である解析領域３０１ａおよび解析領域３０１ｃに関連付けられた解析結果を選択する。すなわち、選択部２０５は、解析領域３０１ａの解析領域ＩＤ４０４“ａ”に関連付けられた“２０２０／〇／△／１３：００～２０２０／〇／△／１３：５９”の撮像期間に対応する解析結果４０６を選択する。同様に、選択部２０５は、解析領域３０１ｃの解析領域ＩＤ４０４“ｃ”に関連付けられた“２０２０／〇／△／１７：００～２０２０／〇／△／１８：００”の撮像期間に対応する解析結果４０６を選択する。以上のように、本実施形態における選択部２０５は、集計情報４０１に蓄積される解析結果のうち、指定領域の位置と、解析領域の位置とに従って、少なくとも１つの解析結果を対象解析結果として選択する。 FIG. 6 describes a process of selecting at least one analysis result as a target analysis result from a plurality of analysis results stored in the aggregated information 401 recorded in the recording unit 201 based on a position designated in a predetermined image 500. It is a figure to do. In the present embodiment, after the designated area 501 is designated in the predetermined image 500 in order to select at least one analysis result from the plurality of analysis results stored in the aggregated information 401, the selection unit 205 uses the following. Perform various processes. First, the selection unit 205 identifies an analysis area set in the captured image from which the analysis result held in the aggregated information 401 is obtained, and the specified analysis area and the designated area 501 overlap (hereinafter, overlap). An analysis region in which the size of the region) satisfies a predetermined condition is selected as the target analysis region. In the example shown in the aggregated information 400, the image captured by the image pickup device 110 of the camera ID 401 “aaa” during the image pickup period of “2020/〇 / △ / 13: 00 to 2020 / ○ / △ / 18:00” is analyzed. The results are retained. At this time, the selection unit 205 refers to the analysis ID 404 as the type of the analysis region set in the captured image captured during the imaging period, and the analysis regions 301a to "c" in which the analysis region ID 404 is "a" to "c". Identify 301c. The selection unit 205 determines whether the size of the overlapping region overlapped between each of the specified analysis regions 301a to 301c and the designated region 501 satisfies a predetermined condition, and determines whether the analysis region determined to satisfy the predetermined condition is satisfied. Select as the target analysis area. Here, as shown in FIG. 6A, the selection unit 205 superimposes the predetermined image 500 and the captured image in which the analysis area 301a is set so as to match the designated area 501 and the analysis area 501. It is determined whether the size of the overlapping area with the 301a satisfies a predetermined condition. In the present embodiment, as a process for determining whether a predetermined condition is satisfied, it is assumed that the process is for determining whether the size of the overlapping region with respect to the size of the designated region 501 is equal to or larger than the predetermined ratio. Assuming that the predetermined ratio is 30%, in the example shown in FIG. 6A, the ratio of the size of the designated area 301a to the size of the designated area 501 is 30% or more, so that the selection unit 205 targets the analysis area 301a. Select as the analysis area. Further, as shown in FIG. 6B, the selection unit 205 superimposes the predetermined image 500 in which the designated area 500 is set and the captured image in which the analysis area 301b is set so as to match. It is determined whether the size of the overlapping area with respect to the size of the designated area 501 is equal to or larger than a predetermined ratio. In the case of FIG. 6B, since the designated area 501 and the analysis area 301b do not overlap, the selection unit 205 determines that the size of the overlapping area between the designated area 501 and the analysis area 301b is less than a predetermined ratio with respect to the size of the designated area 501. However, the designated area 301b is not selected as the target analysis area. Further, as shown in FIG. 6C, the selection unit 205 superimposes the predetermined image 500 in which the designated area 500 is set and the captured image in which the analysis area 301c is set so as to match. It is determined whether the size of the overlapping area between the designated area 501 and the analysis area 301c with respect to the size of the designated area 501 is equal to or larger than a predetermined ratio. Assuming that the predetermined ratio is 30% as described above, the selection unit 205 determines that the size of the overlapping region with respect to the size of the designated region 501 is equal to or larger than the predetermined ratio, and selects the designated region 301c as the target analysis region. As described above, the selection unit 205 has a predetermined condition that the size of the overlapping area (hereinafter referred to as the overlapping area) between the analysis area and the designated area 501 among the analysis areas associated with the analysis results held in the aggregated information 400 is a predetermined condition. Select the analysis area that satisfies the condition as the target analysis area. In the example shown in FIG. 6, the selection unit 205 selects the analysis area 301a and the analysis area 301c as the target analysis area from the analysis areas 301a to 301c associated with the analysis results held in the aggregated information 401. Then, the selection unit 205 selects the analysis result associated with the target analysis area as the target analysis result from the plurality of analysis results held in the aggregated information 400. Specifically, the selection unit 205 is among the analysis results 406 corresponding to the imaging period of "2020 / 〇 / Δ / 13: 00 to 2020 / 〇 / Δ / 18:00" held in the aggregated information 401. , The analysis result associated with the analysis area 301a and the analysis area 301c, which are the target analysis areas, is selected. That is, the selection unit 205 is the analysis result corresponding to the imaging period of “2020 / 〇 / Δ / 13: 00 to 2020 / 〇 / Δ / 13: 59” associated with the analysis region ID 404 “a” of the analysis region 301a. Select 406. Similarly, the selection unit 205 analyzes the imaging period of “2020 / 〇 / Δ / 17: 00 to 2020 / 〇 / Δ / 18:00” associated with the analysis region ID 404 “c” of the analysis region 301c. Select result 406. As described above, the selection unit 205 in the present embodiment selects at least one analysis result as the target analysis result according to the position of the designated area and the position of the analysis area among the analysis results stored in the aggregated information 401. do.

続いて、図７を参照して、選択部２０５により対象解析結果として選択された少なくとも１つの解析結果に関する情報を含む表示ウィンドウが生成部２０６により生成される処理について説明する。図７に示す表示ウィンドウ７００は、生成部２０６により生成され、表示制御部２０７によりディスプレイ１３０に表示される情報である。本実施形態における生成部２０５は、撮像装置１１０に撮像された動画像のうち解析結果に対応する動画像の撮像期間を示す指標が含まれる表示ウィンドウ７００を生成する。具体的には、生成部２０６は、カメラＩＤ４０１が“ａａａ”の撮像装置１１０について、時間軸に対応する図形であるタイムライン７０１上に、解析結果が得られた動画像の撮像期間を示す指標７０２～７０４を描画する。このとき、生成部２０５は、選択部２０５により対象解析結果として選択された解析結果に対応する撮像期間である“２０２０／〇／△／１３：００～２０２０／〇／△／１３：５９”、“２０２０／〇／△／１７：００～２０２０／〇／△／１８：００”それぞれの撮像期間を示す指標７０２および指標７０４を他の撮像期間と識別可能な表示態様とする。すなわち生成部２０５は、対象解析結果に対応する撮像期間を示す指標７０２、７０４の表示態様と、対象解析結果ではない解析結果に対応する撮像期間を示す指標７０３の表示態様とを異なるよう表示ウィンドウ７００を生成する。図７に示す例では、矩形で示される指標７０３の色に比べて、同じく矩形で示される指標７０２および指標７０４の色が濃くなっている。なお対象解析結果を示す指標７０２、指標７０４は同一色にしているがこれに限らない。例えば、指定領域と解析領域との重複領域のサイズに応じて、タイムライン上に描画される対象解析結果に対応する指標の表示態様を異ならせてもよい。具体的には、指定領域と解析領域とのサイズが大きいほど、当該解析領域において得られた解析結果であって対象解析結果として選択された解析結果を示す指標の色の濃度を濃くする。一方、指定領域と解析領域とのサイズが小さいほど、当該解析領域において得られた解析結果であって対象解析結果として選択された解析結果を示す指標の色の濃度を薄くする。以上説明したように生成部２０６は、対象解析結果として選択された少なくとも１つの解析結果に関する情報として、表示ウィンドウ７００を生成し、表示制御部２０７は、生成部２０６により生成された表示ウィンドウ７００をディスプレイ１３０に表示させる。 Subsequently, with reference to FIG. 7, a process in which a display window containing information about at least one analysis result selected as the target analysis result by the selection unit 205 is generated by the generation unit 206 will be described. The display window 700 shown in FIG. 7 is information generated by the generation unit 206 and displayed on the display 130 by the display control unit 207. The generation unit 205 in the present embodiment generates a display window 700 including an index indicating the imaging period of the moving image corresponding to the analysis result among the moving images captured by the imaging device 110. Specifically, the generation unit 206 is an index indicating the imaging period of the moving image for which the analysis result is obtained on the timeline 701, which is a figure corresponding to the time axis, for the imaging device 110 whose camera ID 401 is “aaa”. 702 to 704 are drawn. At this time, the generation unit 205 has an imaging period of "2020 / 〇 / Δ / 13: 00 to 2020 / 〇 / Δ / 13: 59", which is an imaging period corresponding to the analysis result selected as the target analysis result by the selection unit 205. "2020 / 〇 / Δ / 17:00 to 2020 / 〇 / Δ / 18:00" The index 702 and the index 704 indicating the respective imaging periods are set as display modes that can be distinguished from other imaging periods. That is, the generation unit 205 displays the display window so that the display mode of the indexes 702 and 704 indicating the imaging period corresponding to the target analysis result and the display mode of the index 703 indicating the imaging period corresponding to the analysis result that is not the target analysis result are different. Generate 700. In the example shown in FIG. 7, the colors of the index 702 and the index 704, which are also indicated by the rectangle, are darker than the color of the index 703 indicated by the rectangle. The indicators 702 and 704, which indicate the target analysis results, have the same color, but are not limited to this. For example, the display mode of the index corresponding to the target analysis result drawn on the timeline may be different depending on the size of the overlapping area between the designated area and the analysis area. Specifically, the larger the size of the designated area and the analysis area, the darker the color density of the index indicating the analysis result obtained in the analysis area and selected as the target analysis result. On the other hand, the smaller the size of the designated area and the analysis area, the thinner the color density of the index indicating the analysis result obtained in the analysis area and selected as the target analysis result. As described above, the generation unit 206 generates the display window 700 as information regarding at least one analysis result selected as the target analysis result, and the display control unit 207 generates the display window 700 generated by the generation unit 206. It is displayed on the display 130.

なお、本実施形態における表示制御部２０７は、対象解析結果として選択された少なくとも１つの解析結果に関する情報として、図７に示すタイムライン７０１を含む表示ウィンドウ７００を表示させたが、これに限らない。例えば、表示制御部２０７は、対象解析結果として選択された少なくとも１つの解析結果に関する情報として、対象解析結果が得られた撮像画像をディスプレイ１３０に表示させてもよい。また、表示制御部２０７は、対象解析結果として選択された少なくとも１つの解析結果に関する情報として、対象解析結果に対応する対象解析領域を表示させるようにしてもよい。この場合、表示制御部２０７は、例えば、図３（ａ）および図３（ｃ）に示すように、解析領域３０１ａが重畳された撮像画像３００ａや、解析領域３０１ｃが重畳された撮像画像３００ｃをディスプレイ１３０に表示させるようにしてもよい。 The display control unit 207 in the present embodiment displays the display window 700 including the timeline 701 shown in FIG. 7 as information regarding at least one analysis result selected as the target analysis result, but the present invention is not limited to this. .. For example, the display control unit 207 may display the captured image from which the target analysis result is obtained on the display 130 as information regarding at least one analysis result selected as the target analysis result. Further, the display control unit 207 may display the target analysis area corresponding to the target analysis result as information regarding at least one analysis result selected as the target analysis result. In this case, for example, as shown in FIGS. 3A and 3C, the display control unit 207 displays the captured image 300a on which the analysis region 301a is superimposed and the captured image 300c on which the analysis region 301c is superimposed. It may be displayed on the display 130.

なお本実施形態における選択部２０５は、複数の解析結果から対象解析結果を選択するにあたって、指定した指定領域内に所定数以上の人物が検出されている解析結果を該当するデータとして抽出してもよい。この場合、所定数以上の人物が検出された解析結果が得られた撮像画像の撮像期間を示す指標が識別可能な表示ウィンドウ７００が生成部２０６により生成され、表示制御部２０７によりディスプレイ１３０に表示されることになる。 In selecting the target analysis result from a plurality of analysis results, the selection unit 205 in the present embodiment may extract the analysis result in which a predetermined number or more of persons are detected in the designated designated area as the corresponding data. good. In this case, the generation unit 206 generates a display window 700 in which the index indicating the imaging period of the captured image obtained from the analysis result in which a predetermined number or more of people are detected can be identified, and the display control unit 207 displays the display window 700 on the display 130. Will be done.

次に、図８に示すフローを参照して本実施形態における情報処理装置１００による情報処理について説明する。なお図８（ａ）に示すフローの処理を実行することで、撮像装置１１０に撮像された撮像画像に対し所定の解析処理が実行され、当該所定の解析処理の結果を蓄積することができる。また、図８（ｂ）に示すフローの処理を実行することで、蓄積された複数の解析結果から所定の解析結果を選択するとともに、選択された解析結果に関する情報を表示させることができる。なお、図８に示すフローの処理は、例えば、ユーザーによる指示に従って、開始又は終了するものとする。なお、図８に示すフローチャートの処理は、例えば情報処理装置１００のＲＯＭ１０２０に格納されたコンピュータプログラムを情報処理装置１１０のＣＰＵ１０００が実行して実現される図２に示す機能ブロックにより実行される。 Next, information processing by the information processing apparatus 100 in the present embodiment will be described with reference to the flow shown in FIG. By executing the flow process shown in FIG. 8A, a predetermined analysis process is executed on the captured image captured by the image pickup apparatus 110, and the result of the predetermined analysis process can be accumulated. Further, by executing the flow processing shown in FIG. 8B, a predetermined analysis result can be selected from the accumulated analysis results, and information about the selected analysis result can be displayed. The flow processing shown in FIG. 8 shall be started or ended according to, for example, an instruction by the user. The processing of the flowchart shown in FIG. 8 is executed by, for example, the functional block shown in FIG. 2 realized by executing the computer program stored in the ROM 1020 of the information processing apparatus 100 by the CPU 1000 of the information processing apparatus 110.

ここで図８（ａ）に示すフローの処理について説明する。なお、図８（ａ）に示すフローの処理に先立って、撮像画像上の解析領域の設定がされているものとする。Ｓ８０１にて、取得部２００は、撮像装置１１０に撮像された動画像を構成するフレームの撮像画像を処理対象の画像として取得する。次に、Ｓ８０２にて、画像解析部２０４は、撮像画像において設定された解析領域の位置情報を取得する。例えば、撮像期間に応じて異なる解析領域が設定されている場合を想定する。具体的には、第１撮像期間に撮像された撮像画像に対して第１解析領域の設定がされており、第１撮像期間と異なる第２撮像期間に撮像された撮像画像に対して第２解析領域の設定がされているものとする。このとき、Ｓ８０２にて、画像解析部２０４は、Ｓ８０１で取得された現在処理対象とする撮像画像の撮像日時に基づき、解析領域の設定がなされた撮像期間のいずれに該当するかを判定する。そして、画像解析部２０４は、例えば、処理対象として取得した撮像画像が第１撮像期間に該当すると判定した場合、第１解析領域の位置情報を取得し、当該撮像画像が第２撮像期間に該当すると判定した場合、第２解析領域の位置情報を取得する。 Here, the process of the flow shown in FIG. 8A will be described. It is assumed that the analysis area on the captured image is set prior to the flow processing shown in FIG. 8 (a). In S801, the acquisition unit 200 acquires the captured image of the frame constituting the moving image captured by the image pickup device 110 as the image to be processed. Next, in S802, the image analysis unit 204 acquires the position information of the analysis region set in the captured image. For example, assume that different analysis regions are set according to the imaging period. Specifically, the first analysis region is set for the captured image captured in the first imaging period, and the second image captured in the second imaging period different from the first imaging period is second. It is assumed that the analysis area has been set. At this time, in S802, the image analysis unit 204 determines which of the imaging periods in which the analysis area is set corresponds to, based on the imaging date and time of the captured image to be processed at present acquired in S801. Then, for example, when the image analysis unit 204 determines that the captured image acquired as the processing target corresponds to the first imaging period, the image analysis unit 204 acquires the position information of the first analysis region, and the captured image corresponds to the second imaging period. If so, the position information of the second analysis area is acquired.

次に、Ｓ８０３にて、画像解析部２０４は、現在処理対象とする撮像画像において、Ｓ８０２にて取得した情報に基づく解析領域に対して、所定の解析処理を実行する。なお、本実施形態において、撮像画像上の解析領域に対する所定の解析処理として、当該解析領域に対して計数処理を実行するものとする。次に、Ｓ８０４にて、記録部２０１は、Ｓ８０３にて実行された所定の解析処理の解析結果を記録する。具体的には、図４を参照して説明したように、本実施形態における記録部２０１は、解析結果を記録する集計情報において、次の各情報を関連付けて保持する。すなわち撮像画像を撮像した撮像装置１１０を識別するカメラＩＤ４０１、当該撮像画像を識別するフレーム番号４０２、当該撮像画像の撮像日時、当該撮像画像に設定された解析領域の解析領域ＩＤ４０４、当該解析領域の位置情報４０５、当該解析領域に対する所定の解析処理により得られた解析結果４０６とが関連付けられて保持される。次に、Ｓ８０５にて、図８（ａ）に示すフローの処理の終了指示がある場合（Ｓ８０５にてＹｅｓ）、図８（ａ）に示すフローの処理を終了する。一方、Ｓ８０５にて、処理の終了指示がある場合（Ｓ８０５にてＮｏ）、Ｓ８０１へ遷移し、取得部２００は、次のフレームの撮像画像を取得する。 Next, in S803, the image analysis unit 204 executes a predetermined analysis process on the analysis region based on the information acquired in S802 in the captured image currently to be processed. In the present embodiment, as a predetermined analysis process for the analysis area on the captured image, the counting process is executed for the analysis area. Next, in S804, the recording unit 201 records the analysis result of the predetermined analysis process executed in S803. Specifically, as described with reference to FIG. 4, the recording unit 201 in the present embodiment associates and holds the following information in the aggregated information for recording the analysis result. That is, the camera ID 401 that identifies the image pickup device 110 that captured the captured image, the frame number 402 that identifies the captured image, the imaging date and time of the captured image, the analysis area ID 404 of the analysis area set for the captured image, and the analysis area. The position information 405 and the analysis result 406 obtained by a predetermined analysis process for the analysis area are associated and held. Next, when there is an instruction to end the flow processing shown in FIG. 8A in S805 (Yes in S805), the flow processing shown in FIG. 8A is terminated. On the other hand, if there is an instruction to end the process in S805 (No in S805), the process transitions to S801, and the acquisition unit 200 acquires the captured image of the next frame.

次に、図８（ｂ）に示すフローの処理について説明する。まず、Ｓ８８１にて、操作受付部２０２は、所定の画像においてユーザー操作に従って指定された指定領域の位置の情報（位置情報）を取得する。このとき、例えば、表示制御部２０７は、図５に示す所定の画像５００をディスプレイ１３０に表示させ、操作受付部２０２は、表示された所定の画像５００において指定された指定領域５０１の位置情報を取得する。次に、Ｓ８８２にて、選択部２０５は、所定の画像において指定された指定領域の位置と、解析領域の位置とに基づき、記録部２０１に記録される複数の解析結果から対象解析結果として少なくとも１つの解析結果を選択する。次に、Ｓ８８３にて、生成部２０６は、Ｓ８８２にて対象解析結果として選択された少なくとも１つの解析結果に関する情報を含む表示ウィンドウを生成する。本実施形態における生成部２０６は、例えば、図７に示すように、対象解析結果が得られた撮像画像の撮像期間を識別可能なように、当該撮像期間を示す指標を含む表示ウィンドウ７００を生成する。次に、Ｓ８８４にて、表示制御部２０７は、生成部２０６により生成された表示ウィンドウをディスプレイ１３０に表示させる。例えば、表示制御部２０７は、図７に示す表示ウィンドウ７００をディスプレイ１３０に表示させる。 Next, the flow processing shown in FIG. 8B will be described. First, in S881, the operation reception unit 202 acquires information (position information) of the position of the designated area designated according to the user operation in the predetermined image. At this time, for example, the display control unit 207 displays the predetermined image 500 shown in FIG. 5 on the display 130, and the operation reception unit 202 displays the position information of the designated area 501 designated in the displayed predetermined image 500. get. Next, in S882, the selection unit 205 uses at least the target analysis result from a plurality of analysis results recorded in the recording unit 201 based on the position of the designated area designated in the predetermined image and the position of the analysis area. Select one analysis result. Next, in S883, the generation unit 206 generates a display window containing information about at least one analysis result selected as the target analysis result in S882. For example, as shown in FIG. 7, the generation unit 206 in the present embodiment generates a display window 700 including an index indicating the imaging period so that the imaging period of the captured image from which the target analysis result is obtained can be identified. do. Next, in S884, the display control unit 207 causes the display 130 to display the display window generated by the generation unit 206. For example, the display control unit 207 causes the display 130 to display the display window 700 shown in FIG. 7.

以上説明したように、本実施形態における情報処理装置１００は、複数の撮像画像について、当該撮像画像に設定された解析領域と、当該解析領域における所定の解析処理の解析結果とを関連付けて保持する。そして、所定の画像においてユーザー操作により指定された指定領域の位置と、撮像画像上の解析領域の位置とに基づき、保持された複数の解析結果のうち、少なくとも１つの解析結果を選択する。このようにすることで、蓄積された解析結果から所望の解析結果を容易に選択できるようにすることができる。 As described above, the information processing apparatus 100 in the present embodiment holds a plurality of captured images in association with the analysis region set in the captured image and the analysis result of the predetermined analysis process in the analysis region. .. Then, at least one analysis result is selected from the plurality of retained analysis results based on the position of the designated area designated by the user operation in the predetermined image and the position of the analysis area on the captured image. By doing so, it is possible to easily select a desired analysis result from the accumulated analysis results.

（変形例）
ここで、図９を参照して、図７に示す表示ウィンドウ７００の変形例について説明する。なお、上述の各実施形態と異なる部分を主に説明し、上述の各実施形態と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。図９に示す表示ウィンドウ９００ａには、図７に示す表示ウィンドウ７００と同様に、対象解析結果として選択部２０５に選択された解析結果が得られた動画像の撮像期間を示す指標７０２、７０４がタイムライン７０１上において識別可能に表示される。また図９に示す例では、ユーザーがカーソル９０１を操作しタイムライン７０１上の任意の位置を選択することで、選択された位置に対応するタイムライン７０１上の時刻に最も近い撮像日時の撮像画像を表示させる。例えば、１７：３０の時刻に対応する位置がカーソル９０１で選択された場合、表示制御部２０７は、当該時刻に最も近い撮像日時の撮像画像を含むポップアップ９０２をディスプレイ１３０に表示させる。またここで、ポップアップ９０２において表示される撮像画像には、指定された指定領域５０１、設定された解析領域３０１ｃ、解析領域３０１にて検出された人物の数を示す情報９０３、解析領域３０１ｃにおいて検出された人物を示す枠、が重畳される。ここで、ポップアップ９０２において表示された解析結果がユーザーの意図する解析領域から得られたものと異なっていた場合、ユーザーは、除外ボタン９０４を押下する。このとき、選択部２０５は、解析領域３０１ｃに対応する解析結果を対象解析結果から除外する。そして生成部２０６は、図９（ｂ）に示すように、解析領域３０１ｃに対応する解析結果が得られた撮像期間“２０２０／〇／△／１７：００～２０２０／〇／△／１８：００”の指標７０４の表示態様を、指標７０３の表示態様と同一にした表示ウィンドウ９００ｂを生成する。生成部２０６により生成された表示ウィンドウ９００ｂは、表示制御部２０７によりディスプレイ１３０に表示される。このように表示制御を行うことで、一度確認をした想定外の解析結果を表示から除外することが可能になる。 (Modification example)
Here, a modified example of the display window 700 shown in FIG. 7 will be described with reference to FIG. 9. It should be noted that the parts different from each of the above-described embodiments will be mainly described, and the same or equivalent components and processes as those of each of the above-described embodiments are designated by the same reference numerals, and duplicated description will be omitted. Similar to the display window 700 shown in FIG. 7, the display window 900a shown in FIG. 9 has indicators 702 and 704 indicating the imaging period of the moving image obtained by the analysis result selected by the selection unit 205 as the target analysis result. Displayed identifiable on the timeline 701. Further, in the example shown in FIG. 9, the user operates the cursor 901 to select an arbitrary position on the timeline 701, so that the captured image of the imaging date and time closest to the time on the timeline 701 corresponding to the selected position is captured. Is displayed. For example, when the position corresponding to the time of 17:30 is selected by the cursor 901, the display control unit 207 causes the display 130 to display a pop-up 902 including the captured image of the imaging date and time closest to the time. Further, in the captured image displayed in the pop-up 902, the designated designated area 501, the set analysis area 301c, the information 903 indicating the number of persons detected in the analysis area 301, and the analysis area 301c are detected. A frame showing the person who was made is superimposed. Here, if the analysis result displayed in the pop-up 902 is different from that obtained from the analysis area intended by the user, the user presses the exclusion button 904. At this time, the selection unit 205 excludes the analysis result corresponding to the analysis region 301c from the target analysis result. Then, as shown in FIG. 9B, the generation unit 206 has an imaging period “2020 / 〇 / Δ / 17: 00 to 2020 / 〇 / Δ / 18:00” in which the analysis result corresponding to the analysis region 301c is obtained. A display window 900b is generated in which the display mode of the index 704 is the same as the display mode of the index 703. The display window 900b generated by the generation unit 206 is displayed on the display 130 by the display control unit 207. By controlling the display in this way, it is possible to exclude unexpected analysis results once confirmed from the display.

（その他の実施形態）
次に図１０を参照して、各実施形態の各機能を実現するための情報処理装置１００のハードウェア構成を説明する。なお、以降の説明において情報処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。 (Other embodiments)
Next, with reference to FIG. 10, the hardware configuration of the information processing apparatus 100 for realizing each function of each embodiment will be described. Although the hardware configuration of the information processing device 100 will be described in the following description, it is assumed that the recording device 120 and the image pickup device 110 are also realized by the same hardware configuration.

本実施形態における情報処理装置１００は、ＣＰＵ１０００と、ＲＡＭ１０１０と、ＲＯＭ１０２０、ＨＤＤ１０３０と、Ｉ／Ｆ１０４０と、を有している。 The information processing apparatus 100 in the present embodiment includes a CPU 1000, a RAM 1010, a ROM 1020, an HDD 1030, and an I / F 1040.

ＣＰＵ１０００は情報処理装置１００を統括制御する中央処理装置である。ＲＡＭ１０１０は、ＣＰＵ１０００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１０１０は、ＣＰＵ１０００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１０１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。 The CPU 1000 is a central processing unit that controls the information processing device 100 in an integrated manner. The RAM 1010 temporarily stores a computer program executed by the CPU 1000. The RAM 1010 also provides a work area used by the CPU 1000 to execute processing. Further, the RAM 1010 functions as, for example, a frame memory or a buffer memory.

ＲＯＭ１０２０は、ＣＰＵ１０００が情報処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ１０３０は、画像データ等を記録する記憶装置である。 The ROM 1020 stores a program or the like for the CPU 1000 to control the information processing apparatus 100. The HDD 1030 is a storage device for recording image data and the like.

Ｉ／Ｆ１０１０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。 The I / F 1010 communicates with an external device via the network 140 according to TCP / IP, HTTP, or the like.

なお、上述した各実施形態の説明では、ＣＰＵ１０００が処理を実行する例について説明するが、ＣＰＵ１０００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ１０２０からプログラムコードを読み出してＲＡＭ１３１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。 In the description of each of the above-described embodiments, an example in which the CPU 1000 executes the processing will be described, but at least a part of the processing of the CPU 1000 may be performed by dedicated hardware. For example, the process of displaying a GUI (GRAPHICAL USER INTERDEFACE) or image data on the display 130 may be executed by a GPU (GRAPHICS PROCESSING UNIT). Further, the process of reading the program code from the ROM 1020 and expanding it to the RAM 1310 may be executed by a DMA (Direct Memory Access) that functions as a transfer device.

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、情報処理装置１００の各部は、図１０に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。 The present invention can also be realized by a process in which one or more processors read and execute a program that realizes one or more functions of the above-described embodiment. The program may be supplied to a system or device having a processor via a network or storage medium. The present invention can also be realized by a circuit (for example, an ASIC) that realizes one or more functions of the above-described embodiment. Further, each part of the information processing apparatus 100 may be realized by the hardware shown in FIG. 10 or by software.

なお、上述した各実施形態に係る情報処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。 In addition, another device may have one or more functions of the information processing device 100 according to each of the above-described embodiments. For example, the image pickup apparatus 110 may have one or more functions of the information processing apparatus 100 according to each embodiment. It should be noted that each of the above-described embodiments may be combined, and for example, the above-mentioned embodiments may be arbitrarily combined.

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。 Although the present invention has been described above with the embodiments, the above embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention is limitedly interpreted by these. It's not a thing. That is, the present invention can be implemented in various forms within a range that does not deviate from the technical idea or its main features. For example, a combination of the respective embodiments is also included in the disclosure contents of the present specification.

１００ 情報処理装置
２００ 取得部
２０１ 記録部
２０２ 操作受付部
２０３ 設定部
２０４ 画像解析部
２０５ 選択部
２０６ 生成部
２０７ 表示制御部 100 Information processing device 200 Acquisition unit 201 Recording unit 202 Operation reception unit 203 Setting unit 204 Image analysis unit 205 Selection unit 206 Generation unit 207 Display control unit

Claims (12)

撮像手段に撮像された撮像画像において所定の解析処理に用いられる領域である解析領域を設定する設定手段と、
前記撮像画像について、当該撮像画像上に前記設定手段に設定された解析領域と、当該解析領域における前記所定の解析処理の結果を示す解析結果とを関連付けて保持する保持手段と、
前記保持手段により保持される複数の解析結果から少なくとも１つの解析結果を選択するために用いられる情報であって、所定の画像においてユーザー操作により指定された位置の情報を受け付ける受付手段と、
前記ユーザー操作に基づく前記所定の画像上の位置と、前記解析領域の撮像画像上の位置とに基づき、前記保持手段に保持される複数の解析結果のうち、少なくとも１つの解析結果を選択する選択手段と、
を有することを特徴とする情報処理装置。 A setting means for setting an analysis area, which is an area used for a predetermined analysis process in an image captured by the image pickup means, and a setting means.
With respect to the captured image, a holding means for holding the analysis region set in the setting means on the captured image and the analysis result indicating the result of the predetermined analysis process in the analysis region in association with each other.
Information used for selecting at least one analysis result from a plurality of analysis results held by the holding means, and a receiving means for receiving information at a position designated by a user operation in a predetermined image.
Selection to select at least one analysis result from a plurality of analysis results held by the holding means based on the position on the predetermined image based on the user operation and the position on the captured image of the analysis region. Means and
An information processing device characterized by having. 前記保持手段は、前記撮像手段に撮像された複数の撮像画像について、当該撮像画像上に設定された前記解析領域と、当該解析領域における前記所定の解析処理の結果を示す解析結果とを関連付けて保持することを特徴とする請求項１に記載の情報処理装置。 The holding means associates the analysis region set on the captured image with the analysis result showing the result of the predetermined analysis process in the analysis region for a plurality of captured images captured by the imaging means. The information processing apparatus according to claim 1, wherein the information processing apparatus is held. 前記受付手段により受け付けられるユーザー操作は、前記所定の画像上の指定領域の位置を指定する操作であり、
前記選択手段は、前記所定の画像上の前記指定領域の位置と、前記撮像画像上の前記解析領域の位置とに基づき、前記保持手段に保持される複数の解析結果のうち、少なくとも１つの解析結果を選択することを特徴とする請求項１または２に記載の情報処理装置。 The user operation accepted by the reception means is an operation of designating the position of the designated area on the predetermined image.
The selection means analyzes at least one of a plurality of analysis results held by the holding means based on the position of the designated region on the predetermined image and the position of the analysis region on the captured image. The information processing apparatus according to claim 1 or 2, wherein the result is selected. 前記選択手段は、前記撮像画像に設定された前記解析領域と前記指定領域との重複領域のサイズが所定の条件を満たす場合、当該解析領域を対象解析領域として選択し、前記保持手段に保持される複数の解析結果のうち、前記対象解析領域に関連付けて保持される解析結果を選択することを特徴とする請求項３に記載の情報処理装置。 When the size of the overlapping region between the analysis region and the designated region set in the captured image satisfies a predetermined condition, the selection means selects the analysis region as the target analysis region and holds the analysis region in the holding means. The information processing apparatus according to claim 3, wherein the analysis result held in association with the target analysis area is selected from the plurality of analysis results. 前記選択手段は、前記撮像画像に設定された前記解析領域と前記指定領域との前記重複領域のサイズが当該指定領域のサイズに対して所定割合以上である場合、当該解析領域を対象解析領域として選択することを特徴とする請求項４に記載の情報処理装置。 When the size of the overlapping region between the analysis region and the designated region set in the captured image is equal to or more than a predetermined ratio with respect to the size of the designated region, the selection means sets the analysis region as the target analysis region. The information processing apparatus according to claim 4, wherein the information processing apparatus is selected. 前記選択手段により選択された少なくとも１つの解析結果に関する情報を表示手段に表示させる表示制御手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 5, further comprising a display control means for displaying information on at least one analysis result selected by the selection means on the display means. 前記表示制御手段は、前記選択手段により選択された少なくとも１つの解析結果に関する情報として、当該少なくとも１つの解析結果が得られた前記撮像画像の撮像期間を示す指標を含む表示ウィンドウを前記表示手段に表示させることを特徴とする請求項６に記載の情報処理装置。 As information on at least one analysis result selected by the selection means, the display control means uses a display window including an index indicating an imaging period of the captured image obtained from the at least one analysis result as the display means. The information processing apparatus according to claim 6, wherein the information processing apparatus is displayed. 前記表示ウィンドウは、時間軸に対応する図形であるタイムラインを含み、
前記選択手段により選択された少なくとも１つの解析結果が得られた前記撮像画像の前記撮像期間に対応させて、当該撮像期間を示す指標が識別可能に前記タイムライン上に重畳されることを特徴とする請求項７に記載の情報処理装置。 The display window includes a timeline which is a figure corresponding to the time axis.
It is characterized in that an index indicating the imaging period is identifiablely superimposed on the timeline in correspondence with the imaging period of the captured image obtained by at least one analysis result selected by the selection means. The information processing apparatus according to claim 7. 前記所定の画像は、前記撮像手段に撮像された撮像画像であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 8, wherein the predetermined image is an image captured by the imaging means. 前記撮像画像に設定された前記解析領域において実行される前記所定の解析処理は、当該解析領域に含まれる物体を検出する処理に関することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。 The invention according to any one of claims 1 to 9, wherein the predetermined analysis process executed in the analysis area set in the captured image relates to a process for detecting an object included in the analysis area. Information processing equipment. 撮像手段に撮像された撮像画像において所定の解析処理に用いられる領域である解析領域を設定する設定工程と、
前記撮像画像について、当該撮像画像上に前記設定工程に設定された解析領域と、当該解析領域における前記所定の解析処理の結果を示す解析結果とを関連付けて保持する保持工程と、
前記保持工程において保持される複数の解析結果から少なくとも１つの解析結果を選択するために用いられる、所定の画像においてユーザー操作により指定された位置の情報を受け付ける受付工程と、
前記ユーザー操作に基づく前記所定の画像上の位置と、前記解析領域の画像上の位置とに基づき、前記保持工程において保持される複数の解析結果のうち、少なくとも１つの解析結果を選択する選択工程と、
を有することを特徴とする情報処理方法。 A setting step of setting an analysis area, which is an area used for a predetermined analysis process in an image captured by an image pickup means, and a setting step.
With respect to the captured image, a holding step of associating and holding an analysis region set in the setting step on the captured image and an analysis result showing the result of the predetermined analysis process in the analysis region.
A reception step for receiving information on a position designated by a user operation in a predetermined image, which is used to select at least one analysis result from a plurality of analysis results held in the holding step.
A selection step of selecting at least one analysis result from a plurality of analysis results held in the holding step based on the position on the predetermined image based on the user operation and the position on the image of the analysis region. When,
An information processing method characterized by having. コンピュータを、請求項１乃至１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
A program for making a computer function as each means of the information processing apparatus according to any one of claims 1 to 10.

Images