JP2022064719A - Information processor, information processing system, and information processing program - Google Patents

Information processor, information processing system, and information processing program Download PDF

Info

Publication number
JP2022064719A
JP2022064719A JP2020173514A JP2020173514A JP2022064719A JP 2022064719 A JP2022064719 A JP 2022064719A JP 2020173514 A JP2020173514 A JP 2020173514A JP 2020173514 A JP2020173514 A JP 2020173514A JP 2022064719 A JP2022064719 A JP 2022064719A
Authority
JP
Japan
Prior art keywords
data
target
frame images
image
identification data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020173514A
Other languages
Japanese (ja)
Inventor
逸斯 呉
Yisi Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Client Computing Ltd
Original Assignee
Fujitsu Client Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Client Computing Ltd filed Critical Fujitsu Client Computing Ltd
Priority to JP2020173514A priority Critical patent/JP2022064719A/en
Publication of JP2022064719A publication Critical patent/JP2022064719A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To reduce the load of input and output of data between an information processor and an object detection device.SOLUTION: An information processor of a first embodiment of the disclosure comprises: a data adding section that acquires a plurality of frame images from an image output device, adds identification data for identifying each of the plurality of frame images to the plurality of acquired frame images, and outputs the plurality of frame images to which the identification data is added to an object detection device which outputs position data indicating a position of the detection object in an object image with the identification data of the object image when the object image in which the detection object is captured is included in the plurality of frame images; and an output section that acquires the position data and the identification data from the object detection device, and outputs the object image in a mode where the position of the detection object can be identified on the basis of the acquired position data and identification data and the plurality of frame images to which the identification data is added by the data adding section.SELECTED DRAWING: Figure 5

Description

本開示は、情報処理装置、情報処理システムおよび情報処理プログラムに関する。 The present disclosure relates to information processing devices, information processing systems and information processing programs.

従来、複数のプラットフォームを用いてフレーム画像から検出対象を検出する技術が知られている。このような技術では、たとえば、複数のプラットフォームのうちの少なくとも1つが、検出対象を検出する機能を有した対象検出装置として構成され、複数のプラットフォームのうちの他の1つが、フレーム画像を対象検出装置に受け渡すとともに当該対象検出装置から検出対象の検出の結果を受け取る機能を有した情報処理装置として構成される。 Conventionally, a technique for detecting a detection target from a frame image using a plurality of platforms has been known. In such a technique, for example, at least one of a plurality of platforms is configured as a target detection device having a function of detecting a detection target, and the other one of the plurality of platforms detects a frame image as a target. It is configured as an information processing device having a function of delivering to the device and receiving the detection result of the detection target from the target detection device.

特許第6754087号公報Japanese Patent No. 6754087

上記のような従来の技術では、対象検出装置による検出の結果が、データ量が大きいフレーム画像とともに情報処理装置に出力されることが通常であるため、情報処理装置と対象検出装置との間でのデータの入出力の負荷が増大しやすい。 In the conventional technique as described above, the result of detection by the target detection device is usually output to the information processing device together with the frame image having a large amount of data. Therefore, between the information processing device and the target detection device. The load of data input / output tends to increase.

そこで、本開示の課題の一つは、情報処理装置と対象検出装置との間でのデータの入出力の負荷を低減することが可能な情報処理装置、情報処理システムおよび情報処理プログラムを提供することである。 Therefore, one of the problems of the present disclosure is to provide an information processing device, an information processing system, and an information processing program capable of reducing the load of data input / output between the information processing device and the target detection device. That is.

本開示の第1態様にかかる情報処理装置は、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する対象検出装置に出力するデータ付加部と、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力部と、を備える。 The information processing apparatus according to the first aspect of the present disclosure acquires a plurality of frame images from an image output device, adds identification data for identifying each of the plurality of frame images to the acquired plurality of frame images, and adds identification data to the acquired plurality of frame images. When a plurality of frame images to which identification data is added include a target image in which the detection target is reflected in the plurality of frame images, the position data indicating the position in the target image of the detection target is the target image. A data addition unit to be output to the target detection device to be output together with the identification data, a plurality of position data and identification data acquired from the target detection device, and the identification data added by the data addition unit. A frame image and an output unit that outputs a target image in a manner that can identify the position of a detection target based on the frame image are provided.

本開示の第2態様にかかる情報処理システムは、複数のフレーム画像を出力する画像出力装置と、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを当該複数のフレーム画像の各々を識別するための識別データのうち対象画像に対応した識別データとともに出力する対象検出装置と、画像出力装置と対象検出装置との間に設けられる情報処理装置と、を備え、情報処理装置は、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を対象検出装置に出力するデータ付加部と、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力部と、を含む。 The information processing system according to the second aspect of the present disclosure includes an image output device that outputs a plurality of frame images and a target image to be detected when the plurality of frame images include a target image. A target detection device, an image output device, and a target detection device that output position data indicating a position in an image together with identification data corresponding to the target image among the identification data for identifying each of the plurality of frame images. An information processing device provided in between, the information processing device acquires a plurality of frame images from an image output device, and identification data for identifying each of the plurality of frame images in the acquired plurality of frame images. And the data addition unit that outputs a plurality of frame images to which the identification data is added to the target detection device, and the position data and identification data acquired from the target detection device, and the acquired position data and identification data and data addition. It includes a plurality of frame images to which identification data is added by the unit, and an output unit that outputs the target image in a mode in which the position of the detection target can be identified based on the frame image.

本開示の第3態様にかかる情報処理プログラムは、画像出力装置から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する対象検出装置に出力するデータ付加ステップと、対象検出装置から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加ステップにより識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する出力ステップと、をコンピュータに実行させる。 The information processing program according to the third aspect of the present disclosure acquires a plurality of frame images from an image output device, adds identification data for identifying each of the plurality of frame images to the acquired plurality of frame images, and adds identification data to the acquired plurality of frame images. When a plurality of frame images to which identification data is added include a target image in which the detection target is reflected in the plurality of frame images, the position data indicating the position in the target image of the detection target is the target image. A data addition step to be output to the target detection device to be output together with the identification data, a plurality of position data and identification data acquired from the target detection device, the acquired position data and identification data, and a plurality of identification data added by the data addition step. Based on the frame image, the computer is made to perform an output step of outputting the target image in an identifiable manner at the position of the detection target.

本開示の情報処理装置、情報処理システムおよび情報処理プログラムによれば、情報処理装置と対象検出装置との間でのデータの入出力の負荷を低減することができる。 According to the information processing apparatus, information processing system and information processing program of the present disclosure, it is possible to reduce the load of data input / output between the information processing apparatus and the target detection apparatus.

図1は、実施形態にかかる情報処理システムの構成を示した例示的かつ模式的なブロック図である。FIG. 1 is an exemplary and schematic block diagram showing a configuration of an information processing system according to an embodiment. 図2は、実施形態にかかる情報処理装置および対象検出装置の機能モジュール間で入出力されるデータの流れを示した例示的かつ模式的なブロック図である。FIG. 2 is an exemplary and schematic block diagram showing a flow of data input / output between the functional modules of the information processing device and the target detection device according to the embodiment. 図3は、実施形態にかかる識別データの構成を示した例示的かつ模式的な図である。FIG. 3 is an exemplary and schematic diagram showing the structure of the identification data according to the embodiment. 図4は、実施形態にかかる情報処理装置により出力される画像の一例を示した例示的かつ模式的な図である。FIG. 4 is an exemplary and schematic diagram showing an example of an image output by the information processing apparatus according to the embodiment. 図5は、実施形態にかかる情報処理システムが実行する一連の処理の流れを示した例示的かつ模式的なシーケンス図である。FIG. 5 is an exemplary and schematic sequence diagram showing a flow of a series of processes executed by the information processing system according to the embodiment. 図6は、実施形態にかかる情報処理装置を構成するコンピュータのハードウェア構成を示した例示的かつ模式的な図である。FIG. 6 is an exemplary and schematic diagram showing a hardware configuration of a computer constituting the information processing apparatus according to the embodiment.

以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. The configuration of the embodiment described below, and the actions and effects brought about by the configuration are merely examples, and are not limited to the contents described below.

図1は、実施形態にかかる情報処理システムの構成を示した例示的かつ模式的なブロック図である。 FIG. 1 is an exemplary and schematic block diagram showing a configuration of an information processing system according to an embodiment.

図1に示されるように、実施形態にかかる情報処理システムは、画像出力装置110と、情報処理装置120と、対象検出装置130と、を備えている。図1に示される例では、簡単化のため、画像出力装置110と情報処理装置120とが1対1の関係で設けられているとともに情報処理装置120と対象検出装置130とが1対1の関係で設けられているが、実施形態では、画像出力装置110と情報処理装置120とが多対1の関係で設けられていてもよいし、情報処理装置120と対象検出装置130とが1対多の関係で設けられていてもよい。 As shown in FIG. 1, the information processing system according to the embodiment includes an image output device 110, an information processing device 120, and a target detection device 130. In the example shown in FIG. 1, for simplification, the image output device 110 and the information processing device 120 are provided in a one-to-one relationship, and the information processing device 120 and the target detection device 130 are provided in a one-to-one relationship. Although they are provided in relation to each other, in the embodiment, the image output device 110 and the information processing device 120 may be provided in a many-to-one relationship, or the information processing device 120 and the target detection device 130 may be provided in a one-to-one relationship. It may be provided in many relationships.

画像出力装置110は、一連の映像データを構成する複数のフレーム画像を情報処理装置120に出力する。たとえば、画像出力装置110は、各種の施設のリアルタイムでの監視用に設けられる監視カメラ、またはテレビ番組などの映像コンテンツを記録する映像記録装置などとして構成される。 The image output device 110 outputs a plurality of frame images constituting a series of video data to the information processing device 120. For example, the image output device 110 is configured as a surveillance camera provided for real-time monitoring of various facilities, a video recording device for recording video content such as a television program, and the like.

情報処理装置120および対象検出装置130は、いわゆるエッジコンピュータとして構成される。情報処理装置120は、サブボードとして構成された対象検出装置130の処理の結果の解析などを実施するメインボードとして構成される。より具体的に、情報処理装置120は、画像出力装置110から複数のフレーム画像を取得し、当該複数のフレーム画像に検出対象が映っているか否かの検出を対象検出装置130に実行させる。そして、情報処理装置120は、検出対象の検出の結果を対象検出装置130から取得し、取得した情報を出力する。なお、実施形態では、情報処理装置120と対象検出装置130との間に、両者間の通信を中継するブリッジコントローラとしての中継装置が設けられうる。 The information processing device 120 and the target detection device 130 are configured as so-called edge computers. The information processing device 120 is configured as a main board for analyzing the processing results of the target detection device 130 configured as a sub board. More specifically, the information processing device 120 acquires a plurality of frame images from the image output device 110, and causes the target detection device 130 to detect whether or not the detection target is reflected in the plurality of frame images. Then, the information processing device 120 acquires the detection result of the detection target from the target detection device 130, and outputs the acquired information. In the embodiment, a relay device as a bridge controller for relaying communication between the information processing device 120 and the target detection device 130 may be provided.

情報処理装置120は、データ付加部121と、出力部122と、を備えており、対象検出装置130は、推論器131Aを含む検出処理部131を備えている。これらの機能モジュール間では、次の図2に示されるような流れでデータの入出力(送受信)が実行される。 The information processing device 120 includes a data addition unit 121 and an output unit 122, and the target detection device 130 includes a detection processing unit 131 including an inference device 131A. Data input / output (transmission / reception) is executed between these functional modules in the flow shown in FIG. 2 below.

図2は、実施形態にかかる情報処理装置120および対象検出装置130の機能モジュール間で入出力されるデータの流れを示した例示的かつ模式的なブロック図である。 FIG. 2 is an exemplary and schematic block diagram showing a flow of data input / output between the functional modules of the information processing device 120 and the target detection device 130 according to the embodiment.

図2に示されるように、情報処理装置120のデータ付加部121は、画像出力装置110から取得された複数のフレーム画像からなるデータ201に、当該複数のフレーム画像の各々を識別するための識別データを付加し、フレーム画像と識別データとの組み合わせからなるデータ202を生成する。識別データは、次の図3に示されるような構成を有している。 As shown in FIG. 2, the data addition unit 121 of the information processing apparatus 120 identifies each of the plurality of frame images in the data 201 composed of the plurality of frame images acquired from the image output device 110. Data is added to generate data 202 composed of a combination of a frame image and identification data. The identification data has a structure as shown in FIG. 3 below.

図3は、実施形態にかかる識別データの構成を示した例示的かつ模式的な図である。図3に示されるように、実施形態にかかる識別データは、フレーム画像の出力元の画像出力装置110を識別するためのデータである装置IDと、フレーム画像の映像データ内での時系列を示すデータであるタイムスタンプと、により構成される。 FIG. 3 is an exemplary and schematic diagram showing the structure of the identification data according to the embodiment. As shown in FIG. 3, the identification data according to the embodiment shows the device ID which is the data for identifying the image output device 110 which is the output source of the frame image, and the time series in the video data of the frame image. It is composed of a time stamp which is data.

図2に戻り、データ付加部121により生成されたデータ202は、対象検出装置130の検出処理部131に入力される。そして、検出処理部131は、推論器131Aを用いて、データ202に含まれるフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の対象画像内での位置を示す位置データを対象画像の識別データとともに出力する。すなわち、検出処理部131は、推論器131Aを用いて、識別データとフレーム画像との組み合わせからなるデータ202から、識別データと位置データとの組み合わせからなるデータ203を生成する。推論器131Aとは、たとえば、フレーム画像の入力に応じて当該フレーム画像に映っている検出対象の位置を示す位置データを出力するように機械学習により予めトレーニングされたニューラルネットワークである。 Returning to FIG. 2, the data 202 generated by the data addition unit 121 is input to the detection processing unit 131 of the target detection device 130. Then, the detection processing unit 131 uses the inference device 131A to indicate the position of the detection target in the target image when the frame image included in the data 202 includes the target image in which the detection target is reflected. The position data is output together with the identification data of the target image. That is, the detection processing unit 131 uses the inference device 131A to generate the data 203 consisting of the combination of the identification data and the position data from the data 202 consisting of the combination of the identification data and the frame image. The inference device 131A is, for example, a neural network pre-trained by machine learning to output position data indicating the position of a detection target reflected in the frame image in response to input of the frame image.

そして、検出処理部131により生成されたデータ203は、情報処理装置120の出力部122に入力される。なお、出力部122には、データ付加部121により生成されたデータ202も入力される。そして、出力部122は、検出処理部131により生成されたデータ203と、データ付加部121により生成されたデータ202と、に基づいて、位置データとフレーム画像との組み合わせからなるデータ204を生成する。すなわち、出力部122は、検出処理部131により生成されたデータ203と、データ付加部121により生成されたデータ202と、の識別データを比較し、同一の識別データが対応付けられた位置データおよびフレーム画像を関連付けて、位置データとフレーム画像との組み合わせからなるデータ204を生成する。 Then, the data 203 generated by the detection processing unit 131 is input to the output unit 122 of the information processing apparatus 120. The data 202 generated by the data addition unit 121 is also input to the output unit 122. Then, the output unit 122 generates a data 204 composed of a combination of position data and a frame image based on the data 203 generated by the detection processing unit 131 and the data 202 generated by the data addition unit 121. .. That is, the output unit 122 compares the identification data between the data 203 generated by the detection processing unit 131 and the data 202 generated by the data addition unit 121, and the position data and the position data to which the same identification data is associated are compared. The frame image is associated with each other to generate data 204 composed of a combination of position data and the frame image.

そして、出力部122は、位置データとフレーム画像との組み合わせからなるデータ204に基づいて、検出対象が映っている対象画像としてのフレームデータに、位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳された対象画像を出力する。これにより、実施形態では、次の図4に示されるような画像400がディスプレイ(不図示)に出力される。 Then, the output unit 122 superimposes a marker indicating the position indicated by the position data on the frame data as the target image in which the detection target is reflected, based on the data 204 composed of the combination of the position data and the frame image. The target image on which the marker is superimposed is output. As a result, in the embodiment, the image 400 as shown in FIG. 4 below is output to the display (not shown).

図4は、実施形態にかかる情報処理装置120により出力される画像の一例を示した例示的かつ模式的な図である。図4に示されるように、実施形態にかかる情報処理装置120は、たとえば対象検出装置130が検出対象として人401を検出した場合、人401を囲む枠402が上記のマーカとして重畳された画像400を出力しうる。なお、図4に示される画像400は、あくまで一例である。実施形態では、人401以外の物体が検出対象となる場合もある。また、実施形態では、1つの画像内に複数の検出対象が存在する場合、1つの画像に複数のマーカが重畳される場合がある。 FIG. 4 is an exemplary and schematic diagram showing an example of an image output by the information processing apparatus 120 according to the embodiment. As shown in FIG. 4, in the information processing apparatus 120 according to the embodiment, for example, when the target detection device 130 detects the person 401 as the detection target, the frame 402 surrounding the person 401 is superimposed as the above marker in the image 400. Can be output. The image 400 shown in FIG. 4 is merely an example. In the embodiment, an object other than the human 401 may be the detection target. Further, in the embodiment, when a plurality of detection targets are present in one image, a plurality of markers may be superimposed on one image.

以上の構成に基づき、実施形態にかかる情報処理システムは、次の図5に示されるような流れで一連の処理を実行する。 Based on the above configuration, the information processing system according to the embodiment executes a series of processes in the flow as shown in FIG. 5 below.

図5は、実施形態にかかる情報処理システムが実行する一連の処理の流れを示した例示的かつ模式的なシーケンス図である。 FIG. 5 is an exemplary and schematic sequence diagram showing a flow of a series of processes executed by the information processing system according to the embodiment.

図5に示されるように、実施形態では、まず、S501において、情報処理装置120のデータ付加部121は、画像出力装置110から複数のフレーム画像を取得する。 As shown in FIG. 5, in the embodiment, first, in S501, the data addition unit 121 of the information processing apparatus 120 acquires a plurality of frame images from the image output apparatus 110.

そして、S502において、データ付加部121は、S501で取得された複数のフレーム画像に、当該複数のフレーム画像の各々を識別するための前述した識別データを付加する。 Then, in S502, the data addition unit 121 adds the above-mentioned identification data for identifying each of the plurality of frame images to the plurality of frame images acquired in S501.

そして、S503において、データ付加部121は、識別データが付加されたフレーム画像を対象検出装置130に出力する。 Then, in S503, the data addition unit 121 outputs the frame image to which the identification data is added to the target detection device 130.

そして、S504において、対象検出装置130の検出処理部131は、S503でデータ付加部121から出力されたデータを取得し、推論器131Aを用いて、フレーム画像に映っている可能性がある検出対象の検出を実行する。 Then, in S504, the detection processing unit 131 of the target detection device 130 acquires the data output from the data addition unit 121 in S503, and uses the inference device 131A to detect the detection target that may be reflected in the frame image. Performs detection.

そして、S505において、検出処理部131は、S504での検出の結果に基づいて、検出対象の位置を示す位置データと、検出対象が映っている対象画像としてのフレーム画像の識別データと、を関連付けて情報処理装置120に出力する。 Then, in S505, the detection processing unit 131 associates the position data indicating the position of the detection target with the identification data of the frame image as the target image in which the detection target is reflected, based on the detection result in S504. Is output to the information processing apparatus 120.

そして、S506において、情報処理装置120の出力部122は、S505で検出処理部131から出力されたデータと、S502でデータ付加部121により生成されたデータと、を取得し、両者の識別データの一致性に基づいて、位置データとフレーム画像とを関連付ける。より具体的に、出力部122は、データ付加部121により識別データが付加された複数のフレーム画像から、検出処理部131から取得された識別データが付加されたフレーム画像を、検出対象が映っている対象画像として抽出する。そして、出力部122は、対象画像と当該対象画像内で検出対象が映っている位置を示す位置データとを関連付ける。 Then, in S506, the output unit 122 of the information processing apparatus 120 acquires the data output from the detection processing unit 131 in S505 and the data generated by the data addition unit 121 in S502, and identifies the data of both. Associate the position data with the frame image based on the consistency. More specifically, the output unit 122 displays a frame image to which the identification data acquired from the detection processing unit 131 is added from a plurality of frame images to which the identification data is added by the data addition unit 121. Extract as a target image. Then, the output unit 122 associates the target image with the position data indicating the position where the detection target is reflected in the target image.

そして、S507において、出力部122は、S506で関連付けられた位置データおよびフレーム画像に基づいて、対象画像として抽出されたフレーム画像に、位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳されたフレーム画像を出力する。そして、処理が終了する。 Then, in S507, the output unit 122 superimposes a marker indicating the position indicated by the position data on the frame image extracted as the target image based on the position data and the frame image associated with S506, and the marker causes the marker. Output the superimposed frame image. Then, the process ends.

以上説明したように、実施形態にかかる声掛けシステムは、画像出力装置110と、情報処理装置120と、対象検出装置130と、を備えている。画像出力装置110は、複数のフレーム画像を出力する。対象検出装置130は、複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に、当該検出対象の対象画像内での位置を示す位置データを、当該複数のフレーム画像の各々を識別するための識別データのうち対象画像に対応した識別データとともに出力する。 As described above, the voice-calling system according to the embodiment includes an image output device 110, an information processing device 120, and a target detection device 130. The image output device 110 outputs a plurality of frame images. When the target detection device 130 includes a target image in which the detection target is reflected in the plurality of frame images, the target detection device 130 obtains position data indicating the position in the target image of the detection target in each of the plurality of frame images. Of the identification data for identifying the image, it is output together with the identification data corresponding to the target image.

ここで、情報処理装置120は、データ付加部121と、出力部122と、を備えている。データ付加部121は、画像出力装置110から複数のフレーム画像を取得し、取得した複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、識別データが付加された複数のフレーム画像を対象検出装置130に出力する。出力部1122は、対象検出装置130から位置データおよび識別データを取得し、取得した位置データおよび識別データと、データ付加部121により識別データが付加された複数のフレーム画像と、に基づいて、対象画像を、検出対象の位置を識別可能な態様で出力する。 Here, the information processing apparatus 120 includes a data addition unit 121 and an output unit 122. The data addition unit 121 acquires a plurality of frame images from the image output device 110, adds identification data for identifying each of the plurality of frame images to the acquired plurality of frame images, and the identification data is added. A plurality of frame images are output to the target detection device 130. The output unit 1122 acquires position data and identification data from the target detection device 130, and is a target based on the acquired position data and identification data and a plurality of frame images to which identification data is added by the data addition unit 121. The image is output in a manner in which the position of the detection target can be identified.

上記のような構成によれば、対象検出装置130から情報処理装置120に出力されるデータがフレーム画像を含まずに位置データおよび識別データのみとなるので、情報処理装置120と対象検出装置130との間で入出力されるデータの量を低減することができる。これにより、情報処理装置120と対象検出装置130との間でのデータの入出力の負荷を低減することができる。 According to the above configuration, the data output from the target detection device 130 to the information processing device 120 is only the position data and the identification data without including the frame image. Therefore, the information processing device 120 and the target detection device 130 The amount of data input / output between can be reduced. This makes it possible to reduce the load of data input / output between the information processing device 120 and the target detection device 130.

また、実施形態において、複数のフレーム画像は、一連の映像データを構成している。そして、データ付加部121は、識別データとして、複数のフレーム画像の各々の映像データ内での時系列を示すデータを、複数のフレーム画像に付加する。このような構成によれば、時系列を示すデータを用いて識別データの付加を簡単に行うことができる。 Further, in the embodiment, the plurality of frame images constitute a series of video data. Then, the data addition unit 121 adds data indicating a time series in each video data of the plurality of frame images as identification data to the plurality of frame images. According to such a configuration, the identification data can be easily added by using the data indicating the time series.

さらに、実施形態において、データ付加部121は、画像出力装置110が複数存在する場合、識別データとして、画像出力装置121を識別するためのデータを、複数のフレーム画像に付加する。このような構成によれば、画像出力装置110の違いも考慮して識別データの付加を行うことができる。 Further, in the embodiment, when a plurality of image output devices 110 are present, the data addition unit 121 adds data for identifying the image output device 121 to the plurality of frame images as identification data. According to such a configuration, the identification data can be added in consideration of the difference between the image output devices 110.

なお、実施形態において、出力部122は、データ付加部121により識別データが付加された複数のフレーム画像から、対象検出装置130から取得した識別データが付加された対象画像を抽出し、抽出した対象画像に、対象検出装置130から取得した位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳された対象画像を出力する(図4参照)。このような構成によれば、対象検出装置130による検出の結果をユーザが視覚的に容易に識別可能な態様で提供することができる。 In the embodiment, the output unit 122 extracts the target image to which the identification data acquired from the target detection device 130 is added from the plurality of frame images to which the identification data is added by the data addition unit 121, and the extracted target. A marker indicating the position indicated by the position data acquired from the target detection device 130 is superimposed on the image, and the target image on which the marker is superimposed is output (see FIG. 4). According to such a configuration, the result of detection by the target detection device 130 can be provided in a manner that can be easily visually identified by the user.

最後に、実施形態にかかる情報処理装置120のハードウェア構成について説明する。実施形態にかかる情報処理装置120は、たとえば次の図6に示されるようなハードウェア構成を有するコンピュータ600として構成される。 Finally, the hardware configuration of the information processing apparatus 120 according to the embodiment will be described. The information processing apparatus 120 according to the embodiment is configured as, for example, a computer 600 having a hardware configuration as shown in FIG. 6 below.

図6は、第1~第3実施形態にかかる情報処理装置120を構成するコンピュータ600のハードウェア構成を示した例示的かつ模式的なブロック図である。 FIG. 6 is an exemplary and schematic block diagram showing the hardware configuration of the computer 600 constituting the information processing apparatus 120 according to the first to third embodiments.

図6に示されるように、コンピュータ600は、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェース(I/F)640と、通信インターフェース(I/F)650と、を備えている。これらのハードウェアは、バス660に接続されている。 As shown in FIG. 6, the computer 600 includes a processor 610, a memory 620, a storage 630, an input / output interface (I / F) 640, and a communication interface (I / F) 650. These hardware are connected to bus 660.

プロセッサ610は、たとえばCPU(Central Processing Unit)として構成され、コンピュータ600の各部の動作を統括的に制御する。 The processor 610 is configured as, for example, a CPU (Central Processing Unit), and controls the operation of each part of the computer 600 in an integrated manner.

メモリ620は、たとえばROM(Read Only Memory)およびRAM(Random Access Memory)を含み、プロセッサ610により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ610がプログラムを実行するための作業領域の提供などを実現する。 The memory 620 includes, for example, a ROM (Read Only Memory) and a RAM (Random Access Memory), which is a volatile or non-volatile storage of various data such as a program executed by the processor 610, and the processor 610 executes the program. To provide a work area for the purpose.

ストレージ630は、たとえばHDD(Hard Disk Drive)またはSSD(Solid State Drive)を含み、各種のデータを不揮発的に記憶する。 The storage 630 includes, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various data in a non-volatile manner.

入出力インターフェース640は、たとえばキーボードおよびマウス(いずれも不図示)のような入力装置からコンピュータ600へのデータの入力と、たとえばコンピュータ600からディスプレイおよびスピーカ(いずれも不図示)のような出力装置へのデータの出力と、を制御する。 The input / output interface 640 inputs data from an input device such as a keyboard and mouse (both not shown) to the computer 600, and from the computer 600 to an output device such as a display and a speaker (both not shown). Data output and control.

通信インターフェース650は、コンピュータ600が他の装置と通信を実行することを可能にする。 The communication interface 650 allows the computer 600 to perform communication with other devices.

実施形態において、実施形態にかかる情報処理装置120が有する図1に示される機能モジュール群は、プロセッサ610がメモリ620またはストレージ630などに記憶された情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働による機能モジュールとして実現される。ただし、実施形態では、図1に示される機能モジュール群のうち少なくとも一部が、専用のハードウェアのみによって実現されてもよい。 In the embodiment, the functional module group shown in FIG. 1 included in the information processing apparatus 120 according to the embodiment is hardware and software as a result of the processor 610 executing an information processing program stored in a memory 620, a storage 630, or the like. It is realized as a functional module in collaboration with. However, in the embodiment, at least a part of the functional module group shown in FIG. 1 may be realized only by dedicated hardware.

なお、上述した情報処理プログラムは、必ずしもメモリ620またはストレージ630に予め記憶されている必要はない。たとえば、上述した情報処理プログラムは、フレキシブルディスク(FD)のような各種の磁気ディスク、またはDVD(Digital Versatile Disk)のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。 The information processing program described above does not necessarily have to be stored in the memory 620 or the storage 630 in advance. For example, the information processing program described above is in a format that can be installed on a computer-readable recording medium such as various magnetic disks such as flexible disks (FD) or various optical disks such as DVD (Digital Versatile Disk). Alternatively, it may be provided as a computer program product recorded in an executable format.

また、上述した情報処理プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、上述した情報処理プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。 Further, the above-mentioned information processing program may be provided or distributed via a network such as the Internet. That is, the above-mentioned information processing program may be provided in a state of being stored on a computer connected to a network such as the Internet and accepting downloads via the network.

以上、本開示の実施形態を説明したが、上述した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上述した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments of the present disclosure have been described above, the above-described embodiments are presented as examples and are not intended to limit the scope of the invention. The novel embodiment described above can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

110 画像出力装置
120 情報処理装置
121 データ付加部
122 出力部
130 対象検出装置
110 Image output device 120 Information processing device 121 Data addition unit 122 Output unit 130 Target detection device

Claims (6)

画像出力装置から複数のフレーム画像を取得し、取得した前記複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、前記識別データが付加された前記複数のフレーム画像を、前記複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の前記対象画像内での位置を示す位置データを前記対象画像の前記識別データとともに出力する対象検出装置に出力するデータ付加部と、
前記対象検出装置から前記位置データおよび前記識別データを取得し、取得した前記位置データおよび前記識別データと、前記データ付加部により前記識別データが付加された前記複数のフレーム画像と、に基づいて、前記対象画像を、前記検出対象の位置を識別可能な態様で出力する出力部と、
を備える、情報処理装置。
A plurality of frame images are acquired from an image output device, identification data for identifying each of the plurality of frame images is added to the acquired plurality of frame images, and the plurality of frame images to which the identification data is added. When the plurality of frame images include a target image in which the detection target is reflected, a target for outputting position data indicating the position of the detection target in the target image together with the identification data of the target image. The data addition part to be output to the detection device and
Based on the position data and the identification data acquired from the target detection device, the acquired position data and the identification data, and the plurality of frame images to which the identification data is added by the data addition unit. An output unit that outputs the target image in a manner that can identify the position of the detection target, and
An information processing device equipped with.
前記データ付加部は、前記複数のフレーム画像が一連の映像データを構成する場合、前記識別データとして、前記複数のフレーム画像の各々の前記映像データ内での時系列を示すデータを、前記複数のフレーム画像に付加する、
請求項1に記載の情報処理装置。
When the plurality of frame images constitute a series of video data, the data addition unit may use the plurality of data indicating the time series of the plurality of frame images in the video data as the identification data. Add to the frame image,
The information processing apparatus according to claim 1.
前記データ付加部は、前記画像出力装置が複数存在する場合、前記識別データとして、さらに、前記画像出力装置を識別するためのデータを、前記複数のフレーム画像に付加する、
請求項2に記載の情報処理装置。
When a plurality of the image output devices are present, the data addition unit further adds data for identifying the image output device to the plurality of frame images as the identification data.
The information processing apparatus according to claim 2.
前記出力部は、前記データ付加部により前記識別データが付加された前記複数のフレーム画像から、前記対象検出装置から取得した前記識別データが付加された前記対象画像を抽出し、抽出した前記対象画像に、前記対象検出装置から取得した前記位置データで示される位置を指し示すマーカを重畳し、当該マーカが重畳された前記対象画像を出力する、
請求項1~3のうちいずれか1項に記載の情報処理装置。
The output unit extracts the target image to which the identification data acquired from the target detection device is added from the plurality of frame images to which the identification data is added by the data addition unit, and the extracted target image. A marker indicating a position indicated by the position data acquired from the target detection device is superimposed on the target image, and the superimposed target image is output.
The information processing apparatus according to any one of claims 1 to 3.
複数のフレーム画像を出力する画像出力装置と、
前記複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の前記対象画像内での位置を示す位置データを当該複数のフレーム画像の各々を識別するための識別データのうち前記対象画像に対応した前記識別データとともに出力する対象検出装置と、
前記画像出力装置と前記対象検出装置との間に設けられる情報処理装置と、
を備え、
前記情報処理装置は、
前記画像出力装置から複数のフレーム画像を取得し、取得した前記複数のフレーム画像に当該複数のフレーム画像の各々を識別するための前記識別データを付加し、前記識別データが付加された前記複数のフレーム画像を前記対象検出装置に出力するデータ付加部と、
前記対象検出装置から前記位置データおよび前記識別データを取得し、取得した前記位置データおよび前記識別データと、前記データ付加部により前記識別データが付加された前記複数のフレーム画像と、に基づいて、前記対象画像を、前記検出対象の位置を識別可能な態様で出力する出力部と、
を含む、
情報処理システム。
An image output device that outputs multiple frame images, and
Identification for identifying each of the plurality of frame images from the position data indicating the position of the detection target in the target image when the target image in which the detection target is reflected is included in the plurality of frame images. A target detection device that outputs data together with the identification data corresponding to the target image, and
An information processing device provided between the image output device and the target detection device,
Equipped with
The information processing device is
A plurality of frame images are acquired from the image output device, the identification data for identifying each of the plurality of frame images is added to the acquired plurality of frame images, and the plurality of frames to which the identification data is added. A data addition unit that outputs a frame image to the target detection device,
Based on the position data and the identification data acquired from the target detection device, the acquired position data and the identification data, and the plurality of frame images to which the identification data is added by the data addition unit. An output unit that outputs the target image in a manner that can identify the position of the detection target, and
including,
Information processing system.
画像出力装置から複数のフレーム画像を取得し、取得した前記複数のフレーム画像に当該複数のフレーム画像の各々を識別するための識別データを付加し、前記識別データが付加された前記複数のフレーム画像を、前記複数のフレーム画像に検出対象が映っている対象画像が含まれている場合に当該検出対象の前記対象画像内での位置を示す位置データを前記対象画像の前記識別データとともに出力する対象検出装置に出力するデータ付加ステップと、
前記対象検出装置から前記位置データおよび前記識別データを取得し、取得した前記位置データおよび前記識別データと、前記データ付加ステップにより前記識別データが付加された前記複数のフレーム画像と、に基づいて、前記対象画像を、前記検出対象の位置を識別可能な態様で出力する出力ステップと、
をコンピュータに実行させるための、情報処理プログラム。
A plurality of frame images are acquired from an image output device, identification data for identifying each of the plurality of frame images is added to the acquired plurality of frame images, and the plurality of frame images to which the identification data is added. When the plurality of frame images include a target image in which the detection target is reflected, a target for outputting position data indicating the position of the detection target in the target image together with the identification data of the target image. The data addition step to be output to the detector and
Based on the position data and the identification data acquired from the target detection device, the acquired position data and the identification data, and the plurality of frame images to which the identification data is added by the data addition step. An output step of outputting the target image in a mode in which the position of the detection target can be identified, and
An information processing program that allows a computer to execute.
JP2020173514A 2020-10-14 2020-10-14 Information processor, information processing system, and information processing program Pending JP2022064719A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020173514A JP2022064719A (en) 2020-10-14 2020-10-14 Information processor, information processing system, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020173514A JP2022064719A (en) 2020-10-14 2020-10-14 Information processor, information processing system, and information processing program

Publications (1)

Publication Number Publication Date
JP2022064719A true JP2022064719A (en) 2022-04-26

Family

ID=81385880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020173514A Pending JP2022064719A (en) 2020-10-14 2020-10-14 Information processor, information processing system, and information processing program

Country Status (1)

Country Link
JP (1) JP2022064719A (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006013765A1 (en) * 2004-08-03 2006-02-09 Matsushita Electric Industrial Co., Ltd. Person judging device and person search and tracking device
WO2014132537A1 (en) * 2013-03-01 2014-09-04 日本電気株式会社 Information processing device, data processing method therefor, and program
JP2017041022A (en) * 2015-08-18 2017-02-23 キヤノン株式会社 Information processor, information processing method and program
JP2019135618A (en) * 2018-02-05 2019-08-15 キヤノン株式会社 Information processing apparatus, system, method of controlling information processing apparatus, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006013765A1 (en) * 2004-08-03 2006-02-09 Matsushita Electric Industrial Co., Ltd. Person judging device and person search and tracking device
WO2014132537A1 (en) * 2013-03-01 2014-09-04 日本電気株式会社 Information processing device, data processing method therefor, and program
JP2017041022A (en) * 2015-08-18 2017-02-23 キヤノン株式会社 Information processor, information processing method and program
JP2019135618A (en) * 2018-02-05 2019-08-15 キヤノン株式会社 Information processing apparatus, system, method of controlling information processing apparatus, and program

Similar Documents

Publication Publication Date Title
US11106920B2 (en) People flow estimation device, display control device, people flow estimation method, and recording medium
US10368035B2 (en) Monitoring system, monitoring method, and monitoring program
US20200365255A1 (en) Medical information processing device, medical information processing method, and storage medium
US20190370992A1 (en) Image processing apparatus, information processing apparatus, information processing method, and recording medium
WO2019146538A1 (en) Image processing device, image processing method, and recording medium
US10896252B2 (en) Composite challenge task generation and deployment
JP2022064719A (en) Information processor, information processing system, and information processing program
US9811719B2 (en) Information processing apparatus and method, and non-transitory computer readable medium
US11039096B2 (en) Image processing device, image processing method and storage medium
JP2012185655A (en) Image processing system, image processing method and image processing program
US11521330B2 (en) Image processing apparatus, image processing method, and storage medium
CN114025234A (en) Video editing method and device, electronic equipment and storage medium
JP2018190132A (en) Computer program for image recognition, image recognition device and image recognition method
US20220261642A1 (en) Adversarial example detection system, method, and program
JP2007148894A (en) Crime prevention apparatus, crime prevention system, and crime prevention program
WO2023286292A1 (en) Information processing device, information processing method, and computer-readable medium
JP6603178B2 (en) Display control system, display control method, and display control program
US20240078699A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium
US20170068848A1 (en) Display control apparatus, display control method, and computer program product
US20230386210A1 (en) Processing device, processing method, and non-transitory storage medium
US20150154438A1 (en) Method for processing information, information processor, and computer program product
US20220164525A1 (en) Information processing apparatus, control method for same, and storage medium
JP7351571B2 (en) Image tracking device, image tracking method, and program
WO2021014873A1 (en) Monitoring device, monitoring method, and computer readable recording medium
JP7494130B2 (en) Information processing system, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220927