JP7374301B2

JP7374301B2 - Information processing device and information processing method

Info

Publication number: JP7374301B2
Application number: JP2022513707A
Authority: JP
Inventors: 紗紀高井; 和彦山田; 美里内藤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-04-06
Filing date: 2020-04-06
Publication date: 2023-11-06
Anticipated expiration: 2040-04-06
Also published as: JPWO2021205497A1; WO2021205497A1

Description

本開示は、個人のプライバシーに配慮したデータを生成して出力する情報処理装置および情報処理方法に関する。 The present disclosure relates to an information processing device and an information processing method that generate and output data that takes personal privacy into consideration.

近年、施設内に設けられたカメラで撮影した画像（以降、カメラ画像とする）に含まれる人物の属性や行動を分析することにより、施設内での人物動線や混雑状況の可視化を行うシステムや、人物の属性や行動等の個人の情報そのものを流通させ、第三者のサービス・システムでの活用を図るデータ流通ビジネスが広まっている。一方で、個人のプライバシー保護の観点より、カメラ画像のように人物に関する情報を活用する場合には、個人が特定されることがないように配慮したデータに加工する必要がある。 In recent years, a system has been developed that visualizes people's flow lines and crowding conditions within facilities by analyzing the attributes and behaviors of people included in images taken with cameras installed within facilities (hereinafter referred to as "camera images"). The data distribution business, which distributes personal information such as people's attributes and actions, and utilizes it in third-party services and systems, is becoming widespread. On the other hand, from the perspective of protecting individual privacy, when using information about people, such as camera images, it is necessary to process the data in a way that prevents individuals from being identified.

例えば、人物動線の分析システムとして、カメラ画像に含まれる移動体の滞留情報、又は通過情報といった動線情報を重畳した動線分析画像を生成する動線分析システムが知られている（特許文献１参照）。特許文献１では、カメラ画像から背景画像、動線情報を生成し、背景画像に対して動線情報を重畳することが開示されている。プライバシー保護のため、背景画像生成時には、カメラ画像に含まれる人物は排除された状態にしている。動線情報には、カメラ画像に含まれる人物の属性である性別、年齢、年代が紐づけられており、人物の属性や、通過量に対してユーザーが条件を指定することによって、条件に応じた動線情報を抽出することが可能である。 For example, as a system for analyzing human flow lines, a flow line analysis system is known that generates a flow line analysis image in which flow line information such as residence information or passing information of a moving object included in a camera image is superimposed (Patent Document (see 1). Patent Document 1 discloses that a background image and flow line information are generated from a camera image, and the flow line information is superimposed on the background image. To protect privacy, people included in the camera image are excluded when the background image is generated. The flow line information is linked to the attributes of the person included in the camera image, such as gender, age, and generation, and the user can specify conditions for the person's attributes and the amount of people passing through. It is possible to extract flow line information.

特開２０１７－１２３０２４号公報（第６－３５頁、第２図）JP 2017-123024 (pages 6-35, Figure 2)

しかしながら、上述した特許文献１に記載のシステムでは、カメラ画像に含まれる人物の人数が１人の場合でも動線情報が抽出されるので、抽出対象の条件が例えば「１００歳以上の男性」であり、そのシステムが設けられた町に１００歳以上の男性が町に１人しかいない場合は、人物の特定が可能となりうるので、プライバシー保護の観点より問題となる恐れがあり、第三者での利用が困難となるという問題があった。 However, in the system described in Patent Document 1 mentioned above, flow line information is extracted even when the number of people included in the camera image is one. If there is only one man over 100 years old in the town where the system is installed, it may be possible to identify the person, which may pose a problem from a privacy perspective, and a third party may There was a problem that it became difficult to use.

本開示は、上記の問題を解消するためになされたもので、カメラ画像に含まれる人物に関する情報からプライバシーに配慮したデータを生成することができる情報処理装置を提供することを目的とする。 The present disclosure has been made in order to solve the above problems, and aims to provide an information processing device that can generate privacy-friendly data from information about a person included in a camera image.

本開示に係る情報処理装置は、画像データを取得するデータ取得部と、閾値を設定する設定部と、前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定部と、前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成部と、前記提供情報を出力するデータ出力部とを備え、前記推定情報は、前記画像データから認識した前記人物の属性及び状態を示す情報のうち少なくとも一つの項目を含み、前記データ生成部は、前記推定情報を集計した結果、前記推定情報の項目が一致する人物の数が前記閾値未満の場合は、当該人物に関する前記推定情報の項目を排除して前記提供情報を生成することを特徴とする。

An information processing device according to the present disclosure includes a data acquisition unit that acquires image data, a setting unit that sets a threshold, and an estimation unit that recognizes a person from the image data and estimates estimated information for each of the recognized persons. , a data generation unit that generates provided information from the estimated information based on a comparison between the aggregation result of the estimated information and the threshold value, and a data output unit that outputs the provided information, the estimated information is The data generation unit includes at least one item of information indicating attributes and states of the person recognized from the data, and the data generation unit is configured to determine that, as a result of aggregating the estimated information, the number of people whose items match the estimated information is equal to the threshold. If the number is less than 1, the provided information is generated by excluding items of the estimated information regarding the person .

本開示によれば、取得した画像データから人物の認識とその人物ごとの推定情報を推定し、推定情報の集計結果と設定した閾値とを比較した上で提供情報を出力するので、プライバシーに配慮したデータを生成することができる。 According to the present disclosure, person recognition and estimated information for each person are estimated from the acquired image data, and provided information is output after comparing the aggregated result of the estimated information with a set threshold, so privacy is considered. data can be generated.

実施の形態１に係る情報処理装置の構成を概略的に示すブロック図である。1 is a block diagram schematically showing the configuration of an information processing device according to Embodiment 1. FIG. 実施の形態１に係る情報処理装置を搭載したシステムの構成例を示す図である。1 is a diagram illustrating an example configuration of a system equipped with an information processing device according to Embodiment 1. FIG. カメラで撮影されたカメラ画像の一例を示す図である。FIG. 3 is a diagram showing an example of a camera image taken with a camera. 推定情報記憶部１４０に記憶されている履歴情報テーブルの例を示す図である。3 is a diagram illustrating an example of a history information table stored in an estimated information storage unit 140. FIG. 履歴情報に含まれる人数を所定の時間（時間帯）毎に集計した表である。This is a table in which the number of people included in historical information is aggregated for each predetermined time (time period). データ取得環境記憶部に格納される環境情報テーブルの一例を示す図である。It is a figure showing an example of an environment information table stored in a data acquisition environment storage part. 実施の形態１に係るデータ生成部における提供情報の生成処理を示すフローチャート。5 is a flowchart showing a process of generating provided information in a data generation unit according to the first embodiment. 実施の形態１に係る情報処理装置についてプロセッサを用いて示した図である。1 is a diagram illustrating an information processing apparatus according to a first embodiment using a processor; FIG.

実施の形態１．
以下、図面を参照しながら実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。したがって、具体的な寸法等は以下の説明を参酌して判断すべきものである。また、図面相互間においても
互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。Embodiment 1.
Embodiments will be described below with reference to the drawings. In the description of the drawings below, the same or similar parts are designated by the same or similar symbols. However, it should be noted that the drawings are schematic and the ratio of each dimension may differ from the actual one. Therefore, specific dimensions etc. should be determined with reference to the following explanation. Furthermore, it goes without saying that the drawings include portions with different dimensional relationships and ratios.

図１は、本実施の形態に係る情報処理装置の構成を概略的に示すブロック図である。また、図２は、情報処理装置を搭載したシステムの構成例を示す図である。
本実施の形態に係る情報処理装置１００は、データ取得部１２０と設定部１１０と推定部１３０とデータ生成部１６０とデータ出力部１７０とを備える。また、図１では、情報処理装置１００に推定情報記憶部１４０及びデータ取得環境記憶部１５０を備える。FIG. 1 is a block diagram schematically showing the configuration of an information processing apparatus according to this embodiment. Further, FIG. 2 is a diagram showing an example of the configuration of a system equipped with an information processing device.
Information processing device 100 according to this embodiment includes a data acquisition section 120, a setting section 110, an estimation section 130, a data generation section 160, and a data output section 170. Further, in FIG. 1, the information processing apparatus 100 includes an estimated information storage section 140 and a data acquisition environment storage section 150.

設定部１１０は設定した閾値をデータ生成部１６０へ出力する。データ取得部１２０は、カメラから取得した画像データを推定部１３０へ出力する。推定部１３０は、取得した画像データから認識した人物ごとの推定情報をデータ生成部１６０へ出力する。データ生成部１６０は、推定情報の集計結果と閾値との比較に基づいて推定情報から提供情報を生成してデータ出力部１７０へ出力する。データ出力部１７０は、提供情報を出力する。また、推定情報記憶部１４０は、推定部１３０からの推定情報を記憶し、記憶した推定情報を履歴情報として設定部１１０及びデータ生成部１６０へ出力する。データ取得環境記憶部１５０は、提供情報の生成に使用可能な履歴情報取得条件を環境情報として記憶する。 The setting section 110 outputs the set threshold value to the data generation section 160. The data acquisition unit 120 outputs image data acquired from the camera to the estimation unit 130. The estimation unit 130 outputs estimation information for each person recognized from the acquired image data to the data generation unit 160. The data generation unit 160 generates provided information from the estimated information based on a comparison between the total result of the estimated information and the threshold value, and outputs the generated information to the data output unit 170. The data output unit 170 outputs provided information. Further, the estimated information storage unit 140 stores the estimated information from the estimating unit 130, and outputs the stored estimated information to the setting unit 110 and the data generating unit 160 as history information. The data acquisition environment storage unit 150 stores history information acquisition conditions that can be used to generate provided information as environment information.

図２では、情報処理装置１００を列車の車両内に設置した構成例を示す。図２では情報処理装置１００がカメラ１０に組み込まれるパターンとして図示しているが、カメラ１０と有線もしくは無線で接続するエッジ端末２０に情報処理装置１００が組み込まれるパターン、または、エッジ端末２０と有線もしくは無線で接続されるサーバ（図示せず）に情報処理装置１００が組み込まれるパターンなども考えられる。本実施の形態では、情報処理装置１００が組み込まれたカメラ１０を列車の車両内に設置しており、エッジ端末２０は、カメラ１０とモニタ３０に対して有線で接続されている状況として説明する。図２では、カメラ１０は、１車両につき１台以上車両内部の状況を撮影可能な位置（天井部付近等）設置されるものとする。カメラ１０は、カメラ画像に含まれる乗客の情報から乗客の属性や状態を含む提供情報を生成し、エッジ端末２０へ送信する。エッジ端末２０は、カメラ１０から受信した提供情報と列車の運行情報をもとにして、モニタ３０に表示するコンテンツを切り替える。 FIG. 2 shows a configuration example in which the information processing device 100 is installed inside a train vehicle. Although FIG. 2 shows a pattern in which the information processing device 100 is incorporated into the camera 10, there is also a pattern in which the information processing device 100 is incorporated in an edge terminal 20 that connects to the camera 10 by wire or wirelessly, or a pattern in which the information processing device 100 is connected to the camera 10 by wire or wirelessly. Alternatively, a pattern in which the information processing device 100 is incorporated into a wirelessly connected server (not shown) is also conceivable. In this embodiment, a situation will be described in which a camera 10 incorporating an information processing device 100 is installed in a train car, and an edge terminal 20 is connected to the camera 10 and the monitor 30 by wire. . In FIG. 2, it is assumed that at least one camera 10 per vehicle is installed at a position (near the ceiling, etc.) where it can photograph the interior of the vehicle. The camera 10 generates provided information including the passenger's attributes and status from the passenger information included in the camera image, and transmits it to the edge terminal 20. The edge terminal 20 switches the content displayed on the monitor 30 based on the provided information and train operation information received from the camera 10.

情報処理装置１００のそれぞれの構成要素について説明する。
設定部１１０は、提供情報の出力条件となる閾値を設定し、データ生成部１６０へ閾値を送る。例えば、閾値の設定画面をディスプレイ（図示せず）に表示し、キーボードやマウス等の入力デバイス（図示せず）を介してユーザーが任意の閾値を入力することにより設定する。閾値の設定に使用するディスプレイや入力デバイスは、図２に示すエッジ端末２０に接続する構成が考えられるがその限りではなく、カメラ１０に直接接続してもよい。本実施の形態では、閾値をカメラ画像に含まれる人物の同属性となる人数とするが、提供情報の出力条件となる値であれば、他の値を閾値として設定してもよい。または閾値自体には人数の設定のみ与えて、以下で説明するデータ生成部１６０が閾値以上となる同じ情報を持つ人物の人数かを判断して提供情報を生成するものとしても構わない。また、設定する閾値の値は、予め定めた提供許容閾値よりも大きい値を設定することとする。提供許容閾値は例えば１である。Each component of the information processing device 100 will be explained.
The setting unit 110 sets a threshold value that is a condition for outputting the provided information, and sends the threshold value to the data generation unit 160. For example, a threshold value setting screen is displayed on a display (not shown), and the user sets an arbitrary threshold value through an input device (not shown) such as a keyboard or mouse. The display and input device used to set the threshold value may be connected to the edge terminal 20 shown in FIG. In this embodiment, the threshold value is set to the number of people who have the same attribute as the person included in the camera image, but any other value may be set as the threshold value as long as it is a value that satisfies the output condition of the provided information. Alternatively, only the number of people may be set as the threshold value itself, and the data generation unit 160 described below may generate the provided information by determining whether the number of people having the same information is equal to or greater than the threshold value. Further, the threshold value to be set is set to be larger than a predetermined provision permission threshold value. The provision permission threshold is, for example, 1.

設定部１１０における閾値の設定はユーザーが行うため、適切な閾値を設定できていない場合、提供情報の生成ができない状態が多々発生する恐れがある。例えば、乗客数より明らかに大きい値を閾値として設定していた場合は、提供情報の出力条件を満たさないとして提供情報を生成することができない。そのため、設定部１１０での閾値の設定においては、推定情報記憶部１４０に一定数履歴情報が記憶されている場合は、推定情報記憶部１４０から取得した履歴情報に含まれる人数の平均値を算出して、時間帯毎の平均値をユーザーに提示することとする。ユーザーはこの平均値結果をふまえて適切な閾値を設定することができる。時間帯毎の平均値の算出方法の詳細については後述する。 Since the threshold value in the setting unit 110 is set by the user, if an appropriate threshold value is not set, there is a possibility that a situation in which the provision information cannot be generated may occur frequently. For example, if a value that is clearly larger than the number of passengers is set as the threshold value, the provided information cannot be generated because the provided information output conditions are not satisfied. Therefore, when setting the threshold in the setting unit 110, if a certain number of pieces of historical information are stored in the estimated information storage unit 140, the average value of the number of people included in the historical information acquired from the estimated information storage unit 140 is calculated. Then, the average value for each time period will be presented to the user. The user can set an appropriate threshold based on this average value result. Details of the method for calculating the average value for each time period will be described later.

データ取得部１２０は、監視カメラ等の外部端末の出力部（図示せず）よりカメラ画像を取得し、推定部１３０へ送る。情報処理装置１００がカメラ１０に組み込まれる場合、カメラ１０の撮像部（図示せず）にて撮影されたカメラ画像をデータ取得部１２０が取得する。データ取得部１２０では、所定のフレームレートに応じてカメラ画像を取得する。もしくは、カメラ１０に接続される外部端末からカメラ画像を撮影するタイミングを取得し、データ取得部１２０へ撮影したカメラ画像を送ってもよい。例えば、カメラ１０は、エッジ端末２０から列車の運行情報を取得し、列車の走行状態（停車中、駅間走行中、次駅停車前、等）の移行時にカメラ画像を撮影し、データ取得部１２０へ送ってもよい。 The data acquisition unit 120 acquires a camera image from an output unit (not shown) of an external terminal such as a surveillance camera, and sends it to the estimation unit 130. When the information processing device 100 is incorporated into the camera 10, the data acquisition unit 120 acquires a camera image taken by an imaging unit (not shown) of the camera 10. The data acquisition unit 120 acquires camera images according to a predetermined frame rate. Alternatively, the timing for photographing a camera image may be acquired from an external terminal connected to the camera 10, and the photographed camera image may be sent to the data acquisition unit 120. For example, the camera 10 acquires train operation information from the edge terminal 20, photographs a camera image when the train's running state changes (stopped, running between stations, before the next station stop, etc.), and the data acquisition unit You may also send it to 120.

推定部１３０は、カメラ画像に含まれる人物を認識し、認識した人物の属性および状態を推定情報として推定する。人物の属性に関する項目としては、当該人物の年齢，性別，身長などがあり、人物の状態に関する項目としては、当該人物の位置，行動，乗り物，持ち物などが考えられる。そして、推定部１３０は、推定情報を推定情報記憶部１４０、推定情報をデータ生成部１６０へ送る。 The estimation unit 130 recognizes the person included in the camera image and estimates the attributes and state of the recognized person as estimated information. Items related to the person's attributes include the person's age, gender, and height, and items related to the person's condition include the person's location, actions, vehicle, and belongings. The estimation unit 130 then sends the estimation information to the estimation information storage unit 140 and the estimation information to the data generation unit 160.

ここで、カメラ画像に含まれる人物の属性や状態の推定は、公知の画像認識技術を用いて行う。本実施の形態では、人物の位置は、カメラ画像における当該人物の存在位置（ｘ，ｙ）とし、カメラ画像の左下を起点（ｘ０，ｙ０）として横軸をｘ軸、縦軸をｙ軸とする。 Here, the attributes and status of the person included in the camera image are estimated using a known image recognition technique. In this embodiment, the position of the person is defined as the position of the person in the camera image (x, y), with the lower left of the camera image as the starting point (x0, y0), the horizontal axis is the x axis, and the vertical axis is the y axis. do.

人物の行動としては、例えば、「立っている」、「座っている」などを推定する。
また、何を見ているかについて推定するようにしてもよい。見ているものの対象として「車内の広告」、「行先案内」、「携帯端末」、「本」、「人物」、「目を閉じている」などを推定する。
乗り物は、例えば、「椅子」、「ベビーカー」、「乗っていない」などを推定する。屋外に設けられたカメラ画像であれば、「自転車」なども候補となる。
持ち物は、例えば、「スーツケース」、「ベビーカー」、「バッグ」、「分類対象の持ち物なし」などを推定する。
これらの推定情報は、ユーザーが分類したい属性や状態の項目を追加設定可能にして画像認識技術で推定できるようにしてもよい。For example, "standing" or "sitting" is estimated as the person's behavior.
Furthermore, it may be possible to estimate what the user is looking at. It estimates what people are looking at, such as ``in-car advertisements,'' ``destination information,'' ``mobile devices,''``books,''``people,'' and ``eyes closed.''
The vehicle is estimated to be, for example, "chair,""stroller," or "not riding." If the image is taken from a camera installed outdoors, a "bicycle" may also be a candidate.
Possible items are estimated to be, for example, ``suitcase,''``stroller,''``bag,'' or ``no belongings to be classified.''
These estimated information may be estimated by image recognition technology by allowing the user to additionally set attributes and status items that they wish to classify.

推定情報としてはユーザーが必要とするものに限ってもよく、例えばカメラ画像の撮影対象領域が車両内の場合は、乗り物に関する状態については推定しないとしてもよい。撮影対象領域がタクシー内やバス等の車両内である場合も、同様である。ただし、カメラ１０が街に設置される場合、カメラ画像に含まれる人物が自転車に乗車している場合も想定される。このような場面においては、カメラ画像に含まれる人物の状態として乗り物も推定してもよい。 The estimated information may be limited to what the user needs; for example, if the camera image is captured within a vehicle, the state of the vehicle may not be estimated. The same applies when the shooting target area is inside a vehicle such as a taxi or a bus. However, when the camera 10 is installed in a city, it is also assumed that the person included in the camera image is riding a bicycle. In such a scene, the vehicle may also be estimated as the state of the person included in the camera image.

図３は、推定部１３０で推定に使用するカメラ画像の一例を示している。
ここで、カメラ画像１に含まれる人物１ａは、４０歳の男性でスーツケースを持って座席に座っているものとし、人物１ｂは、３０歳の男性で持ち物を持たずに立っているものとする。
推定部１３０では、まず、取得したカメラ画像から人物検出を行った上で、検出した人物に対して属性や状態の推定を行うための画像認識を行う。その結果、例えば、人物１ａについては、（年齢，性別，位置，行動，持ち物）＝（４０，男性，（ｘ１，ｙ１），座る，スーツケース）と推定される。人物１ｂについては、（年齢，性別，位置，行動，持ち物）＝（３０，男性，（ｘ２，ｙ２），立つ，持ち物なし）と推定される。このように、推定部１３０では、カメラ画像に含まれる人物ごとの推定情報を生成することになり、推定情報を集計すれば認識した人数の情報を得ることができる。FIG. 3 shows an example of a camera image used for estimation by the estimation unit 130.
Here, person 1a included in camera image 1 is a 40-year-old man who is sitting on a seat with a suitcase, and person 1b is a 30-year-old man who is standing without carrying any belongings. do.
The estimation unit 130 first detects a person from the acquired camera image, and then performs image recognition to estimate the attributes and state of the detected person. As a result, for example, for the person 1a, it is estimated that (age, gender, location, behavior, belongings) = (40, male, (x1, y1), sitting, suitcase). For person 1b, it is estimated that (age, gender, location, behavior, belongings) = (30, male, (x2, y2), standing, no belongings). In this manner, the estimation unit 130 generates estimation information for each person included in the camera image, and by summing up the estimation information, information on the number of recognized persons can be obtained.

また、推定部１３０がカメラ画像に含まれる人物の属性や状態の推定と同様に公知の人物検出技術を用いてカメラ画像に含まれる人物の人数を取得しても構わない。ここで検出した人数については、カメラ画像に含まれる人物の数としてもよいが、人物の属性、または状態が一致している人数としてもよい。人物の属性、または状態が一致する人数とは、例えば、カメラ画像に含まれる人物が３人おり、カメラ画像に含まれる人物の属性のうち性別の推定結果が「男性，男性，女性」の場合、人数としては、（男性，女性）＝（２，１）とする。本実施の形態における人数は、人物の属性、または状態が一致する人数として以降の説明を行うこととする。 Further, the estimating unit 130 may obtain the number of people included in the camera image using a known person detection technique in the same way as estimating the attributes and states of the people included in the camera image. The number of people detected here may be the number of people included in the camera image, or may be the number of people whose attributes or states match. The number of people whose attributes or states match is, for example, when there are three people included in a camera image and the estimated gender of the attributes of the people included in the camera image is "male, male, female." , the number of people is (male, female) = (2, 1). The number of people in this embodiment will be explained below as the number of people whose attributes or states match.

推定部１３０で取得したカメラ画像は、推定情報取得後には破棄することとする。ただし、破棄せずにいずれかの記憶部で記憶してもエッジ端末へ転送しても構わない。この場合、カメラ画像は暗号化した上で、記憶または転送することが望ましい。 The camera image acquired by the estimation unit 130 is discarded after the estimation information is acquired. However, the data may be stored in any storage unit or transferred to the edge terminal without being discarded. In this case, it is desirable to encrypt the camera image before storing or transmitting it.

推定情報記憶部１４０は、推定部１３０から取得した推定情報を履歴情報として記憶する。また、推定情報記憶部１４０は、設定部１１０、もしくはデータ生成部１６０からの要求に応じて、履歴情報を設定部１１０、もしくはデータ生成部１６０へ送る。 Estimated information storage section 140 stores estimated information acquired from estimation section 130 as history information. Further, the estimated information storage section 140 sends history information to the setting section 110 or the data generating section 160 in response to a request from the setting section 110 or the data generating section 160.

図４は、推定情報記憶部１４０に記憶されている履歴情報テーブルの例を示す図である。図４では、履歴情報テーブルに記憶された情報として、推定に用いた画像データの取得時刻、人物として認識した人物ごとに推定した属性の情報として年齢及び性別、推定した状態の情報として画像データにおける認識した人物の位置情報、行動、持ち物を示している。履歴情報テーブルには、データ取得部１２０でのカメラ画像の取得時刻順に推定情報を格納する。例えば、推定部１３０にて図３のカメラ画像を「１９／１２／１７８：００」に取得した場合、図４に示すように履歴情報テーブルに格納する。履歴情報テーブルにおける取得時刻の形式は、例えば、「年（西暦の下２桁）／月／日，時：分」であるが、この形式だけには限らず、その他の形式でもよい。 FIG. 4 is a diagram showing an example of a history information table stored in the estimated information storage unit 140. In FIG. 4, the information stored in the history information table includes the acquisition time of the image data used for estimation, the age and gender as information on the attributes estimated for each person recognized as a person, and the information on the image data as information on the estimated state. It shows the location information, actions, and belongings of the recognized person. The history information table stores estimated information in the order of acquisition time of camera images by the data acquisition unit 120. For example, when the estimation unit 130 acquires the camera image of FIG. 3 at "19/12/17 8:00", it is stored in the history information table as shown in FIG. The format of the acquisition time in the history information table is, for example, "year (last two digits of the Western calendar)/month/day, hour: minute", but is not limited to this format and may be in other formats.

推定情報記憶部１４０が、履歴情報を設定部１１０へ送る場合について説明する。推定情報記憶部１４０は、設定部１１０における閾値設定時に履歴情報が一定数以上記憶されている場合（例えば、一週間分の履歴情報が記憶されているといった場合）に、設定部１１０からの要求に応じて履歴情報を設定部１１０へ送る。 A case will be described in which the estimated information storage section 140 sends history information to the setting section 110. The estimated information storage unit 140 stores a request from the setting unit 110 when a certain number or more of history information is stored at the time of threshold setting in the setting unit 110 (for example, when one week's worth of history information is stored). The history information is sent to the setting unit 110 in accordance with the above.

次に、設定部１１０の説明に一時戻る。設定部１１０は、履歴情報から人数の平均値を算出する。まず、推定情報記憶部１４０から取得した履歴情報に含まれる人数を所定の時間毎に集計する。ここで、以降の説明において所定の時間を１時間として説明するが、１時間でなく別の時間に設定可能としてもよい。 Next, we briefly return to the explanation of the setting section 110. The setting unit 110 calculates the average number of people from the history information. First, the number of people included in the history information acquired from the estimated information storage unit 140 is totaled every predetermined time. Here, in the following description, the predetermined time will be explained as one hour, but it may be possible to set it to another time instead of one hour.

図５は、履歴情報に含まれる人数を所定の時間（時間帯）毎に集計した表を示している。図５では、５時から１０時までの、同じ時間帯の日ごとの人数情報を示している。例えば、１２月１０日の５時から６時においては画像データから認識された人物は０人であったこと、つまりカメラ画像には人物が映っていなかったことを示す。また、１２月１６日の５時から６時においては画像データから認識された人物は１人であるため、カメラ画像には１人の人物が映っていたことになる。 FIG. 5 shows a table in which the number of people included in the history information is totaled for each predetermined time (time period). FIG. 5 shows the number of people information for each day during the same time period from 5:00 to 10:00. For example, from 5:00 to 6:00 on December 10th, no person was recognized from the image data, that is, no person was shown in the camera image. Furthermore, since only one person was recognized from the image data between 5:00 and 6:00 on December 16th, one person was shown in the camera image.

次に、時間帯毎の集計結果に対して、平均値を算出する。例えば、１２月１０日から１２月１６日までの７時から８時の時間帯における各日の集計結果が「８，４，７，７，６，５，５」の場合、７時から８時の平均値は、（８＋４＋７＋７＋６＋５＋５）／７＝６人となる。この平均値結果をユーザーに示すことで、例えば閾値を平均値そのものに設定するまたは平均値より少し少なめに設定するなど、ユーザーが閾値を設定するときの参考材料となる。 Next, an average value is calculated for the aggregation results for each time period. For example, if the total result for each day in the time period from 7:00 to 8:00 from December 10th to December 16th is "8, 4, 7, 7, 6, 5, 5", then from 7:00 to 8:00 The average value at the time is (8+4+7+7+6+5+5)/7=6 people. By showing the average value result to the user, it becomes a reference material when the user sets the threshold value, for example, by setting the threshold value to the average value itself or setting it slightly less than the average value.

また、１２月１０日から１２月１６日までの５時から６時の時間帯における各日の集計結果が「０，０，１，０，０，１，１」の場合、平均値は３／７となり１人未満となる。この平均値結果をユーザーに示すことで、ユーザーは、各日において平均してカメラ画像に人物が映らないことが多く一人では人物の特定が可能となりうるため、その時間帯での提供情報を生成しないことを判断することができる。なお、平均値結果は小数点以下を切り捨てなどした整数値としても構わない。 Also, if the aggregate result for each day from 5:00 to 6:00 from December 10th to December 16th is "0, 0, 1, 0, 0, 1, 1", the average value is 3 /7, which is less than one person. By showing this average value result to the user, the user can generate the information provided for that time period, since there are many cases where a person is not visible in the camera image on average each day, and it may be possible to identify the person by one person. You can decide not to. Note that the average value result may be an integer value with the decimal point rounded down.

平均値を算出するために、連続する日（図５の場合、１２／１０から１２／１６までの７日間）の集計結果を推奨値の算出に使用した例を説明したが、同じ曜日の複数の同じ時間帯で集計して平均値の算出に使用してもよい。これは、例えば列車に適用した場合、平日であれば通勤者や学生の利用客が多く、休日であれば通勤者や学生の利用客が大幅になくなり買い物客やレジャー施設へ移動する乗客が多い傾向の路線もある為、同じ曜日の同じ時間帯で平均値を算出したり、平日と休日で分けて同じ時間帯で平均値を算出したりして出力することで、ユーザーに対して傾向に合わせた平均値結果をふまえた閾値設定を促すことができる。 In order to calculate the average value, we have explained an example in which the aggregated results of consecutive days (in the case of Figure 5, 7 days from 12/10 to 12/16) are used to calculate the recommended value. The data may be aggregated over the same time period and used to calculate the average value. For example, when applied to trains, on weekdays there are many commuters and students, but on holidays, there are fewer commuters and students, and there are more shoppers and passengers heading to leisure facilities. Since some routes have a trend, it is possible to calculate the average value for the same time period on the same day of the week, or calculate and output the average value for the same time period on weekdays and holidays, so that users can see the trend. It is possible to prompt threshold setting based on the combined average value results.

データ取得環境記憶部１５０は、提供情報の生成に使用可能な履歴情報取得条件を環境情報として記憶する。本実施の形態では、履歴情報取得条件は、推定情報記憶部１４０から取得可能な履歴情報の時間帯を示す。 The data acquisition environment storage unit 150 stores history information acquisition conditions that can be used to generate provided information as environment information. In this embodiment, the history information acquisition condition indicates a time period of history information that can be acquired from the estimated information storage unit 140.

図６は、データ取得環境記憶部１５０に記憶されている環境情報テーブルの例を示す図である。図６では、カメラ１０ａの履歴情報取得条件は「１時間」と示している。これは、例えば、現在時刻が１０時の場合、データ生成部１６０で生成する提供情報に使用する履歴情報は、現在から１時間前まで遡った９時から現在時刻の１０時までの履歴情報から提供情報が取得可能とする。つまり、９時から１０時までの履歴情報から提供情報を作成することができることを表す。
また、図６におけるカメラ１０ｄのように、履歴情報取得条件を「条件なし」とすることも可能とする。図６では、「条件なし」を「－」で示している。この場合は、履歴情報を取得するときの制限はないものとして現在時刻から履歴情報が存在するものを取得可能とする。FIG. 6 is a diagram showing an example of an environment information table stored in the data acquisition environment storage unit 150. In FIG. 6, the history information acquisition condition of the camera 10a is shown as "1 hour". For example, if the current time is 10 o'clock, the history information used for the provided information generated by the data generation unit 160 is from the history information from 9 o'clock one hour before the current time to 10 o'clock the current time. Provided information can be obtained. In other words, it means that the provided information can be created from the history information from 9 o'clock to 10 o'clock.
Furthermore, like the camera 10d in FIG. 6, it is also possible to set the history information acquisition condition to "no condition". In FIG. 6, "no condition" is indicated by "-". In this case, it is assumed that there are no restrictions when acquiring historical information, and that historical information that exists from the current time can be acquired.

本実施の形態では、データ取得環境記憶部１５０における環境情報テーブルは、予め環境情報を格納しておくこととする。例えば、環境情報である履歴情報取得条件は、特定駅間の走行時間とすることが考えられる。そうすることにより、特定駅間を走行する列車に乗車する乗客の情報を提供情報として取得することができる。ここで、履歴情報取得条件がない場合、例えば、Ｂ駅からＤ駅までに乗車する乗客の情報を得たい場合でも、Ｂ駅付近を走行しており、かつ履歴情報を使用して提供情報を生成する場合は、Ｂ駅に到着する前の車両内を撮影したカメラ画像の情報を使用することになる。 In this embodiment, the environment information table in the data acquisition environment storage unit 150 stores environment information in advance. For example, the historical information acquisition condition, which is environmental information, may be the travel time between specific stations. By doing so, information on passengers boarding trains running between specific stations can be acquired as provided information. Here, if there are no historical information acquisition conditions, for example, if you want to obtain information on passengers boarding from station B to station D, the provided information can be retrieved if the passenger is traveling near station B and the historical information is used. When generating the information, information from a camera image taken inside the vehicle before arriving at Station B will be used.

図６では、環境情報テーブルの例としてカメラに対応付けた取得条件の時間を設定するとしたが、これに限らず、例えば複数の位置情報で表した区間で履歴情報の取得可能な条件としても構わない。例えば、情報処理装置が移動体に搭載されている場合、画像データを取得した時刻の移動体の存在位置の情報を併せて履歴情報に記憶することで、移動体が列車であれば、環境情報テーブルにＡ駅の位置からC駅の位置までの区間が取得可能と設定されていれば、Ａ駅からC駅までの履歴情報から提供情報を生成することが可能であるとすることができる。これにより列車の運行誤差があったとしても取得する区間で条件が設定されていれば適用することが可能になる。 In FIG. 6, as an example of the environmental information table, the time of the acquisition condition associated with the camera is set. However, the present invention is not limited to this, and the condition may be set such that the history information can be acquired in a section represented by multiple pieces of position information, for example. do not have. For example, if the information processing device is mounted on a moving object, information about the location of the moving object at the time when the image data was acquired is also stored in history information, and if the moving object is a train, environmental information can be stored. If it is set in the table that the section from the position of A station to the position of C station can be obtained, it is possible to generate the provided information from the historical information from A station to C station. As a result, even if there is a train operation error, it is possible to apply the conditions as long as they are set for the section to be obtained.

データ生成部１６０は、設定部１１０から閾値を、推定部１３０から推定情報を、推定情報記憶部１４０から履歴情報を、データ取得環境記憶部１５０から環境情報を取得することで提供情報を生成し、データ出力部１７０へ送る。なお、取得した画像データごとに提供情報を生成する場合は、推定情報記憶部１４０がなくても提供情報は生成できる。 The data generation unit 160 generates provided information by acquiring a threshold value from the setting unit 110, estimation information from the estimation unit 130, history information from the estimation information storage unit 140, and environment information from the data acquisition environment storage unit 150. , and sent to the data output section 170. Note that when generating provided information for each acquired image data, the provided information can be generated without the estimated information storage unit 140.

設定部１１０から取得する閾値を「２」として、データ生成部１６０における、提供情報の生成方法について説明する。データ生成部１６０で取得した人数または集計した人数が、（男性，女性）＝（２，０）の場合、さらに推定情報における年齢に対して同一となる数が２以上となるように推定情報を加工する。 A method of generating provided information in the data generation unit 160 will be described assuming that the threshold value obtained from the setting unit 110 is “2”. If the number of people acquired or totaled by the data generation unit 160 is (male, female) = (2, 0), the estimated information is further adjusted so that the number of people who are the same for the age in the estimated information is 2 or more. Process.

データ生成部１６０で取得した推定情報が、（年齢，性別，位置，行動，持ち物）＝（４０，男性，（ｘ１，ｙ１），座る，スーツケース）と推定した人物１ａと、（年齢，性別，位置，行動，持ち物）＝（３０，男性，（ｘ２，ｙ２），立つ，持ち物なし）と推定した人物１ｂとが認識された場合、年齢を「３０歳から４０歳まで」とすることで同じ年齢幅の人物が２人いたこととなり、閾値「２」と同じ数となる。この場合、提供情報として、（年齢，性別，位置，行動，持ち物）＝（３０－４０，男性，（ｘ１，ｙ１），座る，スーツケース）と、（年齢，性別，位置，行動，持ち物）＝（３０－４０，男性，（ｘ２，ｙ２），立つ，持ち物なし）を生成する。ここで３０－４０という表現は、推定年齢が３０歳から４０歳までの年齢幅を示す。 The estimated information obtained by the data generation unit 160 indicates that the person 1a is estimated to be (age, gender, location, behavior, belongings) = (40, male, (x1, y1), sitting, suitcase), and (age, gender, , position, action, belongings) = (30, male, (x2, y2), standing, no belongings) and the estimated person 1b is recognized, by setting the age to "30 to 40 years old". This means that there are two people with the same age range, which is the same number as the threshold value "2". In this case, the provided information is (age, gender, location, behavior, belongings) = (30-40, male, (x1, y1), sitting, suitcase) and (age, gender, location, behavior, belongings) = (30-40, male, (x2, y2), standing, no belongings) is generated. Here, the expression 30-40 indicates an estimated age range of 30 to 40 years.

また、現在時刻が７時の場合、６時から７時までの履歴情報として、（年齢，性別，位置，行動，持ち物）＝（２０，女性，（ｘ６，ｙ６），座る，持ち物なし）と推定した人物１ｃと、（年齢，性別，位置，行動，持ち物）＝（６０，男性，（ｘ７，ｙ７），座る，持ち物なし）と推定した人物１ｄとを取得し、さらに現在時刻にデータ生成部１６０で取得した推定情報が、（年齢，性別，位置，行動，持ち物）＝（２０，女性，（ｘ３，ｙ３），座る，持ち物なし）と推定した人物１ｅと、（年齢，性別，位置，行動，持ち物）＝（４０，女性，（ｘ４，ｙ４），座る，持ち物なし）と推定した人物１ｆと、年齢，性別，位置，行動，持ち物）＝（４０，男性，（ｘ５，ｙ５），立つ，スーツケース）と推定した人物１ｇであったとする。また、設定された閾値を２とする。 Also, if the current time is 7 o'clock, the history information from 6 o'clock to 7 o'clock is (age, gender, location, behavior, belongings) = (20, female, (x6, y6), sitting, no belongings). Obtain the estimated person 1c and the estimated person 1d (age, gender, location, behavior, belongings) = (60, male, (x7, y7), sitting, no belongings), and further generate data at the current time. The estimated information acquired in the section 160 indicates the person 1e estimated as (age, gender, location, behavior, belongings) = (20, female, (x3, y3), sitting, no belongings) and (age, gender, location). , behavior, belongings) = (40, female, (x4, y4), sitting, no belongings) and the person 1f estimated as age, gender, location, behavior, belongings) = (40, male, (x5, y5) , standing, suitcase) is estimated to be 1g. Further, the set threshold value is set to 2.

この場合、推定した性別が「男性」については年齢幅を「４０－６０」とすれば、「男性」でかつ推定された年齢幅が４０歳から６０歳の人数は人物１ｃと人物１ｇの２人であるため閾値以上となる。そこでデータ生成部１６０は、（年齢，性別，位置，行動，持ち物）＝（４０－６０，男性，（ｘ５，ｙ５），立つ，スーツケース）と（年齢，性別，位置，行動，持ち物）＝（４０－６０，男性，（ｘ７，ｙ７），座る，持ち物なし）とを提供情報として生成することができる。 In this case, if the estimated gender is "male" and the age range is "40-60", then the number of people who are "male" and whose estimated age range is between 40 and 60 is 2 of person 1c and person 1g. Since it is a person, it is above the threshold. Therefore, the data generation unit 160 generates (age, gender, location, behavior, belongings) = (40-60, male, (x5, y5), standing, suitcase) and (age, gender, position, behavior, belongings) = (40-60, male, (x7, y7), sitting, no belongings) can be generated as the provided information.

同様に、推定した性別が「女性」については年齢幅を「２０－４０」とすれば、「女性」でかつ推定された年齢幅が２０歳から４０歳の人数は人物１ｃと人物１ｅと人物１ｆとで３人であるため閾値以上となる。そこでデータ生成部１６０は、（２０－４０，女性，（ｘ３，ｙ３），座る，持ち物なし）と、（年齢，性別，位置，行動，持ち物）＝（２０－４０，女性，（ｘ４，ｙ４），座る，持ち物なし）と、（年齢，性別，位置，行動，持ち物）＝（２０－４０，女性，（ｘ６，ｙ６），座る，持ち物なし）とを提供情報として生成することができる。 Similarly, if the estimated gender is "female" and the age range is "20-40", then the number of people who are "female" and whose estimated age range is 20 to 40 is Person 1c, Person 1e, and Person 1e. Since there are 3 people in 1f, the threshold is exceeded. Therefore, the data generation unit 160 generates (20-40, female, (x3, y3), sitting, no belongings) and (age, gender, position, behavior, belongings) = (20-40, female, (x4, y4) ), sitting, no belongings) and (age, gender, location, behavior, belongings) = (20-40, female, (x6, y6), sitting, no belongings) can be generated as the provided information.

このように、推定した性別に対して同じ推定年齢の項目が一致する人数が設定部１１０からの閾値よりも少ない場合は、推定年齢の年齢幅を広げて人数を集計することで、人数が閾値以上となる人数を確保して提供情報を生成することで、個人が特定される可能性を下げ、プライバシーに配慮した提供情報データを生成することができる。 In this way, if the number of people for whom the same estimated age item matches the estimated gender is less than the threshold value from the setting unit 110, the age range of the estimated age is expanded and the number of people is aggregated, so that the number of people matches the threshold value. By generating provided information by securing the above number of people, it is possible to reduce the possibility that an individual will be identified and to generate provided information data that takes privacy into consideration.

上では推定年齢の年齢幅を広げて人数を集計することで、人数が閾値以上となる人数を確保したが、これに限らない。例えば、履歴情報取得条件で時間の縛りがない場合は、履歴情報を遡る時間を延ばして人数が閾値以上となる人数を確保して提供情報データを生成しても構わない。この場合は、提供情報には提供情報を生成した時間帯の情報も含めることで可能となる。
また、履歴情報取得条件で時間の縛りがあっても、日数や曜日の縛りがない場合は、履歴情報を遡る日を増やして時間を延ばして人数が閾値以上となる人数を確保して提供情報データを生成しても構わない。この場合は、提供情報には提供情報を生成した日数の情報も含めることで可能となる。In the above, by widening the age range of the estimated age and counting the number of people, we secured the number of people whose number is equal to or greater than the threshold value, but the present invention is not limited to this. For example, if there is no time constraint in the history information acquisition conditions, the provided information data may be generated by extending the time taken to trace the history information to ensure a number of people whose number is equal to or greater than a threshold value. In this case, this can be done by including information on the time period in which the provided information was generated.
In addition, even if there is a time restriction in the history information acquisition condition, if there is no restriction on the number of days or days of the week, you can increase the number of days that history information goes back and extend the time to ensure that the number of people exceeds the threshold and provide information. It doesn't matter if you generate data. In this case, it is possible to do this by including information on the number of days in which the provided information was generated.

データ出力部１７０は、データ生成部１６０から提供情報を取得し、外部へ出力する。情報処理装置１００がカメラ１０に組み込まれる場合、データ出力部１７０は、カメラ１０に接続される端末へ提供情報を出力することになる。本実施の形態では、カメラ１０はエッジ端末２０と有線で接続される場合を想定しているため、カメラ１０からエッジ端末２０へ提供情報を送信する。 The data output unit 170 acquires the provided information from the data generation unit 160 and outputs it to the outside. When the information processing device 100 is incorporated into the camera 10, the data output unit 170 outputs the provided information to a terminal connected to the camera 10. In this embodiment, since it is assumed that the camera 10 is connected to the edge terminal 20 by wire, the camera 10 transmits the provided information to the edge terminal 20.

本実施の形態では、エッジ端末２０にて、カメラ１０から取得した提供情報を使用して、モニタ３０にて表示すべきコンテンツを切り替える。これは、例えば複数のコンテンツのうち、化粧品の広告コンテンツや中年層向けの旅行ツアー広告コンテンツなど、ターゲットが明確なコンテンツがある場合に、提供情報をふまえて選択して表示することで宣伝効率を向上させることができることを示している。 In this embodiment, the edge terminal 20 uses the provided information acquired from the camera 10 to switch the content to be displayed on the monitor 30. For example, out of multiple contents, if there is content with a clear target, such as advertising content for cosmetics or advertising content for travel tours aimed at middle-aged people, advertising can be made more efficient by selecting and displaying the content based on the provided information. This shows that it is possible to improve

次に本実施の形態に関わる情報処理装置１００の動作の流れについて説明する。
まず、情報処理装置１００の電源投入後、設定部１１０にて閾値を設定する。このとき、予めユーザーが設定した閾値を記憶した記憶部から閾値を読み込んでも構わないし、情報処理装置１００の電源投入後にユーザーが設定しても構わない。また履歴情報からの平均値に基づいて平均値から所定の数を引いた数、例えば平均値が２０であれば所定の数３を引いた１７を設定するなどである。ただし閾値は、個人特定される確率を下げるために少なくとも１よりも大きな値を設定することが望ましい。ここで、推定情報記憶部１４０から取得する履歴情報の数に関しては予め定義しておく。
これにより、ユーザーが設定するとき、履歴情報からの平均値をユーザーに表示してユーザーに提示したうえでユーザーが閾値入力を行なうことで、ユーザーに平均値をふまえた閾値設定を促すことができる。Next, the flow of operations of the information processing apparatus 100 according to this embodiment will be explained.
First, after powering on the information processing device 100, a threshold value is set in the setting unit 110. At this time, the threshold value may be read from a storage unit that stores threshold values set by the user in advance, or the threshold value may be set by the user after the information processing apparatus 100 is powered on. Also, based on the average value from the history information, a predetermined number is subtracted from the average value, and for example, if the average value is 20, a predetermined number of 3 is subtracted to set 17. However, it is desirable to set the threshold value to at least a value greater than 1 in order to reduce the probability of being identified. Here, the number of history information to be acquired from the estimated information storage section 140 is defined in advance.
As a result, when the user sets, the average value from historical information is displayed to the user and the user inputs the threshold value, thereby prompting the user to set the threshold value based on the average value. .

設定部１１０にて閾値を設定した後は、データ取得部１２０がカメラ１０にて撮影されたカメラ画像の取得を開始する。データ取得部１２０は、取得したカメラ画像を推定部１３０へ送る。 After the threshold value is set by the setting unit 110, the data acquisition unit 120 starts acquiring the camera image taken by the camera 10. The data acquisition unit 120 sends the acquired camera image to the estimation unit 130.

次に推定部１３０は、カメラ画像に含まれる人物を認識し、認識した人物の属性や状態である推定情報を取得する。推定情報を取得すると、推定部１３０は推定情報記憶部１４０とデータ生成部１６０へ送る。 Next, the estimation unit 130 recognizes the person included in the camera image, and obtains estimation information that is the attributes and status of the recognized person. Upon acquiring the estimated information, the estimating section 130 sends it to the estimated information storage section 140 and the data generating section 160.

次に推定情報記憶部１４０は、推定部１３０から取得した推定情報を履歴情報テーブルへ格納する。図４の履歴情報テーブルでは、履歴情報を降順で格納しているがこれに限らず、昇順としてもよい。 Next, the estimated information storage unit 140 stores the estimated information acquired from the estimating unit 130 into the history information table. In the history information table of FIG. 4, the history information is stored in descending order, but the history information is not limited to this, and may be stored in ascending order.

次に、データ生成部１６０は、推定部１３０から推定情報を取得すると提供情報を生成する。図７は、本実施の形態に係るデータ生成部１６０における提供情報の生成処理を示すフローチャートである。データ生成部１６０は、推定部１３０から推定情報と人数を取得する（ステップＳ１０１）ただし人数は推定部１３０から取得するのではなく推定情報を集計することで人数情報を取得するものとしても構わない。その後、設定部１１０から閾値を取得する（ステップＳ１０２）。そして、データ取得環境記憶部１５０から環境情報を取得する（ステップＳ１０３）。ステップＳ１０１、ステップＳ１０２、およびステップＳ１０３の順番はこれに限らず、同時に取得しても構わない。 Next, when the data generation unit 160 acquires the estimated information from the estimation unit 130, it generates provided information. FIG. 7 is a flowchart showing a process of generating provided information in data generating section 160 according to the present embodiment. The data generating unit 160 acquires the estimated information and the number of people from the estimating unit 130 (step S101).However, the number of people may not be acquired from the estimating unit 130, but the number of people information may be obtained by totaling the estimated information. . After that, a threshold value is acquired from the setting unit 110 (step S102). Then, environment information is acquired from the data acquisition environment storage unit 150 (step S103). The order of step S101, step S102, and step S103 is not limited to this, and they may be acquired at the same time.

次に取得した人数と閾値とを比較する（ステップＳ１０４）。取得した人数、または推定情報における項目が一致する人物の数が、閾値以上の場合（ステップＳ１０４でＹＥＳ）は、ステップＳ１０５の処理へ進み、閾値より少ない場合（ステップＳ１０４でＮＯ）は、ステップＳ１０６の処理へ進む。 Next, the obtained number of people is compared with a threshold value (step S104). If the acquired number of people or the number of people whose items match the estimated information is equal to or greater than the threshold (YES in step S104), the process proceeds to step S105, and if it is less than the threshold (NO in step S104), the process proceeds to step S106. Proceed to processing.

ステップＳ１０４でＹＥＳと判断された場合、データ生成部１６０は、推定情報から提供情報を生成し（ステップＳ１０５）、データ生成処理を終了する。 If YES is determined in step S104, the data generation unit 160 generates provided information from the estimated information (step S105), and ends the data generation process.

ステップＳ１０４でＮＯと判断された場合、データ生成部１６０は、環境情報における履歴情報取得条件を満たすか否かを判定する（ステップＳ１０６）。環境情報における履歴情報取得条件を満たすと判断された場合（ステップＳ１０６でＹＥＳ）は、ステップＳ１０７の処理へ進み、満たすと判断されなかった場合（ステップＳ１０６でＮＯ）は、データ生成処理を終了する。 If it is determined NO in step S104, the data generation unit 160 determines whether or not the history information acquisition condition in the environmental information is satisfied (step S106). If it is determined that the history information acquisition condition in the environmental information is satisfied (YES in step S106), the process proceeds to step S107; if it is determined that the condition is not satisfied (NO in step S106), the data generation process is ended. .

ステップＳ１０７の処理では、データ生成部１６０は、推定情報記憶部１４０から一定時間帯分の履歴情報を取得する。ここで、取得する履歴情報の時間帯を１時間とすると、推定部１３０から取得した推定情報における取得時刻が７時であれば、６時から７時までの履歴情報を取得することとする。 In the process of step S107, the data generation unit 160 acquires history information for a certain period of time from the estimated information storage unit 140. Here, assuming that the time period of the history information to be acquired is one hour, if the acquisition time in the estimated information acquired from the estimation unit 130 is 7 o'clock, the history information from 6 o'clock to 7 o'clock is acquired.

そして、推定情報記憶部１４０から取得した履歴情報の人数を、推定部１３０から取得した人数に加算し（ステップＳ１０８）、再度、人数と閾値との比較を行う（ステップＳ１０９）。人数が閾値以上の場合（ステップＳ１０９でＹＥＳ）、ステップＳ１１０の処理へ進む。ステップＳ１０９でＮＯの場合、ステップＳ１１１の処理に進む。 Then, the number of people in the history information acquired from the estimated information storage unit 140 is added to the number of people acquired from the estimation unit 130 (step S108), and the number of people is compared with the threshold value again (step S109). If the number of people is equal to or greater than the threshold (YES in step S109), the process advances to step S110. If NO in step S109, the process advances to step S111.

ステップＳ１１０の処理では、データ生成部１６０は、推定部１３０から取得した推定情報と、推定情報記憶部１４０から取得した履歴情報からステップＳ１０５と同様に提供情報を生成する（ステップＳ１１０）。そしてその後、データ生成処理を終了する。 In the process of step S110, the data generation unit 160 generates provided information from the estimation information obtained from the estimation unit 130 and the history information obtained from the estimation information storage unit 140 in the same manner as in step S105 (step S110). After that, the data generation process ends.

ステップＳ１１１の処理では、データ生成部１６０は、前回取得した履歴情報より過去の履歴情報を取得するように、履歴情報を取得する時間帯を変更する（ステップＳ１１１）。例えば、前回、６時から７時までの履歴情報を取得した場合は、５時から６時までの履歴情報を取得することができるように、取得する履歴情報の時間帯を変更する。そして再度、ステップＳ１０６の処理に進む。 In the process of step S111, the data generation unit 160 changes the time period for acquiring history information so as to acquire past history information than the history information acquired last time (step S111). For example, if history information from 6:00 to 7:00 was acquired last time, the time zone of the history information to be acquired is changed so that history information from 5:00 to 6:00 can be acquired. The process then proceeds to step S106 again.

図８は、情報処理装置１００についてプロセッサを用いて示した図である。プロセッサ２０１は、メモリ２０２，キー入出力インターフェース（以下、Ｉ／Ｆ）２０３，データ入出力Ｉ／Ｆ２０４，及び表示出力Ｉ／Ｆ２０５と接続されている。 FIG. 8 is a diagram showing the information processing device 100 using a processor. The processor 201 is connected to a memory 202, a key input/output interface (hereinafter referred to as I/F) 203, a data input/output I/F 204, and a display output I/F 205.

プロセッサ２０１はメモリ２０２を用いて、本開示の処理を実行するためのプログラムを実行するときに動作するハードウェアである。キー入出力Ｉ／Ｆ２０３は、キーボードやタッチキーデバイスなどと接続されて、ユーザーからの閾値を設定するときに用いられる。また、キー入出力Ｉ／Ｆ２０３は、閾値を設定するユーザーに平均値情報を提示するときに用いられることも考えられる。データ入出力Ｉ／Ｆ２０４は、カメラと接続されて画像データを取得するときに用いられる。また、データ入出力Ｉ／Ｆ２０４は、外部記憶装置と接続されて閾値、履歴情報、環境情報を外部記憶装置（図示せず）にアクセスして記録しても構わない。表示出力Ｉ／Ｆ２０５は、提供情報を表示するなどに用いられる。図２のような構成であれば、表示出力Ｉ／Ｆ２０５はエッジ端末２０と接続されて提供情報をエッジ端末２０に出力する。 The processor 201 is hardware that operates when using the memory 202 to execute a program for executing the processing of the present disclosure. The key input/output I/F 203 is connected to a keyboard, a touch key device, etc., and is used when a threshold value is set by a user. It is also conceivable that the key input/output I/F 203 is used when presenting average value information to a user who sets a threshold value. The data input/output I/F 204 is used when connecting to a camera and acquiring image data. Further, the data input/output I/F 204 may be connected to an external storage device to access and record threshold values, history information, and environmental information in the external storage device (not shown). The display output I/F 205 is used to display provided information. If the configuration is as shown in FIG. 2, the display output I/F 205 is connected to the edge terminal 20 and outputs provided information to the edge terminal 20.

以上に説明したように、本実施の形態１に係る情報処理装置によれば、カメラ画像に含まれる人物に関する情報からプライバシーに配慮したデータを生成することができる。
また、閾値の推奨値をユーザーに提示することで、提供情報を生成するのに適切な閾値をユーザーに設定させることができる。As described above, according to the information processing apparatus according to the first embodiment, data that takes privacy into account can be generated from information about a person included in a camera image.
Furthermore, by presenting the recommended threshold value to the user, it is possible to allow the user to set an appropriate threshold value for generating the provided information.

さらに、提供情報を生成する条件を定義することで、カメラ１０が設置された状況に応じた提供情報を生成することができる。 Furthermore, by defining the conditions for generating the provided information, it is possible to generate the provided information according to the situation in which the camera 10 is installed.

なお、本実施の形態では、わかりやすく説明するために、列車の車両に限定する形で説明してきたが、列車の車両以外にもカメラを設置した状態で、外部端末の制御を行う場合に有効であり、同様の効果が期待できる。 Note that in this embodiment, in order to make the explanation easy to understand, the explanation has been limited to train cars, but this is effective when controlling an external terminal with cameras installed in places other than train cars. Therefore, similar effects can be expected.

また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。 Furthermore, although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments.

１０カメラ、２０エッジ端末、３０モニタ、１００情報処理装置、１１０設定部、１２０データ取得部、１３０推定部、１４０推定情報記憶部、１５０データ取得環境記憶部、１６０データ生成部、１７０データ出力部 Reference Signs List 10 camera, 20 edge terminal, 30 monitor, 100 information processing device, 110 setting unit, 120 data acquisition unit, 130 estimation unit, 140 estimation information storage unit, 150 data acquisition environment storage unit, 160 data generation unit, 170 data output unit

Claims

画像データを取得するデータ取得部と、
閾値を設定する設定部と、
前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定部と、
前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成部と、
前記提供情報を出力するデータ出力部と
を備え、
前記推定情報は、前記画像データから認識した前記人物の属性及び状態を示す情報のうち少なくとも一つの項目を含み、
前記データ生成部は、前記推定情報を集計した結果、前記推定情報の項目が一致する人物の数が前記閾値未満の場合は、当該人物に関する前記推定情報の項目を排除して前記提供情報を生成する
ことを特徴とする情報処理装置。 a data acquisition unit that acquires image data;
a setting section for setting a threshold;
an estimation unit that recognizes a person from the image data and estimates estimated information for each of the recognized persons;
a data generation unit that generates provided information from the estimated information based on a comparison between the aggregated result of the estimated information and the threshold;
and a data output unit that outputs the provided information,
The estimated information includes at least one item of information indicating attributes and conditions of the person recognized from the image data,
If, as a result of aggregating the estimated information, the number of people whose estimated information items match is less than the threshold, the data generation unit generates the provided information by excluding the estimated information items related to the person. An information processing device characterized by:

画像データを取得するデータ取得部と、
閾値を設定する設定部と、
前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定部と、
前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成部と、
前記提供情報を出力するデータ出力部と
を備え、
前記推定情報は、少なくとも年齢に関する項目を含み、
前記データ生成部は、前記推定情報を集計した結果、同じ年齢として推定された人物の数が前記閾値未満であれば、年齢幅を広げて集計することで前記閾値以上となる人数にした上で前記提供情報を生成する
ことを特徴とする情報処理装置。 a data acquisition unit that acquires image data;
a setting section for setting a threshold;
an estimation unit that recognizes a person from the image data and estimates estimated information for each of the recognized persons;
a data generation unit that generates provided information from the estimated information based on a comparison between the aggregated result of the estimated information and the threshold;
and a data output unit that outputs the provided information,
The estimated information includes at least an item related to age,
As a result of aggregating the estimated information, if the number of people estimated to be of the same age is less than the threshold, the data generation unit widens the age range and aggregates the number to make the number equal to or greater than the threshold. An information processing device that generates the provided information.

前記推定部が新たに認識した前記人物の数、推定した前記人物ごとの前記推定情報、および前記画像データの取得時間情報を履歴情報として記録する記憶部を備え、
前記データ生成部は、新たに認識した前記人物の前記推定情報に前記履歴情報を加えて集計した結果から前記提供情報を生成する
ことを特徴とする請求項１または請求項２に記載の情報処理装置。 comprising a storage unit that records the number of people newly recognized by the estimation unit, the estimated information for each estimated person, and acquisition time information of the image data as history information;
The information processing according to claim 1 or 2, wherein the data generation unit generates the provided information from a result of adding the history information to the estimated information of the newly recognized person and aggregating the result. Device.

前記推定情報の集計結果から取得された人数が前記閾値未満のとき、前記設定部は前記履歴情報を用いて様々な時間帯における前記人数の平均値を前記データ出力部から出力させて前記閾値の変更を促すことを特徴とする請求項３に記載の情報処理装置。 When the number of people obtained from the aggregation result of the estimated information is less than the threshold, the setting unit uses the history information to output the average value of the number of people in various time periods from the data output unit, so as to exceed the threshold. 4. The information processing apparatus according to claim 3 , wherein the information processing apparatus prompts for change.

画像データを取得するデータ取得部と、
閾値を設定する設定部と、
前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定部と、
前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成部と、
前記提供情報を出力するデータ出力部と
を備え、
前記推定情報は、前記画像データから認識した前記人物に関する情報として一以上の属性及び一以上の状態のうち少なくとも一つの属性又は状態を項目に含み、
前記データ生成部は、前記推定情報を集計した結果、前記推定情報の項目が一致する人物の数が前記閾値未満の場合は、当該人物に関する前記推定情報の項目を排除して又は前記推定情報の項目を広げて前記人物の数を前記閾値以上となる人数にした上で前記提供情報を生成する
ことを特徴とする情報処理装置。 a data acquisition unit that acquires image data;
a setting section for setting a threshold;
an estimation unit that recognizes a person from the image data and estimates estimated information for each of the recognized persons;
a data generation unit that generates provided information from the estimated information based on a comparison between the aggregated result of the estimated information and the threshold;
and a data output unit that outputs the provided information,
The estimated information includes at least one attribute or state among one or more attributes and one or more states as information regarding the person recognized from the image data,
If the number of people whose estimated information items match is less than the threshold as a result of aggregating the estimated information, the data generation unit eliminates the estimated information items related to the person or adds the estimated information to the estimated information. An information processing apparatus characterized in that the information processing apparatus generates the provided information after expanding the items to make the number of people equal to or more than the threshold value.

前記提供情報として提供可能な条件に関する情報を取得し、
前記データ生成部は、前記履歴情報のうち前記条件を満たす前記推定情報のうちから前記提供情報を生成する
ことを特徴とする請求項３に記載の情報処理装置。 Obtaining information regarding the conditions that can be provided as the provided information,
The information processing apparatus according to claim 3 , wherein the data generation unit generates the provided information from among the estimated information that satisfies the condition among the history information.

前記条件は、時間帯情報を含み、
前記データ生成部は、前記履歴情報のうち前記時間帯情報が示す時間帯内で推定された前記推定情報のうちから前記提供情報を生成し、
前記時間帯での前記推定情報の項目の内容が一致する人物の数が前記閾値未満の場合は、前記履歴情報のうち異なる日の同じ前記時間帯において推定された前記推定情報を含めて前記提供情報を生成する
ことを特徴とする請求項６に記載の情報処理装置。 The conditions include time zone information,
The data generation unit generates the provided information from among the estimated information estimated within the time slot indicated by the time slot information among the history information,
If the number of people whose contents match the estimated information items in the time period is less than the threshold, the provision includes the estimated information estimated in the same time period on a different day from among the historical information. The information processing device according to claim 6 , wherein the information processing device generates information.

前記条件は、区間情報を含み、
前記記憶部は、前記推定部が新たに認識した画像データを取得した位置情報を履歴情報に含めて記録し、
前記データ生成部は、前記履歴情報のうち前記区間情報の条件を満たす前記推定情報のうちから前記提供情報を生成する
ことを特徴とする請求項６または請求項７に記載の情報処理装置。 The conditions include section information,
The storage unit records location information at which the newly recognized image data was acquired by the estimation unit, including it in history information;
The information processing apparatus according to claim 6 or 7 , wherein the data generation unit generates the provided information from among the estimated information that satisfies a condition of the section information among the history information.

前記履歴情報から、時間帯ごとに推定した人数の平均値を算出し、前記算出の結果を出力する
ことを特徴とする請求項３及び請求項６から８のいずれか１項に記載の情報処理装置。 Information processing according to any one of claims 3 and 6 to 8 , characterized in that the average value of the number of people estimated for each time period is calculated from the historical information, and the result of the calculation is output. Device.

情報処理装置によって実施される情報処理方法であって、An information processing method implemented by an information processing device, the method comprising:
画像データを取得するデータ取得ステップと、a data acquisition step of acquiring image data;
閾値を設定する閾値設定ステップと、a threshold setting step of setting a threshold;
前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定ステップと、an estimation step of recognizing a person from the image data and estimating estimated information for each of the recognized persons;
前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成ステップと、a data generation step of generating provided information from the estimated information based on a comparison between the aggregated result of the estimated information and the threshold;
前記提供情報を出力する出力ステップとan output step of outputting the provided information;
を備え、Equipped with
前記推定情報は、前記画像データから認識した前記人物の属性及び状態を示す情報のうち少なくとも一つの項目を含み、The estimated information includes at least one item of information indicating attributes and conditions of the person recognized from the image data,
前記データ生成ステップは、前記推定情報を集計した結果、前記推定情報の項目が一致する人物の数が前記閾値未満の場合は、当該人物に関する前記推定情報の項目を排除して前記提供情報を生成するIn the data generation step, if the number of people whose estimated information items match is less than the threshold as a result of aggregating the estimated information, the provided information is generated by excluding the estimated information items related to the person. do
ことを特徴とする情報処理方法。An information processing method characterized by: