JP7374301B2 - Information processing device and information processing method - Google Patents
Information processing device and information processing method Download PDFInfo
- Publication number
- JP7374301B2 JP7374301B2 JP2022513707A JP2022513707A JP7374301B2 JP 7374301 B2 JP7374301 B2 JP 7374301B2 JP 2022513707 A JP2022513707 A JP 2022513707A JP 2022513707 A JP2022513707 A JP 2022513707A JP 7374301 B2 JP7374301 B2 JP 7374301B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- estimated
- threshold
- person
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 20
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本開示は、個人のプライバシーに配慮したデータを生成して出力する情報処理装置および情報処理方法に関する。 The present disclosure relates to an information processing device and an information processing method that generate and output data that takes personal privacy into consideration.
近年、施設内に設けられたカメラで撮影した画像(以降、カメラ画像とする)に含まれる人物の属性や行動を分析することにより、施設内での人物動線や混雑状況の可視化を行うシステムや、人物の属性や行動等の個人の情報そのものを流通させ、第三者のサービス・システムでの活用を図るデータ流通ビジネスが広まっている。一方で、個人のプライバシー保護の観点より、カメラ画像のように人物に関する情報を活用する場合には、個人が特定されることがないように配慮したデータに加工する必要がある。 In recent years, a system has been developed that visualizes people's flow lines and crowding conditions within facilities by analyzing the attributes and behaviors of people included in images taken with cameras installed within facilities (hereinafter referred to as "camera images"). The data distribution business, which distributes personal information such as people's attributes and actions, and utilizes it in third-party services and systems, is becoming widespread. On the other hand, from the perspective of protecting individual privacy, when using information about people, such as camera images, it is necessary to process the data in a way that prevents individuals from being identified.
例えば、人物動線の分析システムとして、カメラ画像に含まれる移動体の滞留情報、又は通過情報といった動線情報を重畳した動線分析画像を生成する動線分析システムが知られている(特許文献1参照)。特許文献1では、カメラ画像から背景画像、動線情報を生成し、背景画像に対して動線情報を重畳することが開示されている。プライバシー保護のため、背景画像生成時には、カメラ画像に含まれる人物は排除された状態にしている。動線情報には、カメラ画像に含まれる人物の属性である性別、年齢、年代が紐づけられており、人物の属性や、通過量に対してユーザーが条件を指定することによって、条件に応じた動線情報を抽出することが可能である。
For example, as a system for analyzing human flow lines, a flow line analysis system is known that generates a flow line analysis image in which flow line information such as residence information or passing information of a moving object included in a camera image is superimposed (Patent Document (see 1).
しかしながら、上述した特許文献1に記載のシステムでは、カメラ画像に含まれる人物の人数が1人の場合でも動線情報が抽出されるので、抽出対象の条件が例えば「100歳以上の男性」であり、そのシステムが設けられた町に100歳以上の男性が町に1人しかいない場合は、人物の特定が可能となりうるので、プライバシー保護の観点より問題となる恐れがあり、第三者での利用が困難となるという問題があった。
However, in the system described in
本開示は、上記の問題を解消するためになされたもので、カメラ画像に含まれる人物に関する情報からプライバシーに配慮したデータを生成することができる情報処理装置を提供することを目的とする。 The present disclosure has been made in order to solve the above problems, and aims to provide an information processing device that can generate privacy-friendly data from information about a person included in a camera image.
本開示に係る情報処理装置は、画像データを取得するデータ取得部と、閾値を設定する設定部と、前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定部と、前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成部と、前記提供情報を出力するデータ出力部とを備え、前記推定情報は、前記画像データから認識した前記人物の属性及び状態を示す情報のうち少なくとも一つの項目を含み、前記データ生成部は、前記推定情報を集計した結果、前記推定情報の項目が一致する人物の数が前記閾値未満の場合は、当該人物に関する前記推定情報の項目を排除して前記提供情報を生成することを特徴とする。
An information processing device according to the present disclosure includes a data acquisition unit that acquires image data, a setting unit that sets a threshold, and an estimation unit that recognizes a person from the image data and estimates estimated information for each of the recognized persons. , a data generation unit that generates provided information from the estimated information based on a comparison between the aggregation result of the estimated information and the threshold value, and a data output unit that outputs the provided information, the estimated information is The data generation unit includes at least one item of information indicating attributes and states of the person recognized from the data, and the data generation unit is configured to determine that, as a result of aggregating the estimated information, the number of people whose items match the estimated information is equal to the threshold. If the number is less than 1, the provided information is generated by excluding items of the estimated information regarding the person .
本開示によれば、取得した画像データから人物の認識とその人物ごとの推定情報を推定し、推定情報の集計結果と設定した閾値とを比較した上で提供情報を出力するので、プライバシーに配慮したデータを生成することができる。 According to the present disclosure, person recognition and estimated information for each person are estimated from the acquired image data, and provided information is output after comparing the aggregated result of the estimated information with a set threshold, so privacy is considered. data can be generated.
実施の形態1.
以下、図面を参照しながら実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。したがって、具体的な寸法等は以下の説明を参酌して判断すべきものである。また、図面相互間においても
互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
Embodiments will be described below with reference to the drawings. In the description of the drawings below, the same or similar parts are designated by the same or similar symbols. However, it should be noted that the drawings are schematic and the ratio of each dimension may differ from the actual one. Therefore, specific dimensions etc. should be determined with reference to the following explanation. Furthermore, it goes without saying that the drawings include portions with different dimensional relationships and ratios.
図1は、本実施の形態に係る情報処理装置の構成を概略的に示すブロック図である。また、図2は、情報処理装置を搭載したシステムの構成例を示す図である。
本実施の形態に係る情報処理装置100は、データ取得部120と設定部110と推定部130とデータ生成部160とデータ出力部170とを備える。また、図1では、情報処理装置100に推定情報記憶部140及びデータ取得環境記憶部150を備える。FIG. 1 is a block diagram schematically showing the configuration of an information processing apparatus according to this embodiment. Further, FIG. 2 is a diagram showing an example of the configuration of a system equipped with an information processing device.
設定部110は設定した閾値をデータ生成部160へ出力する。データ取得部120は、カメラから取得した画像データを推定部130へ出力する。推定部130は、取得した画像データから認識した人物ごとの推定情報をデータ生成部160へ出力する。データ生成部160は、推定情報の集計結果と閾値との比較に基づいて推定情報から提供情報を生成してデータ出力部170へ出力する。データ出力部170は、提供情報を出力する。また、推定情報記憶部140は、推定部130からの推定情報を記憶し、記憶した推定情報を履歴情報として設定部110及びデータ生成部160へ出力する。データ取得環境記憶部150は、提供情報の生成に使用可能な履歴情報取得条件を環境情報として記憶する。
The
図2では、情報処理装置100を列車の車両内に設置した構成例を示す。図2では情報処理装置100がカメラ10に組み込まれるパターンとして図示しているが、カメラ10と有線もしくは無線で接続するエッジ端末20に情報処理装置100が組み込まれるパターン、または、エッジ端末20と有線もしくは無線で接続されるサーバ(図示せず)に情報処理装置100が組み込まれるパターンなども考えられる。本実施の形態では、情報処理装置100が組み込まれたカメラ10を列車の車両内に設置しており、エッジ端末20は、カメラ10とモニタ30に対して有線で接続されている状況として説明する。図2では、カメラ10は、1車両につき1台以上車両内部の状況を撮影可能な位置(天井部付近等)設置されるものとする。カメラ10は、カメラ画像に含まれる乗客の情報から乗客の属性や状態を含む提供情報を生成し、エッジ端末20へ送信する。エッジ端末20は、カメラ10から受信した提供情報と列車の運行情報をもとにして、モニタ30に表示するコンテンツを切り替える。
FIG. 2 shows a configuration example in which the
情報処理装置100のそれぞれの構成要素について説明する。
設定部110は、提供情報の出力条件となる閾値を設定し、データ生成部160へ閾値を送る。例えば、閾値の設定画面をディスプレイ(図示せず)に表示し、キーボードやマウス等の入力デバイス(図示せず)を介してユーザーが任意の閾値を入力することにより設定する。閾値の設定に使用するディスプレイや入力デバイスは、図2に示すエッジ端末20に接続する構成が考えられるがその限りではなく、カメラ10に直接接続してもよい。本実施の形態では、閾値をカメラ画像に含まれる人物の同属性となる人数とするが、提供情報の出力条件となる値であれば、他の値を閾値として設定してもよい。または閾値自体には人数の設定のみ与えて、以下で説明するデータ生成部160が閾値以上となる同じ情報を持つ人物の人数かを判断して提供情報を生成するものとしても構わない。また、設定する閾値の値は、予め定めた提供許容閾値よりも大きい値を設定することとする。提供許容閾値は例えば1である。Each component of the
The
設定部110における閾値の設定はユーザーが行うため、適切な閾値を設定できていない場合、提供情報の生成ができない状態が多々発生する恐れがある。例えば、乗客数より明らかに大きい値を閾値として設定していた場合は、提供情報の出力条件を満たさないとして提供情報を生成することができない。そのため、設定部110での閾値の設定においては、推定情報記憶部140に一定数履歴情報が記憶されている場合は、推定情報記憶部140から取得した履歴情報に含まれる人数の平均値を算出して、時間帯毎の平均値をユーザーに提示することとする。ユーザーはこの平均値結果をふまえて適切な閾値を設定することができる。時間帯毎の平均値の算出方法の詳細については後述する。
Since the threshold value in the
データ取得部120は、監視カメラ等の外部端末の出力部(図示せず)よりカメラ画像を取得し、推定部130へ送る。情報処理装置100がカメラ10に組み込まれる場合、カメラ10の撮像部(図示せず)にて撮影されたカメラ画像をデータ取得部120が取得する。データ取得部120では、所定のフレームレートに応じてカメラ画像を取得する。もしくは、カメラ10に接続される外部端末からカメラ画像を撮影するタイミングを取得し、データ取得部120へ撮影したカメラ画像を送ってもよい。例えば、カメラ10は、エッジ端末20から列車の運行情報を取得し、列車の走行状態(停車中、駅間走行中、次駅停車前、等)の移行時にカメラ画像を撮影し、データ取得部120へ送ってもよい。
The
推定部130は、カメラ画像に含まれる人物を認識し、認識した人物の属性および状態を推定情報として推定する。人物の属性に関する項目としては、当該人物の年齢,性別,身長などがあり、人物の状態に関する項目としては、当該人物の位置,行動,乗り物,持ち物などが考えられる。そして、推定部130は、推定情報を推定情報記憶部140、推定情報をデータ生成部160へ送る。
The
ここで、カメラ画像に含まれる人物の属性や状態の推定は、公知の画像認識技術を用いて行う。本実施の形態では、人物の位置は、カメラ画像における当該人物の存在位置(x,y)とし、カメラ画像の左下を起点(x0,y0)として横軸をx軸、縦軸をy軸とする。 Here, the attributes and status of the person included in the camera image are estimated using a known image recognition technique. In this embodiment, the position of the person is defined as the position of the person in the camera image (x, y), with the lower left of the camera image as the starting point (x0, y0), the horizontal axis is the x axis, and the vertical axis is the y axis. do.
人物の行動としては、例えば、「立っている」、「座っている」などを推定する。
また、何を見ているかについて推定するようにしてもよい。見ているものの対象として「車内の広告」、「行先案内」、「携帯端末」、「本」、「人物」、「目を閉じている」などを推定する。
乗り物は、例えば、「椅子」、「ベビーカー」、「乗っていない」などを推定する。屋外に設けられたカメラ画像であれば、「自転車」なども候補となる。
持ち物は、例えば、「スーツケース」、「ベビーカー」、「バッグ」、「分類対象の持ち物なし」などを推定する。
これらの推定情報は、ユーザーが分類したい属性や状態の項目を追加設定可能にして画像認識技術で推定できるようにしてもよい。For example, "standing" or "sitting" is estimated as the person's behavior.
Furthermore, it may be possible to estimate what the user is looking at. It estimates what people are looking at, such as ``in-car advertisements,'' ``destination information,'' ``mobile devices,''``books,''``people,'' and ``eyes closed.''
The vehicle is estimated to be, for example, "chair,""stroller," or "not riding." If the image is taken from a camera installed outdoors, a "bicycle" may also be a candidate.
Possible items are estimated to be, for example, ``suitcase,''``stroller,''``bag,'' or ``no belongings to be classified.''
These estimated information may be estimated by image recognition technology by allowing the user to additionally set attributes and status items that they wish to classify.
推定情報としてはユーザーが必要とするものに限ってもよく、例えばカメラ画像の撮影対象領域が車両内の場合は、乗り物に関する状態については推定しないとしてもよい。撮影対象領域がタクシー内やバス等の車両内である場合も、同様である。ただし、カメラ10が街に設置される場合、カメラ画像に含まれる人物が自転車に乗車している場合も想定される。このような場面においては、カメラ画像に含まれる人物の状態として乗り物も推定してもよい。
The estimated information may be limited to what the user needs; for example, if the camera image is captured within a vehicle, the state of the vehicle may not be estimated. The same applies when the shooting target area is inside a vehicle such as a taxi or a bus. However, when the
図3は、推定部130で推定に使用するカメラ画像の一例を示している。
ここで、カメラ画像1に含まれる人物1aは、40歳の男性でスーツケースを持って座席に座っているものとし、人物1bは、30歳の男性で持ち物を持たずに立っているものとする。
推定部130では、まず、取得したカメラ画像から人物検出を行った上で、検出した人物に対して属性や状態の推定を行うための画像認識を行う。その結果、例えば、人物1aについては、(年齢,性別,位置,行動,持ち物)=(40,男性,(x1,y1),座る,スーツケース)と推定される。人物1bについては、(年齢,性別,位置,行動,持ち物)=(30,男性,(x2,y2),立つ,持ち物なし)と推定される。このように、推定部130では、カメラ画像に含まれる人物ごとの推定情報を生成することになり、推定情報を集計すれば認識した人数の情報を得ることができる。FIG. 3 shows an example of a camera image used for estimation by the
Here,
The
また、推定部130がカメラ画像に含まれる人物の属性や状態の推定と同様に公知の人物検出技術を用いてカメラ画像に含まれる人物の人数を取得しても構わない。ここで検出した人数については、カメラ画像に含まれる人物の数としてもよいが、人物の属性、または状態が一致している人数としてもよい。人物の属性、または状態が一致する人数とは、例えば、カメラ画像に含まれる人物が3人おり、カメラ画像に含まれる人物の属性のうち性別の推定結果が「男性,男性,女性」の場合、人数としては、(男性,女性)=(2,1)とする。本実施の形態における人数は、人物の属性、または状態が一致する人数として以降の説明を行うこととする。
Further, the estimating
推定部130で取得したカメラ画像は、推定情報取得後には破棄することとする。ただし、破棄せずにいずれかの記憶部で記憶してもエッジ端末へ転送しても構わない。この場合、カメラ画像は暗号化した上で、記憶または転送することが望ましい。
The camera image acquired by the
推定情報記憶部140は、推定部130から取得した推定情報を履歴情報として記憶する。また、推定情報記憶部140は、設定部110、もしくはデータ生成部160からの要求に応じて、履歴情報を設定部110、もしくはデータ生成部160へ送る。
Estimated
図4は、推定情報記憶部140に記憶されている履歴情報テーブルの例を示す図である。図4では、履歴情報テーブルに記憶された情報として、推定に用いた画像データの取得時刻、人物として認識した人物ごとに推定した属性の情報として年齢及び性別、推定した状態の情報として画像データにおける認識した人物の位置情報、行動、持ち物を示している。履歴情報テーブルには、データ取得部120でのカメラ画像の取得時刻順に推定情報を格納する。例えば、推定部130にて図3のカメラ画像を「19/12/17 8:00」に取得した場合、図4に示すように履歴情報テーブルに格納する。履歴情報テーブルにおける取得時刻の形式は、例えば、「年(西暦の下2桁)/月/日,時:分」であるが、この形式だけには限らず、その他の形式でもよい。
FIG. 4 is a diagram showing an example of a history information table stored in the estimated
推定情報記憶部140が、履歴情報を設定部110へ送る場合について説明する。推定情報記憶部140は、設定部110における閾値設定時に履歴情報が一定数以上記憶されている場合(例えば、一週間分の履歴情報が記憶されているといった場合)に、設定部110からの要求に応じて履歴情報を設定部110へ送る。
A case will be described in which the estimated
次に、設定部110の説明に一時戻る。設定部110は、履歴情報から人数の平均値を算出する。まず、推定情報記憶部140から取得した履歴情報に含まれる人数を所定の時間毎に集計する。ここで、以降の説明において所定の時間を1時間として説明するが、1時間でなく別の時間に設定可能としてもよい。
Next, we briefly return to the explanation of the
図5は、履歴情報に含まれる人数を所定の時間(時間帯)毎に集計した表を示している。図5では、5時から10時までの、同じ時間帯の日ごとの人数情報を示している。例えば、12月10日の5時から6時においては画像データから認識された人物は0人であったこと、つまりカメラ画像には人物が映っていなかったことを示す。また、12月16日の5時から6時においては画像データから認識された人物は1人であるため、カメラ画像には1人の人物が映っていたことになる。 FIG. 5 shows a table in which the number of people included in the history information is totaled for each predetermined time (time period). FIG. 5 shows the number of people information for each day during the same time period from 5:00 to 10:00. For example, from 5:00 to 6:00 on December 10th, no person was recognized from the image data, that is, no person was shown in the camera image. Furthermore, since only one person was recognized from the image data between 5:00 and 6:00 on December 16th, one person was shown in the camera image.
次に、時間帯毎の集計結果に対して、平均値を算出する。例えば、12月10日から12月16日までの7時から8時の時間帯における各日の集計結果が「8,4,7,7,6,5,5」の場合、7時から8時の平均値は、(8+4+7+7+6+5+5)/7=6人となる。この平均値結果をユーザーに示すことで、例えば閾値を平均値そのものに設定するまたは平均値より少し少なめに設定するなど、ユーザーが閾値を設定するときの参考材料となる。 Next, an average value is calculated for the aggregation results for each time period. For example, if the total result for each day in the time period from 7:00 to 8:00 from December 10th to December 16th is "8, 4, 7, 7, 6, 5, 5", then from 7:00 to 8:00 The average value at the time is (8+4+7+7+6+5+5)/7=6 people. By showing the average value result to the user, it becomes a reference material when the user sets the threshold value, for example, by setting the threshold value to the average value itself or setting it slightly less than the average value.
また、12月10日から12月16日までの5時から6時の時間帯における各日の集計結果が「0,0,1,0,0,1,1」の場合、平均値は3/7となり1人未満となる。この平均値結果をユーザーに示すことで、ユーザーは、各日において平均してカメラ画像に人物が映らないことが多く一人では人物の特定が可能となりうるため、その時間帯での提供情報を生成しないことを判断することができる。なお、平均値結果は小数点以下を切り捨てなどした整数値としても構わない。 Also, if the aggregate result for each day from 5:00 to 6:00 from December 10th to December 16th is "0, 0, 1, 0, 0, 1, 1", the average value is 3 /7, which is less than one person. By showing this average value result to the user, the user can generate the information provided for that time period, since there are many cases where a person is not visible in the camera image on average each day, and it may be possible to identify the person by one person. You can decide not to. Note that the average value result may be an integer value with the decimal point rounded down.
平均値を算出するために、連続する日(図5の場合、12/10から12/16までの7日間)の集計結果を推奨値の算出に使用した例を説明したが、同じ曜日の複数の同じ時間帯で集計して平均値の算出に使用してもよい。これは、例えば列車に適用した場合、平日であれば通勤者や学生の利用客が多く、休日であれば通勤者や学生の利用客が大幅になくなり買い物客やレジャー施設へ移動する乗客が多い傾向の路線もある為、同じ曜日の同じ時間帯で平均値を算出したり、平日と休日で分けて同じ時間帯で平均値を算出したりして出力することで、ユーザーに対して傾向に合わせた平均値結果をふまえた閾値設定を促すことができる。 In order to calculate the average value, we have explained an example in which the aggregated results of consecutive days (in the case of Figure 5, 7 days from 12/10 to 12/16) are used to calculate the recommended value. The data may be aggregated over the same time period and used to calculate the average value. For example, when applied to trains, on weekdays there are many commuters and students, but on holidays, there are fewer commuters and students, and there are more shoppers and passengers heading to leisure facilities. Since some routes have a trend, it is possible to calculate the average value for the same time period on the same day of the week, or calculate and output the average value for the same time period on weekdays and holidays, so that users can see the trend. It is possible to prompt threshold setting based on the combined average value results.
データ取得環境記憶部150は、提供情報の生成に使用可能な履歴情報取得条件を環境情報として記憶する。本実施の形態では、履歴情報取得条件は、推定情報記憶部140から取得可能な履歴情報の時間帯を示す。
The data acquisition
図6は、データ取得環境記憶部150に記憶されている環境情報テーブルの例を示す図である。図6では、カメラ10aの履歴情報取得条件は「1時間」と示している。これは、例えば、現在時刻が10時の場合、データ生成部160で生成する提供情報に使用する履歴情報は、現在から1時間前まで遡った9時から現在時刻の10時までの履歴情報から提供情報が取得可能とする。つまり、9時から10時までの履歴情報から提供情報を作成することができることを表す。
また、図6におけるカメラ10dのように、履歴情報取得条件を「条件なし」とすることも可能とする。図6では、「条件なし」を「-」で示している。この場合は、履歴情報を取得するときの制限はないものとして現在時刻から履歴情報が存在するものを取得可能とする。FIG. 6 is a diagram showing an example of an environment information table stored in the data acquisition
Furthermore, like the
本実施の形態では、データ取得環境記憶部150における環境情報テーブルは、予め環境情報を格納しておくこととする。例えば、環境情報である履歴情報取得条件は、特定駅間の走行時間とすることが考えられる。そうすることにより、特定駅間を走行する列車に乗車する乗客の情報を提供情報として取得することができる。ここで、履歴情報取得条件がない場合、例えば、B駅からD駅までに乗車する乗客の情報を得たい場合でも、B駅付近を走行しており、かつ履歴情報を使用して提供情報を生成する場合は、B駅に到着する前の車両内を撮影したカメラ画像の情報を使用することになる。
In this embodiment, the environment information table in the data acquisition
図6では、環境情報テーブルの例としてカメラに対応付けた取得条件の時間を設定するとしたが、これに限らず、例えば複数の位置情報で表した区間で履歴情報の取得可能な条件としても構わない。例えば、情報処理装置が移動体に搭載されている場合、画像データを取得した時刻の移動体の存在位置の情報を併せて履歴情報に記憶することで、移動体が列車であれば、環境情報テーブルにA駅の位置からC駅の位置までの区間が取得可能と設定されていれば、A駅からC駅までの履歴情報から提供情報を生成することが可能であるとすることができる。これにより列車の運行誤差があったとしても取得する区間で条件が設定されていれば適用することが可能になる。 In FIG. 6, as an example of the environmental information table, the time of the acquisition condition associated with the camera is set. However, the present invention is not limited to this, and the condition may be set such that the history information can be acquired in a section represented by multiple pieces of position information, for example. do not have. For example, if the information processing device is mounted on a moving object, information about the location of the moving object at the time when the image data was acquired is also stored in history information, and if the moving object is a train, environmental information can be stored. If it is set in the table that the section from the position of A station to the position of C station can be obtained, it is possible to generate the provided information from the historical information from A station to C station. As a result, even if there is a train operation error, it is possible to apply the conditions as long as they are set for the section to be obtained.
データ生成部160は、設定部110から閾値を、推定部130から推定情報を、推定情報記憶部140から履歴情報を、データ取得環境記憶部150から環境情報を取得することで提供情報を生成し、データ出力部170へ送る。なお、取得した画像データごとに提供情報を生成する場合は、推定情報記憶部140がなくても提供情報は生成できる。
The
設定部110から取得する閾値を「2」として、データ生成部160における、提供情報の生成方法について説明する。データ生成部160で取得した人数または集計した人数が、(男性,女性)=(2,0)の場合、さらに推定情報における年齢に対して同一となる数が2以上となるように推定情報を加工する。
A method of generating provided information in the
データ生成部160で取得した推定情報が、(年齢,性別,位置,行動,持ち物)=(40,男性,(x1,y1),座る,スーツケース)と推定した人物1aと、(年齢,性別,位置,行動,持ち物)=(30,男性,(x2,y2),立つ,持ち物なし)と推定した人物1bとが認識された場合、年齢を「30歳から40歳まで」とすることで同じ年齢幅の人物が2人いたこととなり、閾値「2」と同じ数となる。この場合、提供情報として、(年齢,性別,位置,行動,持ち物)=(30-40,男性,(x1,y1),座る,スーツケース)と、(年齢,性別,位置,行動,持ち物)=(30-40,男性,(x2,y2),立つ,持ち物なし)を生成する。ここで30-40という表現は、推定年齢が30歳から40歳までの年齢幅を示す。
The estimated information obtained by the
また、現在時刻が7時の場合、6時から7時までの履歴情報として、(年齢,性別,位置,行動,持ち物)=(20,女性,(x6,y6),座る,持ち物なし)と推定した人物1cと、(年齢,性別,位置,行動,持ち物)=(60,男性,(x7,y7),座る,持ち物なし)と推定した人物1dとを取得し、さらに現在時刻にデータ生成部160で取得した推定情報が、(年齢,性別,位置,行動,持ち物)=(20,女性,(x3,y3),座る,持ち物なし)と推定した人物1eと、(年齢,性別,位置,行動,持ち物)=(40,女性,(x4,y4),座る,持ち物なし)と推定した人物1fと、年齢,性別,位置,行動,持ち物)=(40,男性,(x5,y5),立つ,スーツケース)と推定した人物1gであったとする。また、設定された閾値を2とする。
Also, if the current time is 7 o'clock, the history information from 6 o'clock to 7 o'clock is (age, gender, location, behavior, belongings) = (20, female, (x6, y6), sitting, no belongings). Obtain the estimated person 1c and the estimated person 1d (age, gender, location, behavior, belongings) = (60, male, (x7, y7), sitting, no belongings), and further generate data at the current time. The estimated information acquired in the
この場合、推定した性別が「男性」については年齢幅を「40-60」とすれば、「男性」でかつ推定された年齢幅が40歳から60歳の人数は人物1cと人物1gの2人であるため閾値以上となる。そこでデータ生成部160は、(年齢,性別,位置,行動,持ち物)=(40-60,男性,(x5,y5),立つ,スーツケース)と(年齢,性別,位置,行動,持ち物)=(40-60,男性,(x7,y7),座る,持ち物なし)とを提供情報として生成することができる。
In this case, if the estimated gender is "male" and the age range is "40-60", then the number of people who are "male" and whose estimated age range is between 40 and 60 is 2 of person 1c and person 1g. Since it is a person, it is above the threshold. Therefore, the
同様に、推定した性別が「女性」については年齢幅を「20-40」とすれば、「女性」でかつ推定された年齢幅が20歳から40歳の人数は人物1cと人物1eと人物1fとで3人であるため閾値以上となる。そこでデータ生成部160は、(20-40,女性,(x3,y3),座る,持ち物なし)と、(年齢,性別,位置,行動,持ち物)=(20-40,女性,(x4,y4),座る,持ち物なし)と、(年齢,性別,位置,行動,持ち物)=(20-40,女性,(x6,y6),座る,持ち物なし)とを提供情報として生成することができる。
Similarly, if the estimated gender is "female" and the age range is "20-40", then the number of people who are "female" and whose estimated age range is 20 to 40 is Person 1c, Person 1e, and Person 1e. Since there are 3 people in 1f, the threshold is exceeded. Therefore, the
このように、推定した性別に対して同じ推定年齢の項目が一致する人数が設定部110からの閾値よりも少ない場合は、推定年齢の年齢幅を広げて人数を集計することで、人数が閾値以上となる人数を確保して提供情報を生成することで、個人が特定される可能性を下げ、プライバシーに配慮した提供情報データを生成することができる。
In this way, if the number of people for whom the same estimated age item matches the estimated gender is less than the threshold value from the
上では推定年齢の年齢幅を広げて人数を集計することで、人数が閾値以上となる人数を確保したが、これに限らない。例えば、履歴情報取得条件で時間の縛りがない場合は、履歴情報を遡る時間を延ばして人数が閾値以上となる人数を確保して提供情報データを生成しても構わない。この場合は、提供情報には提供情報を生成した時間帯の情報も含めることで可能となる。
また、履歴情報取得条件で時間の縛りがあっても、日数や曜日の縛りがない場合は、履歴情報を遡る日を増やして時間を延ばして人数が閾値以上となる人数を確保して提供情報データを生成しても構わない。この場合は、提供情報には提供情報を生成した日数の情報も含めることで可能となる。In the above, by widening the age range of the estimated age and counting the number of people, we secured the number of people whose number is equal to or greater than the threshold value, but the present invention is not limited to this. For example, if there is no time constraint in the history information acquisition conditions, the provided information data may be generated by extending the time taken to trace the history information to ensure a number of people whose number is equal to or greater than a threshold value. In this case, this can be done by including information on the time period in which the provided information was generated.
In addition, even if there is a time restriction in the history information acquisition condition, if there is no restriction on the number of days or days of the week, you can increase the number of days that history information goes back and extend the time to ensure that the number of people exceeds the threshold and provide information. It doesn't matter if you generate data. In this case, it is possible to do this by including information on the number of days in which the provided information was generated.
データ出力部170は、データ生成部160から提供情報を取得し、外部へ出力する。情報処理装置100がカメラ10に組み込まれる場合、データ出力部170は、カメラ10に接続される端末へ提供情報を出力することになる。本実施の形態では、カメラ10はエッジ端末20と有線で接続される場合を想定しているため、カメラ10からエッジ端末20へ提供情報を送信する。
The
本実施の形態では、エッジ端末20にて、カメラ10から取得した提供情報を使用して、モニタ30にて表示すべきコンテンツを切り替える。これは、例えば複数のコンテンツのうち、化粧品の広告コンテンツや中年層向けの旅行ツアー広告コンテンツなど、ターゲットが明確なコンテンツがある場合に、提供情報をふまえて選択して表示することで宣伝効率を向上させることができることを示している。
In this embodiment, the
次に本実施の形態に関わる情報処理装置100の動作の流れについて説明する。
まず、情報処理装置100の電源投入後、設定部110にて閾値を設定する。このとき、予めユーザーが設定した閾値を記憶した記憶部から閾値を読み込んでも構わないし、情報処理装置100の電源投入後にユーザーが設定しても構わない。また履歴情報からの平均値に基づいて平均値から所定の数を引いた数、例えば平均値が20であれば所定の数3を引いた17を設定するなどである。ただし閾値は、個人特定される確率を下げるために少なくとも1よりも大きな値を設定することが望ましい。ここで、推定情報記憶部140から取得する履歴情報の数に関しては予め定義しておく。
これにより、ユーザーが設定するとき、履歴情報からの平均値をユーザーに表示してユーザーに提示したうえでユーザーが閾値入力を行なうことで、ユーザーに平均値をふまえた閾値設定を促すことができる。Next, the flow of operations of the
First, after powering on the
As a result, when the user sets, the average value from historical information is displayed to the user and the user inputs the threshold value, thereby prompting the user to set the threshold value based on the average value. .
設定部110にて閾値を設定した後は、データ取得部120がカメラ10にて撮影されたカメラ画像の取得を開始する。データ取得部120は、取得したカメラ画像を推定部130へ送る。
After the threshold value is set by the
次に推定部130は、カメラ画像に含まれる人物を認識し、認識した人物の属性や状態である推定情報を取得する。推定情報を取得すると、推定部130は推定情報記憶部140とデータ生成部160へ送る。
Next, the
次に推定情報記憶部140は、推定部130から取得した推定情報を履歴情報テーブルへ格納する。図4の履歴情報テーブルでは、履歴情報を降順で格納しているがこれに限らず、昇順としてもよい。
Next, the estimated
次に、データ生成部160は、推定部130から推定情報を取得すると提供情報を生成する。図7は、本実施の形態に係るデータ生成部160における提供情報の生成処理を示すフローチャートである。データ生成部160は、推定部130から推定情報と人数を取得する(ステップS101)ただし人数は推定部130から取得するのではなく推定情報を集計することで人数情報を取得するものとしても構わない。その後、設定部110から閾値を取得する(ステップS102)。そして、データ取得環境記憶部150から環境情報を取得する(ステップS103)。ステップS101、ステップS102、およびステップS103の順番はこれに限らず、同時に取得しても構わない。
Next, when the
次に取得した人数と閾値とを比較する(ステップS104)。取得した人数、または推定情報における項目が一致する人物の数が、閾値以上の場合(ステップS104でYES)は、ステップS105の処理へ進み、閾値より少ない場合(ステップS104でNO)は、ステップS106の処理へ進む。 Next, the obtained number of people is compared with a threshold value (step S104). If the acquired number of people or the number of people whose items match the estimated information is equal to or greater than the threshold (YES in step S104), the process proceeds to step S105, and if it is less than the threshold (NO in step S104), the process proceeds to step S106. Proceed to processing.
ステップS104でYESと判断された場合、データ生成部160は、推定情報から提供情報を生成し(ステップS105)、データ生成処理を終了する。
If YES is determined in step S104, the
ステップS104でNOと判断された場合、データ生成部160は、環境情報における履歴情報取得条件を満たすか否かを判定する(ステップS106)。環境情報における履歴情報取得条件を満たすと判断された場合(ステップS106でYES)は、ステップS107の処理へ進み、満たすと判断されなかった場合(ステップS106でNO)は、データ生成処理を終了する。
If it is determined NO in step S104, the
ステップS107の処理では、データ生成部160は、推定情報記憶部140から一定時間帯分の履歴情報を取得する。ここで、取得する履歴情報の時間帯を1時間とすると、推定部130から取得した推定情報における取得時刻が7時であれば、6時から7時までの履歴情報を取得することとする。
In the process of step S107, the
そして、推定情報記憶部140から取得した履歴情報の人数を、推定部130から取得した人数に加算し(ステップS108)、再度、人数と閾値との比較を行う(ステップS109)。人数が閾値以上の場合(ステップS109でYES)、ステップS110の処理へ進む。ステップS109でNOの場合、ステップS111の処理に進む。
Then, the number of people in the history information acquired from the estimated
ステップS110の処理では、データ生成部160は、推定部130から取得した推定情報と、推定情報記憶部140から取得した履歴情報からステップS105と同様に提供情報を生成する(ステップS110)。そしてその後、データ生成処理を終了する。
In the process of step S110, the
ステップS111の処理では、データ生成部160は、前回取得した履歴情報より過去の履歴情報を取得するように、履歴情報を取得する時間帯を変更する(ステップS111)。例えば、前回、6時から7時までの履歴情報を取得した場合は、5時から6時までの履歴情報を取得することができるように、取得する履歴情報の時間帯を変更する。そして再度、ステップS106の処理に進む。
In the process of step S111, the
図8は、情報処理装置100についてプロセッサを用いて示した図である。プロセッサ201は、メモリ202,キー入出力インターフェース(以下、I/F)203,データ入出力I/F204,及び表示出力I/F205と接続されている。
FIG. 8 is a diagram showing the
プロセッサ201はメモリ202を用いて、本開示の処理を実行するためのプログラムを実行するときに動作するハードウェアである。キー入出力I/F203は、キーボードやタッチキーデバイスなどと接続されて、ユーザーからの閾値を設定するときに用いられる。また、キー入出力I/F203は、閾値を設定するユーザーに平均値情報を提示するときに用いられることも考えられる。データ入出力I/F204は、カメラと接続されて画像データを取得するときに用いられる。また、データ入出力I/F204は、外部記憶装置と接続されて閾値、履歴情報、環境情報を外部記憶装置(図示せず)にアクセスして記録しても構わない。表示出力I/F205は、提供情報を表示するなどに用いられる。図2のような構成であれば、表示出力I/F205はエッジ端末20と接続されて提供情報をエッジ端末20に出力する。
The
以上に説明したように、本実施の形態1に係る情報処理装置によれば、カメラ画像に含まれる人物に関する情報からプライバシーに配慮したデータを生成することができる。
また、閾値の推奨値をユーザーに提示することで、提供情報を生成するのに適切な閾値をユーザーに設定させることができる。As described above, according to the information processing apparatus according to the first embodiment, data that takes privacy into account can be generated from information about a person included in a camera image.
Furthermore, by presenting the recommended threshold value to the user, it is possible to allow the user to set an appropriate threshold value for generating the provided information.
さらに、提供情報を生成する条件を定義することで、カメラ10が設置された状況に応じた提供情報を生成することができる。
Furthermore, by defining the conditions for generating the provided information, it is possible to generate the provided information according to the situation in which the
なお、本実施の形態では、わかりやすく説明するために、列車の車両に限定する形で説明してきたが、列車の車両以外にもカメラを設置した状態で、外部端末の制御を行う場合に有効であり、同様の効果が期待できる。 Note that in this embodiment, in order to make the explanation easy to understand, the explanation has been limited to train cars, but this is effective when controlling an external terminal with cameras installed in places other than train cars. Therefore, similar effects can be expected.
また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。 Furthermore, although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments.
10 カメラ、20 エッジ端末、30 モニタ、100 情報処理装置、110 設定部、120 データ取得部、130 推定部、140 推定情報記憶部、150 データ取得環境記憶部、160 データ生成部、170 データ出力部
Claims (10)
閾値を設定する設定部と、
前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定部と、
前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成部と、
前記提供情報を出力するデータ出力部と
を備え、
前記推定情報は、前記画像データから認識した前記人物の属性及び状態を示す情報のうち少なくとも一つの項目を含み、
前記データ生成部は、前記推定情報を集計した結果、前記推定情報の項目が一致する人物の数が前記閾値未満の場合は、当該人物に関する前記推定情報の項目を排除して前記提供情報を生成する
ことを特徴とする情報処理装置。 a data acquisition unit that acquires image data;
a setting section for setting a threshold;
an estimation unit that recognizes a person from the image data and estimates estimated information for each of the recognized persons;
a data generation unit that generates provided information from the estimated information based on a comparison between the aggregated result of the estimated information and the threshold;
and a data output unit that outputs the provided information,
The estimated information includes at least one item of information indicating attributes and conditions of the person recognized from the image data,
If, as a result of aggregating the estimated information, the number of people whose estimated information items match is less than the threshold, the data generation unit generates the provided information by excluding the estimated information items related to the person. An information processing device characterized by:
閾値を設定する設定部と、
前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定部と、
前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成部と、
前記提供情報を出力するデータ出力部と
を備え、
前記推定情報は、少なくとも年齢に関する項目を含み、
前記データ生成部は、前記推定情報を集計した結果、同じ年齢として推定された人物の数が前記閾値未満であれば、年齢幅を広げて集計することで前記閾値以上となる人数にした上で前記提供情報を生成する
ことを特徴とする情報処理装置。 a data acquisition unit that acquires image data;
a setting section for setting a threshold;
an estimation unit that recognizes a person from the image data and estimates estimated information for each of the recognized persons;
a data generation unit that generates provided information from the estimated information based on a comparison between the aggregated result of the estimated information and the threshold;
and a data output unit that outputs the provided information,
The estimated information includes at least an item related to age,
As a result of aggregating the estimated information, if the number of people estimated to be of the same age is less than the threshold, the data generation unit widens the age range and aggregates the number to make the number equal to or greater than the threshold. An information processing device that generates the provided information.
前記データ生成部は、新たに認識した前記人物の前記推定情報に前記履歴情報を加えて集計した結果から前記提供情報を生成する
ことを特徴とする請求項1または請求項2に記載の情報処理装置。 comprising a storage unit that records the number of people newly recognized by the estimation unit, the estimated information for each estimated person, and acquisition time information of the image data as history information;
The information processing according to claim 1 or 2, wherein the data generation unit generates the provided information from a result of adding the history information to the estimated information of the newly recognized person and aggregating the result. Device.
閾値を設定する設定部と、
前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定部と、
前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成部と、
前記提供情報を出力するデータ出力部と
を備え、
前記推定情報は、前記画像データから認識した前記人物に関する情報として一以上の属性及び一以上の状態のうち少なくとも一つの属性又は状態を項目に含み、
前記データ生成部は、前記推定情報を集計した結果、前記推定情報の項目が一致する人物の数が前記閾値未満の場合は、当該人物に関する前記推定情報の項目を排除して又は前記推定情報の項目を広げて前記人物の数を前記閾値以上となる人数にした上で前記提供情報を生成する
ことを特徴とする情報処理装置。 a data acquisition unit that acquires image data;
a setting section for setting a threshold;
an estimation unit that recognizes a person from the image data and estimates estimated information for each of the recognized persons;
a data generation unit that generates provided information from the estimated information based on a comparison between the aggregated result of the estimated information and the threshold;
and a data output unit that outputs the provided information,
The estimated information includes at least one attribute or state among one or more attributes and one or more states as information regarding the person recognized from the image data,
If the number of people whose estimated information items match is less than the threshold as a result of aggregating the estimated information, the data generation unit eliminates the estimated information items related to the person or adds the estimated information to the estimated information. An information processing apparatus characterized in that the information processing apparatus generates the provided information after expanding the items to make the number of people equal to or more than the threshold value.
前記データ生成部は、前記履歴情報のうち前記条件を満たす前記推定情報のうちから前記提供情報を生成する
ことを特徴とする請求項3に記載の情報処理装置。 Obtaining information regarding the conditions that can be provided as the provided information,
The information processing apparatus according to claim 3 , wherein the data generation unit generates the provided information from among the estimated information that satisfies the condition among the history information.
前記データ生成部は、前記履歴情報のうち前記時間帯情報が示す時間帯内で推定された前記推定情報のうちから前記提供情報を生成し、
前記時間帯での前記推定情報の項目の内容が一致する人物の数が前記閾値未満の場合は、前記履歴情報のうち異なる日の同じ前記時間帯において推定された前記推定情報を含めて前記提供情報を生成する
ことを特徴とする請求項6に記載の情報処理装置。 The conditions include time zone information,
The data generation unit generates the provided information from among the estimated information estimated within the time slot indicated by the time slot information among the history information,
If the number of people whose contents match the estimated information items in the time period is less than the threshold, the provision includes the estimated information estimated in the same time period on a different day from among the historical information. The information processing device according to claim 6 , wherein the information processing device generates information.
前記記憶部は、前記推定部が新たに認識した画像データを取得した位置情報を履歴情報に含めて記録し、
前記データ生成部は、前記履歴情報のうち前記区間情報の条件を満たす前記推定情報のうちから前記提供情報を生成する
ことを特徴とする請求項6または請求項7に記載の情報処理装置。 The conditions include section information,
The storage unit records location information at which the newly recognized image data was acquired by the estimation unit, including it in history information;
The information processing apparatus according to claim 6 or 7 , wherein the data generation unit generates the provided information from among the estimated information that satisfies a condition of the section information among the history information.
ことを特徴とする請求項3及び請求項6から8のいずれか1項に記載の情報処理装置。 Information processing according to any one of claims 3 and 6 to 8 , characterized in that the average value of the number of people estimated for each time period is calculated from the historical information, and the result of the calculation is output. Device.
画像データを取得するデータ取得ステップと、a data acquisition step of acquiring image data;
閾値を設定する閾値設定ステップと、a threshold setting step of setting a threshold;
前記画像データから人物を認識し、認識した前記人物ごとの推定情報を推定する推定ステップと、an estimation step of recognizing a person from the image data and estimating estimated information for each of the recognized persons;
前記推定情報の集計結果と前記閾値との比較に基づいて前記推定情報から提供情報を生成するデータ生成ステップと、a data generation step of generating provided information from the estimated information based on a comparison between the aggregated result of the estimated information and the threshold;
前記提供情報を出力する出力ステップとan output step of outputting the provided information;
を備え、Equipped with
前記推定情報は、前記画像データから認識した前記人物の属性及び状態を示す情報のうち少なくとも一つの項目を含み、The estimated information includes at least one item of information indicating attributes and conditions of the person recognized from the image data,
前記データ生成ステップは、前記推定情報を集計した結果、前記推定情報の項目が一致する人物の数が前記閾値未満の場合は、当該人物に関する前記推定情報の項目を排除して前記提供情報を生成するIn the data generation step, if the number of people whose estimated information items match is less than the threshold as a result of aggregating the estimated information, the provided information is generated by excluding the estimated information items related to the person. do
ことを特徴とする情報処理方法。An information processing method characterized by:
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/015467 WO2021205497A1 (en) | 2020-04-06 | 2020-04-06 | Information processing device and information processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021205497A1 JPWO2021205497A1 (en) | 2021-10-14 |
JPWO2021205497A5 JPWO2021205497A5 (en) | 2022-06-16 |
JP7374301B2 true JP7374301B2 (en) | 2023-11-06 |
Family
ID=78022600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022513707A Active JP7374301B2 (en) | 2020-04-06 | 2020-04-06 | Information processing device and information processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7374301B2 (en) |
WO (1) | WO2021205497A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023242990A1 (en) * | 2022-06-15 | 2023-12-21 | 三菱電機株式会社 | Information processing device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011002784A (en) | 2009-06-22 | 2011-01-06 | Nippon Telegr & Teleph Corp <Ntt> | Digital signage device, and control processing method and control processing program thereof |
JP2017203878A (en) | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | Image processing system, image processing method and program |
WO2020031892A1 (en) | 2018-08-08 | 2020-02-13 | Kddi株式会社 | Advertisement control device and advertisement control method |
-
2020
- 2020-04-06 WO PCT/JP2020/015467 patent/WO2021205497A1/en active Application Filing
- 2020-04-06 JP JP2022513707A patent/JP7374301B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011002784A (en) | 2009-06-22 | 2011-01-06 | Nippon Telegr & Teleph Corp <Ntt> | Digital signage device, and control processing method and control processing program thereof |
JP2017203878A (en) | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | Image processing system, image processing method and program |
WO2020031892A1 (en) | 2018-08-08 | 2020-02-13 | Kddi株式会社 | Advertisement control device and advertisement control method |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021205497A1 (en) | 2021-10-14 |
WO2021205497A1 (en) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sánchez-Martínez | Inference of public transportation trip destinations by using fare transaction and vehicle location data: Dynamic programming approach | |
US10607356B2 (en) | Congestion analysis device, congestion analysis method, and congestion analysis program | |
US20210004731A1 (en) | Ticketing method and system | |
Nick et al. | Classifying means of transportation using mobile sensor data | |
JP6295505B2 (en) | Congestion information output method, congestion information output device, program, congestion degree output program, congestion degree output method, and congestion degree output device | |
CN110782625A (en) | Riding safety alarm method and device, electronic equipment and storage medium | |
KR20210152450A (en) | Information processing method, program and terminal | |
CN110521213A (en) | Story making video method and system | |
JP7374301B2 (en) | Information processing device and information processing method | |
JP2019008689A (en) | Traffic demand prediction device, traffic demand prediction method, and traffic demand prediction program | |
JP6688149B2 (en) | Taxi demand estimation system | |
CN109767298A (en) | The matched method and system of passenger's driver safety | |
JP6837735B2 (en) | Regional information sharing device, regional information sharing system and program | |
JP6768921B2 (en) | Mobile plan provision system, mobile plan provision method, and program | |
JP2021003972A (en) | Information processor, station management system, station management equipment and program | |
Jin et al. | Do built environment factors have different effects on ridesourcing usage before and after the COVID-19 pandemic? | |
JP7447915B2 (en) | Processing equipment, processing method and program | |
JP7199623B1 (en) | Information processing equipment | |
US20210390535A1 (en) | Payment service apparatus, payment service system, payment service method, and payment service program | |
JP6828132B1 (en) | Accident occurrence prediction system and accident occurrence prediction method | |
JP2018018552A (en) | Congestion degree output program, congestion degree output method and congestion degree output device | |
JP2020057178A (en) | Information processing device | |
WO2023127101A1 (en) | Passenger data generation device, passenger data generation method, and program | |
Otu et al. | An analysis of transit safety among college students in Lagos, Nigeria | |
JP7246274B2 (en) | Content providing device, content providing method and content providing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220406 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7374301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |