JP7421149B2 - 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 - Google Patents
広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 Download PDFInfo
- Publication number
- JP7421149B2 JP7421149B2 JP2022183505A JP2022183505A JP7421149B2 JP 7421149 B2 JP7421149 B2 JP 7421149B2 JP 2022183505 A JP2022183505 A JP 2022183505A JP 2022183505 A JP2022183505 A JP 2022183505A JP 7421149 B2 JP7421149 B2 JP 7421149B2
- Authority
- JP
- Japan
- Prior art keywords
- advertisement
- person
- viewing
- head
- viewing information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 92
- 230000010365 information processing Effects 0.000 title claims description 13
- 230000008569 process Effects 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 54
- 238000009434 installation Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 description 22
- 230000004048 modification Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 10
- 230000001186 cumulative effect Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
- G06Q30/0246—Traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は、広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置に関する。
従来、学習モデルを用いて、頭部画像から顔の向きを出力する技術が知られている(例えば非特許文献1等参照)。また、監視カメラ等を用いた人物の追跡を実現するため、動画のフレーム間で人物をトラッキングする技術についても知られている(例えば、非特許文献2、特許文献1等参照)。
Nataniel Ruiz, Eunji Chong, James M. Rehg、" Fine-Grained Head Pose Estimation Without Keypoints "、[online]、2018年4月13日、arXiv.org、[令和1年8月20日検索]、インターネット(URL:https://arxiv.org/pdf/1710.00925.pdf)
Michael Thoreau, Navinda Kottege、" Improving Online Multiple Object tracking with Deep Metric Learning "、[online]、2018年6月20日、arXiv.org、[令和1年8月20日検索]、インターネット(URL:https://arxiv.org/pdf/1806.07592.pdf)
例えば、監視カメラから取得した1フレームから人物の頭部を抽出し、頭部から推定される顔の向きと広告が設置された位置との関係を用いることで、フレーム内の人物が広告の方向を向いているかどうかを推定できると考えられる。また、所定時間内に得られた複数のフレームにおける推定結果を合算することで、所定時間内において広告の方向を向いていた人物の数や、人物が広告の方向を向いていた時間を得ることができると考えられる。
しかしながら、単に複数フレームにおける推定結果を合算しただけでは、広告の閲覧とは見做せないような場合(例えば人物が一瞬だけ広告の方向を向いた場合など)まで人数や時間としてカウントしてしまうおそれがある。
1つの側面では、本発明は、カメラから得られる映像情報から、広告の効果測定に資する正確な情報を出力することが可能な広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置を提供することを目的とする。
一つの態様では、広告閲覧情報出力方法は、広告の設置場所近傍の領域を撮影するカメラが撮影した映像を取得し、前記映像を分析することで、前記映像に含まれる人物の顔領域とは異なる領域である頭部領域を抽出し、抽出した前記頭部領域から前記人物の頭の向きを推定し、前記人物の位置と前記広告の設置場所との関係、及び前記人物の頭の向きに基づいて、前記人物の視野内に前記広告が入っているか否かを判定し、前記人物の視野内に前記広告が入っているか否かの判定結果に基づいて、前記広告の閲覧に関する広告閲覧情報を生成し、前記広告閲覧情報を出力する、処理をコンピュータが実行する広告閲覧情報出力方法である。
カメラから得られる映像情報から、広告の効果測定に資する正確な情報を出力することができる。
《第1の実施形態》
以下、第1の実施形態について、図1~図13に基づいて詳細に説明する。
以下、第1の実施形態について、図1~図13に基づいて詳細に説明する。
図1には、第1の実施形態に係る広告効果測定システム100の構成が概略的に示されている。本第1の実施形態の広告効果測定システム100は、街中や駅構内などに設置される広告(紙媒体、デジタルサイネージなど形式は問わない)を通行人がどの程度閲覧しているかを自動的に判定して、出力するシステムである。
図1に示すように、広告効果測定システム100は、カメラ50と、情報処理装置としてのサーバ10と、利用者端末70と、を備える。カメラ50、サーバ10、利用者端末70は、インターネットなどのネットワーク80に接続されている。
ここで、カメラ50は、例えば駅に設置されるカメラ(監視カメラ)であり、図2に示すように、駅構内の柱に設けられた広告110の近傍に設置されているものとする。なお、カメラの設置場所は、広告を閲覧可能な領域を撮影可能な場所であればよい。例えば、広告110に対向して、設置されていてもよい。カメラ50の撮影範囲(画角)は、例えば、図2において破線枠で示すような広告110近傍の領域を含む範囲であるものとする。
サーバ10は、カメラ50において撮影された映像情報(動画)を取得して、広告の方を向いている人物を特定するとともに、広告110を閲覧している人物を特定する。また、サーバ10は、広告110を閲覧している人数に関する情報を生成して、利用者端末70に対して出力する。なお、本第1の実施形態においては、人物が広告の方を向いている(頭の向きが広告の方を向いている)場合を、「視認」していると表現する。なお、頭の向きは、基準方向に対する角度のずれであらわされる。例えば、本第1の実施形態においては、基準方向は、首をひねったり上下に動かさずに、まっすぐカメラのレンズに顔を向けているときの方向である。この場合、首を動かさずに、カメラに対して顔が正対しているとき、頭の向きを示す3次元角度(Pitch(ピッチ)、Roll(ロール)、Yaw(ヨー))はいずれもゼロとなる。
このように、頭の向きに基づき、顔の向きを推定可能であって、さらには、顔の向きから視線方向を推定可能であるため、本第1の実施形態では、頭の向きと広告の設置位置とから、人物が広告を視認しているかを判定することができる。よって、本第1の実施形態には、ある時点における頭の向きが、広告の設置場所に向いていることは、人物が広告を「視認」しているとみなす。このように、頭部の向きを推定することは、視線方向を推定することに相当する。人物が広告を「視認」している場合、人物の視野内に広告が入っている可能性が高いことを意味する。また、本第1の実施形態では、人物が広告を「視認」している状態が一定時間以上(後述する閲覧最小時間以上)継続された場合、人物が広告を「閲覧」したものとする。人物が広告を「閲覧」した場合、広告の内容を確認できた可能性が高いこと、すなわち人物が広告を視聴したことを意味するものとする。
このように、頭の向きに基づき、顔の向きを推定可能であって、さらには、顔の向きから視線方向を推定可能であるため、本第1の実施形態では、頭の向きと広告の設置位置とから、人物が広告を視認しているかを判定することができる。よって、本第1の実施形態には、ある時点における頭の向きが、広告の設置場所に向いていることは、人物が広告を「視認」しているとみなす。このように、頭部の向きを推定することは、視線方向を推定することに相当する。人物が広告を「視認」している場合、人物の視野内に広告が入っている可能性が高いことを意味する。また、本第1の実施形態では、人物が広告を「視認」している状態が一定時間以上(後述する閲覧最小時間以上)継続された場合、人物が広告を「閲覧」したものとする。人物が広告を「閲覧」した場合、広告の内容を確認できた可能性が高いこと、すなわち人物が広告を視聴したことを意味するものとする。
利用者端末70は、例えば、広告110の掲示スペース(広告スペース)を提供する業者や、広告110の広告主が利用するPC(Personal Computer)などの端末である。利用者端末70は、利用者からの入力に応じて、サーバ10に対して情報の出力を要求するとともに、サーバ10から出力された情報を受信して、表示等する。
図3(b)には、利用者端末70のハードウェア構成が概略的に示されている。図3(b)に示すように、利用者端末70は、CPU(Central Processing Unit)190、ROM(Read Only Memory)192、RAM(Random Access Memory)194、記憶部(ここではHDD(Hard Disk Drive))196、ネットワークインタフェース197、表示部193、入力部195、及び可搬型記憶媒体191からプログラムやデータ等を読み取り可能な可搬型記憶媒体用ドライブ199等を備えている。表示部193は、液晶ディスプレイ等を含み、入力部195は、キーボードやマウス、タッチパネル等を含む。これら利用者端末70の構成各部は、バス198に接続されている。
(サーバ10について)
以下、サーバ10の詳細について説明する。
以下、サーバ10の詳細について説明する。
図3(a)には、サーバ10のハードウェア構成が概略的に示されている。図3(a)に示すように、サーバ10は、CPU90、ROM92、RAM94、記憶部(HDD)96、ネットワークインタフェース97、及び可搬型記憶媒体用ドライブ99等を備えている。これらサーバ10の構成各部は、バス98に接続されている。サーバ10では、ROM92あるいはHDD96に格納されているプログラム(広告閲覧情報出力プログラムを含む)、或いは可搬型記憶媒体用ドライブ99が可搬型記憶媒体91から読み取ったプログラム(広告閲覧情報出力プログラムを含む)をCPU90が実行することにより、図4に示す各部の機能が実現される。なお、図4には、サーバ10のHDD96等に格納されている視認判定結果テーブル40及び閲覧判定結果テーブル42も図示されている。なお、図4の各部の機能は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
図4には、サーバ10の機能ブロック図が示されている。図4に示すように、サーバ10では、CPU90がプログラムを実行することにより、取得部としての動画取得部20、広告視認判定部22、判定部としての広告閲覧判定部24、生成部としての出力情報生成部26、出力処理部としての出力部28、としての機能が実現されている。なお、CPU90は、動画取得部20、広告視認判定部22、広告閲覧判定部24、出力情報生成部26として機能する。ネットワークインタフェース197または表示部193は、出力部28として機能する。
動画取得部20は、カメラ50が撮影した動画を所定時間ごとに取得し、動画DB38に格納する。
広告視認判定部22は、利用者端末70からの指示に基づいて、動画DB38に格納された動画から、必要な動画を取得し、取得した動画に写っている人物それぞれが広告を視認したか否かを判定する処理を実行する。たとえば、利用者から指定された時間帯の動画や、所定時間幅の動画が取得される。広告視認判定部22は、判定結果を視認判定結果テーブル40に格納する。
図5、図6には、広告視認判定部22による処理の概要が示されている。広告視認判定部22は、動画から切り出される各フレームにおいて、人物を検出し、図5(a)において破線枠にて示すように、各人物の頭部領域を抽出する。そして、各人物の頭部領域の画像から、基準方向に対する頭の向きとして、3次元での回転角(ピッチ、ロール、ヨー)を推定する。なお、以下においては、この回転角を「3次元角度」と呼ぶ。上述のとおり、頭の向きを示す3次元角度に基づき、視線方向を推定することができる。図5(b)には、3次元角度が矢印にて示されている。この3次元角度の推定は、3次元ヘッドポーズ推定や、頭部姿勢推定(Head pose estimation)などと呼ばれ、上述した非特許文献1に開示されている技術を採用することができる。例えば、3次元ヘッドポーズ推定技術は、事前に、頭部領域の画像を入力として、基準方向に対する頭の向きを出力する学習モデルを準備する。そして、ヘッドポーズ推定時には、推定対象の人物の頭部領域の画像を学習モデルに入力することで、頭の向きを示す3次元角度を得る。
次に、頭部の3次元角度から推定される視線方向が、広告を向いているかを判定するための処理ついて説明する。例えば、本実施例に係るシステムの管理者は、カメラ50の撮影領域に対しては、例えば図5(c)に示すように、複数(例えば3つ)のエリアA、B、Cを設定する。そして、管理者は、各エリアA~Cに存在する人物が広告を視認している可能性の高い角度範囲α、β、γを設定する。
そして、広告視認判定部22は、例えば、人物がエリアAに存在する場合、人物の向いている方向(3次元角度)が角度範囲α内であれば、広告を視認していると判定する。具体的には、ピッチ、ロール、ヨー各々について、角度範囲の条件α1(ピッチ)、α2(ロール)、α3(ヨー)が、角度範囲αとして設定される。広告視認判定部22は、頭部方向(3次元角度)を構成するピッチ角、ロール角、ヨー角すべてが、それぞれ指定された角度範囲内であれば、人物は広告を視認していると判断する。なお、広告視認判定部22は、ピッチ角、ロール角、ヨー角のうち、ヨー角のみを使って、事前に指定された角度範囲α内であるかを判定してもよい。
また、広告視認判定部22は、人物がエリアBに存在する場合、人物の向いている方向(3次元角度)が角度範囲β内であれば、広告を視認していると判定する。この場合にも、エリアAの場合と同様、3次元角度(ピッチ、ロール、ヨー)全てを用いて人物が広告を視認しているかを判断してもよいし、ヨー角のみを用いて人物が広告を視認しているかを判断してもよい。
更に、広告視認判定部22は、人物がエリアCに存在する場合、人物の向いている方向(3次元角度)が角度範囲γ内であれば、広告を視認していると判定する。この場合にも、エリアA、Bの場合と同様、3次元角度(ピッチ、ロール、ヨー)全てを用いて人物が広告を視認しているかを判断してもよいし、ヨー角のみを用いて人物が広告を視認しているかを判断してもよい。
図5(d)においては、上記判定の結果、広告を視認している可能性が高いと判定した人物に「真」、そうでない人物に「偽」を付して示している。なお、撮影範囲内に設定されるエリアの数は、3つ以外であってもよい。また、各エリアは同一面積でなくてもよいし、撮影範囲は縦方向及び横方向に分割されてもよい。また、エリアや角度範囲は、システム管理者が手動で設定してもよいし、システム管理者が入力した広告の位置と撮影範囲との関係に基づいて、サーバ10が自動的に設定することとしてもよい。
また、広告視認判定部22は、人物がエリアBに存在する場合、人物の向いている方向(3次元角度)が角度範囲β内であれば、広告を視認していると判定する。この場合にも、エリアAの場合と同様、3次元角度(ピッチ、ロール、ヨー)全てを用いて人物が広告を視認しているかを判断してもよいし、ヨー角のみを用いて人物が広告を視認しているかを判断してもよい。
更に、広告視認判定部22は、人物がエリアCに存在する場合、人物の向いている方向(3次元角度)が角度範囲γ内であれば、広告を視認していると判定する。この場合にも、エリアA、Bの場合と同様、3次元角度(ピッチ、ロール、ヨー)全てを用いて人物が広告を視認しているかを判断してもよいし、ヨー角のみを用いて人物が広告を視認しているかを判断してもよい。
図5(d)においては、上記判定の結果、広告を視認している可能性が高いと判定した人物に「真」、そうでない人物に「偽」を付して示している。なお、撮影範囲内に設定されるエリアの数は、3つ以外であってもよい。また、各エリアは同一面積でなくてもよいし、撮影範囲は縦方向及び横方向に分割されてもよい。また、エリアや角度範囲は、システム管理者が手動で設定してもよいし、システム管理者が入力した広告の位置と撮影範囲との関係に基づいて、サーバ10が自動的に設定することとしてもよい。
また、広告視認判定部22は、各フレームの各人物の見た目の類似性を利用して人物追跡(トラッキング)を行い、各フレームにおいて同一人物を特定する。以下、トラッキングについて、図6(a)~図6(d)に基づいて説明する。例えば、図6(a)に示すように時系列に沿って古い順にフレームn-2、n-1,nが得られたとする。この場合、広告視認判定部22は、既存の物体検出モデル(例えばFaster R-CNNやSSD(Single Shot MultiBox Detector))を利用して、人物を検出する(図6(b)の破線枠参照)。また、広告視認判定部22は、類似度学習モデルを利用して、人物の全身画像からN次元ベクトルを求め(図6(c)参照)、求めたN次元ベクトルに基づいて時系列方向のグルーピングを実行することで、フレーム間における同一人物の特定を行う(図6(d)参照)。なお、このようなトラッキング技術については、非特許文献2や特許文献1などに記載されている。
そして、広告視認判定部22は、図5(d)で得られた各人物の「真」、「偽」の情報と、トラッキングにより得られたフレーム間の同一人物の情報と、を視認判定結果テーブル40にまとめる。
ここで、視認判定結果テーブル40は、図7に示すような構造を有する。具体的には、視認判定結果テーブル40には、「個人ID」、「タイムスタンプ」、「視認判定」が関連付けて格納される。「個人ID」は、各人物に対して割り当てられた識別情報である。複数フレーム間において同一人物と特定された人物には、同一の個人IDが割り当てられる。「タイムスタンプ」は、動画から切り出したフレームに付帯するタイムスタンプであり、各人物の視認判定を行った際に用いたフレームに付帯するタイムスタンプが格納される。「視認判定」は、図5(d)の視認判定によって得られた「真」、「偽」の情報が格納される。
図4に戻り、広告閲覧判定部24は、視認判定結果テーブル40を参照して、各人物が広告を閲覧したか否かを判定する。例えば、利用者が、デジタルサイネージを用いた30秒間の広告を表示した広告主であるとする。この場合、利用者は、自己の広告を表示していた間に、広告をどれだけの人物が閲覧していたかを知りたい場合がある。このような場合に、利用者は、利用者端末70から、当該30秒間を特定して、閲覧人数に関する情報の出力をサーバ10に要求する。広告視認判定部22は、当該要求を受け付けると、視認判定結果テーブル40のうち、特定された時間に対応するデータを参照して、各人物の閲覧判定処理を実行する。なお、複数の広告の表示に関するタイムスケジュールを、サーバ10が記憶している場合、利用者は分析対象の広告を識別する情報をサーバ10へ送信することで、サーバ10は広告が表示されていた時間帯を特定する。そして、サーバ10は、特定した時間帯において、広告閲覧情報を生成する。
具体的には、広告閲覧判定部24は、視認判定結果テーブル40から特定された時間内における同一人物の(個人IDが共通する)視認判定結果を抽出し、抽出した視認判定結果が特定の条件を満たしていた場合に、当該人物が広告を閲覧していたと判定する。この場合の「特定の条件」とは、人物が広告を視認していた時間の合計値が所定時間(閲覧最小時間)以上であった場合であるものとする。
広告閲覧判定部24は、上記のようにして実行した閲覧判定の結果を閲覧判定結果テーブル42に格納する。ここで、閲覧判定結果テーブル42は、図8に示すような構造を有する。具体的には、閲覧判定結果テーブル42には、個人IDに対応付けて閲覧判定結果(真/偽)が格納される。
出力情報生成部26は、閲覧判定結果テーブル42を参照して、利用者端末70からの指示に対応する広告閲覧情報を生成し、出力部28に受け渡す。例えば、広告閲覧情報として、広告の閲覧人数に関する情報が生成される。広告閲覧情報は、広告の効果測定に資する情報である。
出力部28は、出力情報生成部26から受け取った広告閲覧情報を利用者端末70に対して送信(出力)する。
(サーバ10の処理について)
以下、サーバ10の処理について、フローチャートに沿って詳細に説明する。
以下、サーバ10の処理について、フローチャートに沿って詳細に説明する。
(広告視認判定部22の処理について)
まず、広告視認判定部22の処理について、図9のフローチャートに沿って説明する。なお、図9の処理の前提として、動画取得部20は、カメラ50で撮影された動画を随時取得して、動画DB38に格納しているものとする。また、図9の処理が開始されるのは、動画DB38に新たな動画が格納されたタイミングであるものとする。
まず、広告視認判定部22の処理について、図9のフローチャートに沿って説明する。なお、図9の処理の前提として、動画取得部20は、カメラ50で撮影された動画を随時取得して、動画DB38に格納しているものとする。また、図9の処理が開始されるのは、動画DB38に新たな動画が格納されたタイミングであるものとする。
図9の処理が開始されると、まずステップS10において、広告視認判定部22が、動画DB38に新たに格納された動画からタイムスタンプを保持しつつ1枚のフレームを切り出す。
次いで、ステップS12では、広告視認判定部22が、切り出したフレームにおいて、頭部領域を抽出する。その後は、広告視認判定部22は、ステップS14、S16と、ステップS18を同時並行的に実行する。
ステップS14においては、広告視認判定部22が、3次元ヘッドポーズ推定により3次元角度を推定する。すなわち、前述したように、頭の向きの3次元角度から、視線方向(図5(b)において示す矢印の方向)を推定可能であるため、ステップS14では、頭の向きの3次元角度を推定する。次いで、ステップS16では、広告視認判定部22が、3次元角度から視認判定を行う。この場合、広告視認判定部22は、各人物の位置が、図5(a)のどのエリア内であるかを確認するとともに、各人物の3次元角度がエリアに設定された角度範囲に含まれていれば、広告を視認していると判定する。なお、基準方向を、「首をひねったり上下に動かさずに、まっすぐカメラのレンズを見ている場合の方向」としなかった場合、頭の向きを示す3次元角度を、視線方向相当の3次元角度に変換する処理を、ステップS14とステップS16の間で行う。
一方、ステップS18においては、広告視認判定部22が、トラッキングにより個人IDを採番する。図9の処理を開始してからステップS18を初めて実行する場合には、フレーム内の人物それぞれに対して、新たな個人IDを採番する。一方、図9の処理を開始してからステップS18を実行するのが2回目以降である場合には、それ以前のフレームに含まれていた人物と同一人物に対しては、同一の個人IDを採番し、新たな人物に対しては新たな個人IDを採番する。
ステップS14、S16の処理と、ステップS18の処理の両方が終了すると、ステップS20に移行し、広告視認判定部22は、個人IDに紐付けて、視認判定結果を視認判定結果テーブル40に格納する。この場合、広告視認判定部22は、切り出したフレームのタイムスタンプが「2019/7/24 14:30:30:00」であれば、図7の視認判定結果テーブル40のタイムスタンプ「2019/7/24 14:30:30:00」に対応付けて、個人ID(S18の結果)及び視認判定の結果(S16の結果)を格納する。
次いで、ステップS22では、広告視認判定部22が、動画DB38に格納された動画から、全フレームの切り出しが終了したか否かを判断する。このステップS22の判断が否定された場合には、ステップS10に戻る。一方、ステップS10~S22の繰り返しの結果、ステップS22の判断が肯定された場合には、図9の全処理を終了する。図9の処理が終了した段階では、動画DB38に新たに格納された動画の全フレームについての視聴判定が終了し、視認判定結果が図7の視認判定結果テーブル40に格納された状態となる。
(広告閲覧判定部24の処理について)
次に、広告閲覧判定部24の処理について、図10、図11のフローチャートに沿って説明する。なお、図10の処理は、利用者端末70から、ある時間を指定した広告閲覧情報の出力要求を受け付けたタイミングである。ここでは、一例として、利用者が、利用者端末70を介して、例えば2019年7月24日14時30分30秒から同日14時31分00秒までを特定して、広告の閲覧人数の情報を出力する要求を行ったものとする。
次に、広告閲覧判定部24の処理について、図10、図11のフローチャートに沿って説明する。なお、図10の処理は、利用者端末70から、ある時間を指定した広告閲覧情報の出力要求を受け付けたタイミングである。ここでは、一例として、利用者が、利用者端末70を介して、例えば2019年7月24日14時30分30秒から同日14時31分00秒までを特定して、広告の閲覧人数の情報を出力する要求を行ったものとする。
図10の処理では、まず、ステップS30において、広告閲覧判定部24が、視認判定結果テーブル40から指定されている時間帯(2019年7月24日14時30分30秒から14時31分00秒まで)のデータを抽出する。
次いで、ステップS32では、広告閲覧判定部24が、個人IDを1つ選択する。例えば、広告閲覧判定部24は、抽出したデータに含まれる個人IDのうち最も小さい番号(例えば「001」)を選択する。
次いで、ステップS34では、広告閲覧判定部24が、選択した個人IDに紐付くデータから、古い順に「偽」又は欠落の時間を特定する。ここで、欠落の時間とは、選択した個人IDの人物の視線方向を特定不能な時間を意味する。視線方向が特定不能となる場合は、例えば、人物が撮影されていない場合や、頭部領域の抽出ができなかった場合である。
次いで、ステップS36では、広告閲覧判定部24が、特定した時間が修正最大時間未満であるか否かを判断する。ここで、広告を視認していると判断された時間の間に少しだけ広告を視認していないと判断された時間がある場合(頭が一瞬ブレたような場合)、その少しの時間だけ広告を視認していなかったとするのは現実的でない。また、広告を視認していると判断された時間の間に少しだけ撮影されていなかった時間がある場合(撮影範囲外に出た場合)には、その少しの時間の間は広告を視認していたとみなすのが妥当と考えられる。このため、本第1の実施形態では、特定した時間がそのような少しの時間(修正最大時間未満)であった場合には、その時間の視認判定を「真」に変更することとしている。なお、修正最大時間は、システム管理者等が設定することができるものとし、例えば0.5sec等とすることができる。
したがって、ステップS36の判断が肯定された場合には、ステップS38に移行して、広告閲覧判定部24が視認判定を「真」に修正する。すなわち、広告閲覧判定部24は、「偽」又は欠落の時間を「真」であるとみなす。その後はステップS40に移行する。一方、ステップS36の判断が否定された場合には、広告閲覧判定部24は、特定した時間における視認判定結果の修正を行うことなく、ステップS40に移行する。
なお、ステップS36の判断は、選択した個人IDの視認判定結果のうち、「真」と判断されたフレーム間に存在する「偽」と判断されたフレームの数が所定数未満であるか否かを判断しているとも言える。また、ステップS36の判断は、「真」と判断されたフレーム間において欠落しているフレームの数が所定数未満であるか否かを判断しているとも言える。
ステップS40に移行すると、広告閲覧判定部24は、全ての「偽」又は欠落の時間を特定済みであるか否かを判断する。このステップS40の判断が否定された場合には、ステップS34に戻り、次に古い「偽」又は欠落の時間を特定し、以降のステップS36~S40の処理、判断を実行する。そして、ステップS40の判断が肯定された段階で、ステップS42に移行する。
ステップS42に移行すると、広告閲覧判定部24は、閲覧判定処理のサブルーチンを実行する。具体的には、広告閲覧判定部24は、図11のフローチャートに沿った処理を実行する。
図11の処理では、広告閲覧判定部24は、まず、ステップS50において、古い順に視認判定結果を確認し、「真」が連続している時間を算出する。
次いで、ステップS52では、広告閲覧判定部24が、算出した時間を累積する。
次いで、ステップS54では、広告閲覧判定部24が、全てのデータを確認済みか否かを判断する。このステップS54の判断が否定された場合には、ステップS50に戻り、ステップS50、S52の処理及びステップS54の判断を繰り返す。そして、ステップS54の判断が肯定された段階で、ステップS56に移行する。なお、ステップS54の判断が肯定された段階では、選択されている個人IDの人物が広告を視認していた時間の累積値(積算値)が得られている。
次いで、ステップS56では、広告閲覧判定部24が、累積した時間が閲覧最小時間以上か否かを判断する。ここで、閲覧最小時間とは、累積した時間から閲覧有無を判定するための閾値であり、累積した時間が閲覧最小時間以上であれば、閲覧したと判定することとしている。なお、閲覧最小時間は、システム管理者が予め定めておくことができ、例えば0.6secなどとすることができる。ステップS56の判断が肯定された場合には、ステップS58に移行し、広告閲覧判定部24は、選択している個人IDの人物が広告を閲覧したと判定し、閲覧判定結果テーブル42にその旨を格納する。
一方、ステップS56の判断が否定された場合には、ステップS60に移行し、広告閲覧判定部24は、選択している個人IDの人物は広告を閲覧していないと判定し、閲覧判定結果テーブル42にその旨を格納する。その後は、図11の全処理を終了し、図10のステップS44に移行する。
ステップS44に移行すると、広告閲覧判定部24は、全ての個人IDを選択済みであるか否かを判断する。このステップS44の判断が否定された場合には、ステップS22に戻る。そして、抽出したデータに含まれる全ての個人IDに関する処理が終了した段階で、図10の全処理が終了する。
以上のようにして、図10の全処理が終了した段階では、指定されている時間帯において、どの人物が広告を閲覧していて、どの人物が広告を閲覧していなかったかが、閲覧判定結果テーブル42(図8)に格納された状態となっている。
(出力情報生成部26の処理について)
次に、出力情報生成部26の処理について、図12のフローチャートに沿って説明する。
次に、出力情報生成部26の処理について、図12のフローチャートに沿って説明する。
図12のフローチャートが開始されると、まずステップS70において、出力情報生成部26が、閲覧判定結果テーブル42を参照し、閲覧判定結果が「真」である個人IDの数を集計する。
次いで、ステップS72では、出力情報生成部26が、閲覧判定結果テーブル42を参照して、閲覧判定結果が「偽」である個人IDの数を集計する。
そして、ステップS74では、出力情報生成部26は、ステップS70で集計した数と、ステップS72で集計した数とを用いて、図13に示すような出力画面を生成し、出力部28に受け渡す。
出力部28は、図13の出力画面を出力情報生成部26から受信すると、利用者端末70に対して送信する。これにより、利用者端末70の表示部93には、図13の出力画面が表示されるため、利用者は、自己の広告を閲覧していた人数を把握することができるとともに、広告の閲覧割合(広告近傍を通行していた人物のうち広告を閲覧していた人物の割合)を把握することができる。したがって、利用者は、図13の出力画面から、広告の掲示を継続するか否かや、広告の費用対効果が適切か否かなどを判断することができる。なお、図13の出力画面は一例である。例えば、広告閲覧人数と閲覧割合のいずれか一方のみを表示してもよい。また、広告閲覧人数と閲覧割合以外の情報を表示してもよい。
これまでの説明からわかるように、本第1の実施形態においては、広告視認判定部22により、動画の各フレームにおいて、撮影された人物それぞれの頭部領域を抽出する抽出部、抽出した頭部領域から人物それぞれの視線方向(3次元角度)を推定する推定部、及び人物それぞれの視野内に広告が入っているかを特定する特定部としての機能が実現されている。
以上説明したように、本第1の実施形態によると、広告視認判定部22が、動画の各フレームにおいて撮影された人物それぞれの頭部領域を抽出し(S12)、抽出した頭部領域から人物それぞれの視線方向(3次元角度)を推定する(S14)。また、広告視認判定部22は、人物それぞれの位置と広告の設置場所との関係、及び人物それぞれの視線方向(3次元角度)に基づいて、人物それぞれが広告を視認しているかを判定する(S16)。また、広告閲覧判定部24は、複数フレームにおいて同一人物と判定される人物ごと(同一の個人IDが採番された人物ごと)に、複数フレームにおける視認判定結果に基づいて広告の閲覧判定を行う(S42)。更に、出力情報生成部26は、広告を閲覧していた人物の数を集計し(S70)、出力部28を介して広告の閲覧人数に関する情報を利用者端末70に対して出力する(S74)。これにより、本第1の実施形態では、同一人物ごとに、複数フレームにおける視認判定結果に基づいて広告の閲覧有無を判定するので、広告の閲覧とは見做せないような場合(例えば人物が一瞬だけ広告の方向を向いた場合など)を閲覧と判定しないようにすることができる。したがって、本第1の実施形態によれば、広告の効果測定に資する正確な情報(閲覧人数や閲覧割合などの広告閲覧情報)を出力することができる。この場合、広告スペースの価値を数値として表すことができるので、広告スペースを管理する業者が広告スペースを広告主に提供する際の値段の決定や、広告スペースを利用した場合の効果のアピール等に用いることが可能である。
また、本第1の実施形態では、広告閲覧判定部24は、広告を視認していると判定された時間の累積値が閲覧最小時間以上である場合(S56:肯定)に、広告を閲覧していたと判定する(S58)。これにより、人物が一瞬だけ広告の方向を向いたような場合に、広告の閲覧とは判定しないようにすることができる。
また、本第1の実施形態では、広告閲覧判定部24は、「偽」又は欠落の時間を特定し(S34)、特定した時間が修正最大時間未満である場合(S36:肯定)に、視認判定結果を「真」に修正する(S38)。これにより、人物の動きの特性を考慮して、視認判定において「偽」と判定されたものの、実際には「真」と見做すべき場合を修正することとしているため、広告の閲覧人数や閲覧割合を精度よく集計することができる。
また、本第1の実施形態では、広告視認判定部22は、人物が位置しているフレーム内のエリアを特定し、人物の視線方向(3次元角度)が特定したエリアに対して予め定められている方向を向いている場合に、広告を視認していると判定する。これにより、カメラ50と広告110とが離れているような場合であっても、人物が広告を視認しているか否かを簡易に判定することができる。なお、カメラ50は、広告110の向かい側に設けられてもよい。
また、本第1の実施形態では、広告視認判定部22は、各フレームから頭部領域を抽出して、視線方向が推定可能な頭の向きの3次元角度を推定する。画像から抽出した顔領域から、顔の特徴量を抽出する技術もある。しかし、顔の特徴量はプライバシーにかかわる情報である。よって、顔の特徴量を用いる視線方向の推定技術と比較して、本第1の実施形態は、頭部領域のみを利用するため、よりプライバシーに配慮した技術といえる。また、監視カメラのように、広告の設置場所とは、独立して設けられているカメラの映像を利用する場合、監視カメラに顔が映らない通行人も多く存在する。このような場合でも、本第1の実施形態は、視線方向を推定することが可能であって、顔が映っていることを条件とする技術と比較して、汎用性が高い。
(閲覧判定処理の変形例1)
上記第1の実施形態では、図11の閲覧判定処理において、視認判定結果が「真」である時間の累積時間が閲覧最小時間以上である場合(S56:肯定)に、広告を閲覧したと判定する(S58)場合について説明したが、これに限られるものではない。例えば、図11の閲覧判定処理に代えて、図14に示すような処理を実行することができる。図14の処理では、ステップS50において、広告閲覧判定部24が、「真」が連続している時間を算出すると、ステップS152において、算出した時間を保存する。そして、広告閲覧判定部24は、ステップS50、S152の処理を繰り返すことで、全てのデータの確認が終了すると(S54:肯定)、ステップS155に移行して、保存した時間のうち、最長の時間(最大値)を抽出する。
上記第1の実施形態では、図11の閲覧判定処理において、視認判定結果が「真」である時間の累積時間が閲覧最小時間以上である場合(S56:肯定)に、広告を閲覧したと判定する(S58)場合について説明したが、これに限られるものではない。例えば、図11の閲覧判定処理に代えて、図14に示すような処理を実行することができる。図14の処理では、ステップS50において、広告閲覧判定部24が、「真」が連続している時間を算出すると、ステップS152において、算出した時間を保存する。そして、広告閲覧判定部24は、ステップS50、S152の処理を繰り返すことで、全てのデータの確認が終了すると(S54:肯定)、ステップS155に移行して、保存した時間のうち、最長の時間(最大値)を抽出する。
次いで、ステップS156では、広告閲覧判定部24は、ステップS155において抽出した時間が閲覧最小時間以上か否かを判断する。このステップS156の判断が肯定された場合には、ステップS58に移行し、広告閲覧判定部24は、選択している個人IDの人物が広告を閲覧したと判定し、閲覧判定結果テーブル42にその旨を格納する。一方、ステップS156の判断が否定された場合には、ステップS60に移行し、広告閲覧判定部24は、選択している個人IDの人物は広告を閲覧していないと判定し、閲覧判定結果テーブル42にその旨を格納する。その後は、図14の全処理を終了する。
以上のように、図14の処理では、選択している個人IDの視認判定結果において「真」が連続している時間のうち最長の時間を用いて、閲覧判定を行うこととしている。このようにしても、上記第1の実施形態と同様、精度よく広告を閲覧した人物を特定することができる。
(閲覧判定処理の変形例2)
また、例えば、図11の閲覧判定処理に代えて、図15に示すような処理を実行することもできる。図15の処理では、ステップS250において、広告閲覧判定部24が、古い順に視認判定結果を確認し、最初に「真」と判定された時刻を特定する。次いで、ステップS252では、広告閲覧判定部24が、古い順に視認判定結果を確認し、最後に「真」と判定された時刻を特定する。次いで、ステップS254では、広告閲覧判定部24が、特定された時刻間の時間を算出する。すなわち、広告閲覧判定部24は、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間を算出する。
また、例えば、図11の閲覧判定処理に代えて、図15に示すような処理を実行することもできる。図15の処理では、ステップS250において、広告閲覧判定部24が、古い順に視認判定結果を確認し、最初に「真」と判定された時刻を特定する。次いで、ステップS252では、広告閲覧判定部24が、古い順に視認判定結果を確認し、最後に「真」と判定された時刻を特定する。次いで、ステップS254では、広告閲覧判定部24が、特定された時刻間の時間を算出する。すなわち、広告閲覧判定部24は、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間を算出する。
次いで、ステップS256では、広告閲覧判定部24は、ステップS254において算出した時間が閲覧最小時間以上か否かを判断する。このステップS256の判断が肯定された場合には、ステップS58に移行し、広告閲覧判定部24は、選択している個人IDの人物が広告を閲覧したと判定し、閲覧判定結果テーブル42にその旨を格納する。一方、ステップS256の判断が否定された場合には、ステップS60に移行し、広告閲覧判定部24は、選択している個人IDの人物は広告を閲覧していないと判定し、閲覧判定結果テーブル42にその旨を格納する。その後は、図15の全処理を終了する。
以上のように、図15の処理では、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間を用いて、閲覧判定を行うこととしている。このようにしても、上記第1の実施形態や上記閲覧判定処理の変形例1と同様、精度よく広告を閲覧した人物を特定することができる。
なお、図15の処理を行う場合には、図10のステップS34、S36、S38、S40の処理は省略してもよい。
(出力の変形例1)
上記第1の実施形態では、利用者端末70において、1つの広告を表示している間の時間帯を指定して、図10の処理をサーバ10に実行させる場合について説明したが、これに限られるものではない。例えば、ある1日を特定し、その1日における1時間ごとの広告閲覧人数を集計するように、利用者端末70において指定することもできる。
上記第1の実施形態では、利用者端末70において、1つの広告を表示している間の時間帯を指定して、図10の処理をサーバ10に実行させる場合について説明したが、これに限られるものではない。例えば、ある1日を特定し、その1日における1時間ごとの広告閲覧人数を集計するように、利用者端末70において指定することもできる。
この場合、特定された1日分のデータを視認判定結果テーブル40から抽出し、そのうちの1時間分のデータを用いて図10の処理を実行することで、1時間分の閲覧判定結果テーブル42を得る。そして、次の1時間分のデータを用いた図10の処理、更に、次の1時間分のデータを用いた図10の処理、…というように図10の処理を繰り返し実行することで、1時間ごとの閲覧判定結果テーブル42を得ることができる。
この場合、出力情報生成部26は、例えば、各時間において閲覧判定結果が「真」の個人IDの数を集計し、グラフ化することで、図16に示すような出力画面を生成することができる。これにより、利用者端末70には、図16に示すような画面が表示されるため、広告主等はどの時間帯において広告が閲覧されているかを把握することが可能となる。また、広告スペースを提供する業者は、時間ごとの閲覧人数に応じて広告スペースの価格(レンタル料)を適切に調整することができる。例えば、図16において、閲覧人数が150人以上の時間帯のレンタル料を高くし、150人未満の時間帯のレンタル料を安くする、などすることができる。
なお、図16のグラフにおいては、例えば所定期間(1週間や1カ月など)における各時間帯の閲覧人数の平均値を表示してもよい。また、複数の日の各時間帯の閲覧人数を別々に表示してもよい。この場合、図17に示すように、平日における各時間帯の閲覧人数の平均値、土曜日における各時間帯の閲覧人数の平均値、日曜日における各時間帯の閲覧人数の平均値を別々に表示するなどすることもできる。
(出力の変形例2)
なお、出力情報生成部26は、図18に示すように、各時刻において広告を閲覧していると判定された人物の個人IDを列挙したログを生成することとしてもよい。サーバ10から利用者端末70に対して図18のログを出力した場合、利用者端末70においてログを解析し、解析結果として図13、図16、図17と同様の画面を表示部193上に表示することとしてもよい。
なお、出力情報生成部26は、図18に示すように、各時刻において広告を閲覧していると判定された人物の個人IDを列挙したログを生成することとしてもよい。サーバ10から利用者端末70に対して図18のログを出力した場合、利用者端末70においてログを解析し、解析結果として図13、図16、図17と同様の画面を表示部193上に表示することとしてもよい。
(人物の属性を考慮する変形例)
なお、本第1の実施形態では、視認判定の際に各人物の属性(性別や年齢)を推定し、広告閲覧情報を生成する際に、各人物の属性に基づいて広告閲覧情報を整理することとしてもよい。
なお、本第1の実施形態では、視認判定の際に各人物の属性(性別や年齢)を推定し、広告閲覧情報を生成する際に、各人物の属性に基づいて広告閲覧情報を整理することとしてもよい。
具体的には、広告視認判定部22は、図9の処理に代えて、図19の処理を実行する。図19の処理においては、広告視認判定部22は、ステップS14、S16と、ステップS18の処理と並行して、ステップS19の処理を実行する。ステップS19においては、広告視認判定部22は、頭部領域から、人物の属性(性別、年齢)を推定する。ここで、人物の属性を推定する際には、機械学習等のAI(Artificial Intelligence)技術を用いることができる。そして、ステップS14、S16と、ステップS18と、ステップS19の並行処理が終了すると、ステップS20’において、広告視認判定部22は、個人IDに紐付けて、属性と、視認判定結果を視認判定結果テーブル40に格納する。
この場合の視認判定結果テーブル40としては、図20(a)に示すようなテーブルを用いることができる。また、広告閲覧判定部24による図10の処理の結果得られる閲覧判定結果テーブル42は、図20(b)に示すようなテーブルとなる。図20(a)、図20(b)の各テーブルにおいては、個人IDに対して、性別と年齢が紐付けられている。
出力情報生成部26は、図20(b)の閲覧判定結果テーブル42から、男女別、年代別に閲覧判定結果「真」、「偽」を集計することにより、図21(a)に示すような画面を生成することができる。利用者端末70に図21(a)に示すような画面が表示されることにより、広告主等は、広告を閲覧している年齢層や性別を的確に把握することができる。
また、図20(b)の閲覧判定結果テーブル42が1時間ごとに作成された場合には、出力情報生成部26は、男女別、及び男女両方についての各時間における閲覧判定結果を集計することで、図21(b)に示すような出力画面を生成することができる。利用者端末70に図21(b)に示すような画面が表示されることで、広告主等はどの時間帯に男女のどちらが広告を多く閲覧しているかを把握することが可能となる。これにより、広告主等は、どの時間帯にどのような広告を出すべきかなどを判断することができる。また、広告スペースを提供する業者は、閲覧人数や閲覧している人物の属性に合わせて、広告スペースの価格(レンタル料)を調整することができる。
《第2の実施形態》
次に、第2の実施形態について、図22~図26に基づいて詳細に説明する。本第2の実施形態の広告効果測定システム100の構成は、第1の実施形態と同様であるが、広告閲覧判定部24が各人物による広告の閲覧時間長を判定する点、及び出力情報生成部26が広告の閲覧時間長に関する出力画面を生成する点が第1の実施形態と異なる。以下、第1の実施形態と異なる点について詳細に説明し、第1の実施形態と同一又は同等な点については、その説明を省略または簡略化するものとする。
次に、第2の実施形態について、図22~図26に基づいて詳細に説明する。本第2の実施形態の広告効果測定システム100の構成は、第1の実施形態と同様であるが、広告閲覧判定部24が各人物による広告の閲覧時間長を判定する点、及び出力情報生成部26が広告の閲覧時間長に関する出力画面を生成する点が第1の実施形態と異なる。以下、第1の実施形態と異なる点について詳細に説明し、第1の実施形態と同一又は同等な点については、その説明を省略または簡略化するものとする。
(広告閲覧判定部24の処理について)
図22には、第2の実施形態に係る広告閲覧判定部24の処理が示されている。なお、図22の処理が行われる前提として、広告視認判定部22による図9の処理が実行されており、図7に示すように視認判定結果テーブル40にデータが格納されているものとする。
図22には、第2の実施形態に係る広告閲覧判定部24の処理が示されている。なお、図22の処理が行われる前提として、広告視認判定部22による図9の処理が実行されており、図7に示すように視認判定結果テーブル40にデータが格納されているものとする。
図22の処理においては、図10のステップS42(閲覧判定処理)に代えて、閲覧時間算出処理(S342)が実行され、その他の処理については、図10と同様となっている。
ステップS342においては、図23のフローチャートに沿った処理が実行される。ここで、ステップS342の処理のうち、ステップS50、S52、S54(広告閲覧判定部24が視認判定結果「真」が連続している時間を累積する点)とステップS56(累積した時間が閲覧最小時間以上であるか判断する点)については、第1の実施形態(図11)と同様である。その一方で、ステップS56の判断が肯定された場合にステップS358に移行し、否定された場合にステップS360に移行する点が第1の実施形態と異なっている。
ステップS358に移行した場合、広告閲覧判定部24は、累積した時間を閲覧時間長として、閲覧判定結果テーブル42に格納する。ここで、本第2の実施形態の閲覧判定結果テーブル42には、図24に示すように、「個人ID」に紐付けて各人物の「閲覧時間長」を格納できるようになっている。例えば、個人ID=001の人物の累積した時間が10secであった場合には、図24に示すように、閲覧判定結果テーブル42の「閲覧時間長」の欄に「10sec」と格納する。
一方、ステップS360に移行した場合、広告閲覧判定部24は、閲覧時間長を「0」として、閲覧判定結果テーブル42に格納する。例えば、個人ID=002の人物の累積した時間が0.4secであった場合には、図24に示すように、閲覧判定結果テーブル42の「閲覧時間長」の欄に「0sec」と格納する。その後は、図22のステップS44に戻る。
以上のように、広告閲覧判定部24の処理(図22、図23)が行われることで、利用者端末70において指定された時間帯(例えば広告を表示した時間帯)における、各人物の閲覧時間長が、閲覧判定結果テーブル42(図24)に格納されるようになっている。
(出力情報生成部26の処理について)
次に、本第2の実施形態における出力情報生成部26の処理について、図25のフローチャートに沿って説明する。
次に、本第2の実施形態における出力情報生成部26の処理について、図25のフローチャートに沿って説明する。
図25の処理では、まず、ステップS370において、出力情報生成部26は、集計対象の閲覧時間長範囲を設定する。例えば、閲覧時間長範囲として、「0.6sec以上2sec未満」、「2sec以上7sec未満」、「7sec以上15sec未満」…が選択可能であるとする。この場合、出力情報生成部26は、例えば「0.6sec以上2sec未満」を集計対象の閲覧時間長範囲として設定する。
次いで、ステップS372では、出力情報生成部26は、閲覧判定結果テーブル42(図24)から、集計対象の閲覧時間長範囲(0.6sec以上2sec未満)に含まれる閲覧時間長が対応付けられた個人IDの数を集計する。
次いで、ステップS374では、出力情報生成部26は、全ての閲覧時間長範囲を集計対象として設定済みか否かを判断する。このステップS374の判断が否定された場合には、ステップS370に戻る。その後は、出力情報生成部26は、集計対象の閲覧時間長範囲を変更しつつ、ステップS372を繰り返し、ステップS374の判断が肯定された段階で、ステップS376に移行する。
ステップS376に移行すると、出力情報生成部26は、集計した個人IDの数を用いて出力画面を生成し、出力部28に受け渡す。出力情報生成部26は、例えば、図26に示すような出力画面を生成する。出力部28は、図26の出力画面を利用者端末70に対して出力するため、利用者端末70に表示された出力画面を確認することにより、広告を閲覧していた人物がどのくらいの時間閲覧し続けたかを把握することができる。
以上説明したように、本第2の実施形態によると、広告視認判定部22が、動画の各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し(S12)、抽出した頭部領域から人物それぞれの視線方向(3次元角度)を推定する(S14)。また、広告視認判定部22は、人物それぞれの位置と広告の設置場所との関係、及び人物それぞれの視線方向(3次元角度)に基づいて、人物それぞれが広告を視認しているかを判定する(S16)。そして、広告閲覧判定部24は、複数フレームにおいて同一人物と判定される人物ごと(同の個人IDが採番された人物ごと)に、複数フレームにおける視認判定結果に基づいて広告の閲覧時間長を特定する(S358、S360)。更に、出力情報生成部26は、各人物の広告の閲覧時間長を集計し、出力部28を介して広告の閲覧時間長に関する情報を利用者端末70に対して出力する(図25)。これにより、本第2の実施形態では、同一人物ごとに複数フレームにおける視認判定結果から閲覧時間長を特定するので、広告の閲覧とは見做せないような場合(例えば人物が一瞬だけ広告の方向を向いた場合など)を閲覧と判定しないようにすることができる。したがって、本第2の実施形態によれば、広告の効果測定に資する正確な情報(閲覧時間長に関する情報)を出力することができる。この場合、広告スペースの価値を数値として表すことができるので、広告スペースを管理する業者が広告スペースを広告主に提供する際の値段の決定や、広告スペースを利用した場合の効果のアピール等に用いることが可能である。
また、本第2の実施形態では、広告閲覧判定部24は、広告を視認していると判定された時間の累積値が閲覧最小時間以上である場合(S56:肯定)に、累積値を閲覧時間長とし(S358)、それ以外の場合に、閲覧時間長を0とする(S360)。これにより、人物が一瞬だけ広告の方向を向いたような場合に、広告の閲覧とは判定しないようにすることができる。
(閲覧判定処理の変形例1)
なお、上記第2の実施形態では、図23の閲覧判定処理において、視認判定結果が「真」である時間の累積時間が閲覧最小時間以上である場合(S56:肯定)に、累積時間を広告の閲覧時間長とする(S358)場合について説明した。しかしながら、これに限られるものではなく、上述した第1の実施形態の変形例(図14)と同様、視認判定結果において「真」が連続している時間のうち最長の時間が閲覧最小時間以上である場合に、当該最長の時間を広告の閲覧時間長とすることとしてもよい。
なお、上記第2の実施形態では、図23の閲覧判定処理において、視認判定結果が「真」である時間の累積時間が閲覧最小時間以上である場合(S56:肯定)に、累積時間を広告の閲覧時間長とする(S358)場合について説明した。しかしながら、これに限られるものではなく、上述した第1の実施形態の変形例(図14)と同様、視認判定結果において「真」が連続している時間のうち最長の時間が閲覧最小時間以上である場合に、当該最長の時間を広告の閲覧時間長とすることとしてもよい。
(閲覧判定処理の変形例2)
また、上述した第1の実施形態の閲覧判定処理の変形例2(図15)と同様、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間が閲覧最小時間以上である場合に、当該時間を広告の閲覧時間長とすることとしてもよい。
また、上述した第1の実施形態の閲覧判定処理の変形例2(図15)と同様、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間が閲覧最小時間以上である場合に、当該時間を広告の閲覧時間長とすることとしてもよい。
(出力の変形例1)
上記第2の実施形態では、1つの広告を表示している間の時間帯の閲覧時間長を集計した表を出力する例(図26参照)について説明したが、これに限られるものではない。例えば、ある1日における1時間ごとの閲覧時間長を集計して、グラフを生成することとしてもよい。この場合、例えば、図27に示すようなグラフを生成することができる。
上記第2の実施形態では、1つの広告を表示している間の時間帯の閲覧時間長を集計した表を出力する例(図26参照)について説明したが、これに限られるものではない。例えば、ある1日における1時間ごとの閲覧時間長を集計して、グラフを生成することとしてもよい。この場合、例えば、図27に示すようなグラフを生成することができる。
これにより、利用者端末70には、図27に示すような画面が表示されるため、広告主等は各時間帯において広告を閲覧している人がどのくらいの人数いて、広告を閲覧している人が広告をどのくらいの時間見ているのかを把握することが可能となる。また、広告スペースを提供する業者は、時間帯ごとの閲覧時間長の傾向に応じて広告スペースの価格(レンタル料)を適切に調整することができる。
なお、図27では、1日分の閲覧判定結果テーブル42を集計したグラフを示しているが、例えば、複数日分の閲覧判定結果テーブル42を時間帯ごとに集計してグラフを作成してもよいし、曜日ごとに各時間帯のデータを集計してグラフを作成してもよい。
(出力の変形例2)
なお、出力情報生成部26は、各人物の閲覧時間長を列挙したログを生成してもよい。サーバ10から利用者端末70に対してログを出力した場合、利用者端末70においてログを解析し、解析結果として図26、図27と同様の画面を表示部193上に表示することとしてもよい。
なお、出力情報生成部26は、各人物の閲覧時間長を列挙したログを生成してもよい。サーバ10から利用者端末70に対してログを出力した場合、利用者端末70においてログを解析し、解析結果として図26、図27と同様の画面を表示部193上に表示することとしてもよい。
(人物の属性を考慮する変形例)
なお、本第2の実施形態においても、視認判定の際に各人物の属性(性別や年齢)を推定し、広告閲覧情報を生成する際に、各人物の属性に基づいて広告閲覧情報を整理することとしてもよい。この場合、広告視認判定部22は、図19と同様の処理を実行すればよい。これにより、閲覧判定結果テーブル42としては、図28(a)に示すようなテーブルを得ることができる。
なお、本第2の実施形態においても、視認判定の際に各人物の属性(性別や年齢)を推定し、広告閲覧情報を生成する際に、各人物の属性に基づいて広告閲覧情報を整理することとしてもよい。この場合、広告視認判定部22は、図19と同様の処理を実行すればよい。これにより、閲覧判定結果テーブル42としては、図28(a)に示すようなテーブルを得ることができる。
この場合、出力情報生成部26は、図28(a)の閲覧判定結果テーブル42から、性別及び年齢を考慮して、閲覧時間長を集計することにより、例えば、図28(b)に示すような出力画面を生成することができる。図28(b)の出力画面には、性別ごと及び年代ごとに、閲覧時間長幅ごとの人数を集計した結果が示されている。利用者端末70に図28(b)に示すような画面が表示されることにより、広告主等は、広告を閲覧している年齢層や性別を的確に把握することができるとともに、各年齢層の人物が、広告をどの程度の時間閲覧するかを把握することもできる。
なお、上記第1、第2実施形態及び変形例で示した出力画面は、一例である。すなわち、閲覧判定結果テーブル42から得られる種々の情報を、種々の態様で画面上に表示することができる。
なお、上記第1、第2の実施形態の広告効果測定システム100は、カメラ50において撮影された動画を取得したサーバ10が各種処理を行う場合について説明したが、これに限られるものではない。例えば、図29に示すような広告効果測定システム100’を採用してもよい。図29の広告効果測定システム100’においては、カメラ50がエッジゲートウェイなどの情報処理装置60に接続(例えば有線接続)されているものとする。情報処理装置60は、カメラ50近傍に設けられているものとし、第1の実施形態で説明したサーバ10の機能(図4に示す各機能)を有しているものとする。すなわち、情報処理装置60は、カメラ50から動画を受信して、第1、第2の実施形態のサーバ10と同様の処理を実行する。情報処理装置60において生成された情報(出力画面)は、サーバ10に送信され、適宜、利用者端末70に送信されるものとする。なお、情報処理装置60は、図4の全ての機能を有していなくてもよい。例えば、出力情報生成部26は、サーバ10が有していてもよい。この場合、情報処理装置60は、サーバ10に対して、閲覧判定結果テーブル42の情報を出力することとし、サーバ10が、閲覧判定結果テーブル42に基づいて出力画面を生成するようにしてもよい。このように情報処理装置60を設けることにより、カメラ50からサーバ10に対して動画を送信しなくてもよくなるので、ネットワーク負荷を低減することができる。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記憶媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)などの可搬型記憶媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
10 サーバ(情報処理装置)
20 動画取得部(取得部)
22 広告視認判定部(抽出部、推定部、特定部)
24 広告閲覧判定部(判定部)
26 出力情報生成部(生成部)
28 出力部(出力処理部)
50 カメラ
20 動画取得部(取得部)
22 広告視認判定部(抽出部、推定部、特定部)
24 広告閲覧判定部(判定部)
26 出力情報生成部(生成部)
28 出力部(出力処理部)
50 カメラ
Claims (9)
- 広告の設置場所近傍の領域を撮影するカメラが撮影した映像を取得し、
前記映像を分析することで、前記映像に含まれる人物の顔領域とは異なる領域である頭部領域を抽出し、
抽出した前記頭部領域から前記人物の頭の向きを推定し、
前記人物の位置と前記広告の設置場所との関係、及び前記人物の頭の向きに基づいて、前記人物の視野内に前記広告が入っているか否かを判定し、
前記人物の視野内に前記広告が入っているか否かの判定結果に基づいて、前記広告の閲覧に関する広告閲覧情報を生成し、
前記広告閲覧情報を出力する、
処理をコンピュータが実行することを特徴とする広告閲覧情報出力方法。 - 前記頭部領域を抽出する処理は、
前記顔領域を抽出せずに前記頭部領域を抽出する、
ことを特徴とする請求項1に記載の広告閲覧情報出力方法。 - 抽出した前記頭部領域から、前記人物の属性を特定し、
前記人物の視野内に前記広告が入っているか否かの判定結果に基づいて、前記人物の広告の閲覧有無を判定し、
特定した前記人物の属性と、前記人物の広告の閲覧有無の判定結果とに基づいて、前記人物の属性毎の前記広告の閲覧人数に関する広告閲覧情報を生成する、
ことを特徴とする請求項1に記載の広告閲覧情報出力方法。 - 前記人物の位置と前記広告の設置場所との関係、及び前記人物の頭の向きに基づいて、前記人物の視野内に前記広告が入っているか否かを判定し、
前記人物の視野内に前記広告が入っているか否かの判定結果に基づいて、前記映像に含まれる複数の人物の中から、前記広告の閲覧をしている人物を特定し、
特定された前記広告の閲覧をしている人物の前記広告の閲覧時間長を計数し、
計数された前記広告の閲覧時間長に基づいて、前記広告の閲覧時間長に関する広告閲覧情報を生成する、
ことを特徴とする請求項1に記載の広告閲覧情報出力方法。 - 広告の設置場所近傍の領域を撮影するカメラが撮影した映像を取得し、
前記映像を分析することで、前記映像に含まれる人物の顔領域とは異なる領域である頭部領域を抽出し、
抽出した前記頭部領域から前記人物の頭の向きを推定し、
前記人物の位置と前記広告の設置場所との関係、及び前記人物の頭の向きに基づいて、前記人物の視野内に前記広告が入っているか否かを判定し、
前記人物の視野内に前記広告が入っているか否かの判定結果に基づいて、前記広告の閲覧に関する広告閲覧情報を生成し、
前記広告閲覧情報を出力する、
処理をコンピュータが実行することを特徴とする広告閲覧情報出力プログラム。 - 前記頭部領域を抽出する処理は、
前記顔領域を抽出せずに前記頭部領域を抽出する、
ことを特徴とする請求項5に記載の広告閲覧情報出力プログラム。 - 抽出した前記頭部領域から、前記人物の属性を特定し、
前記人物の視野内に前記広告が入っているか否かの判定結果に基づいて、前記人物の広告の閲覧有無を判定し、
特定した前記人物の属性と、前記人物の広告の閲覧有無の判定結果とに基づいて、前記人物の属性毎の前記広告の閲覧人数に関する広告閲覧情報を生成する、
ことを特徴とする請求項5に記載の広告閲覧情報出力プログラム。 - 前記人物の位置と前記広告の設置場所との関係、及び前記人物の頭の向きに基づいて、前記人物の視野内に前記広告が入っているか否かを判定し、
前記人物の視野内に前記広告が入っているか否かの判定結果に基づいて、前記映像に含まれる複数の人物の中から、前記広告の閲覧をしている人物を特定し、
特定された前記広告の閲覧をしている人物の前記広告の閲覧時間長を計数し、
計数された前記広告の閲覧時間長に基づいて、前記広告の閲覧時間長に関する広告閲覧情報を生成する、
ことを特徴とする請求項5に記載の広告閲覧情報出力プログラム。 - 広告の設置場所近傍の領域を撮影するカメラが撮影した映像を取得する取得部と、
前記映像を分析することで、前記映像に含まれる人物の顔領域とは異なる領域である頭部領域を抽出する抽出部と、
抽出した前記頭部領域から前記人物の頭の向きを推定する推定部と、
前記人物の位置と前記広告の設置場所との関係、及び前記人物の頭の向きに基づいて、前記人物の視野内に前記広告が入っているか否かを判定する判定部と、
前記人物の視野内に前記広告が入っているか否かの判定結果に基づいて、前記広告の閲覧に関する広告閲覧情報を生成する生成部と、
前記広告閲覧情報を出力する出力部と、
を備えることを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022183505A JP7421149B2 (ja) | 2019-08-29 | 2022-11-16 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021541905A JP7265202B2 (ja) | 2019-08-29 | 2019-08-29 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
PCT/JP2019/033945 WO2021038800A1 (ja) | 2019-08-29 | 2019-08-29 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
JP2022183505A JP7421149B2 (ja) | 2019-08-29 | 2022-11-16 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021541905A Division JP7265202B2 (ja) | 2019-08-29 | 2019-08-29 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023016848A JP2023016848A (ja) | 2023-02-02 |
JP7421149B2 true JP7421149B2 (ja) | 2024-01-24 |
Family
ID=74683406
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021541905A Active JP7265202B2 (ja) | 2019-08-29 | 2019-08-29 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
JP2022183505A Active JP7421149B2 (ja) | 2019-08-29 | 2022-11-16 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021541905A Active JP7265202B2 (ja) | 2019-08-29 | 2019-08-29 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4024313A4 (ja) |
JP (2) | JP7265202B2 (ja) |
WO (1) | WO2021038800A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023074802A1 (ja) * | 2021-10-29 | 2023-05-04 | パイオニア株式会社 | 情報処理装置、情報処理方法、および、情報処理装置用プログラム |
KR102665266B1 (ko) * | 2023-12-04 | 2024-05-10 | 스페이스비전에이아이주식회사 | 옥외 광고용 컨텐츠를 송출하기 위한 사이니지 및 방법 |
CN117408757B (zh) * | 2023-12-14 | 2024-04-09 | 江西时刻互动科技股份有限公司 | 一种用于广告投放效果监测的智能评估*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4037130B2 (ja) | 2002-02-27 | 2008-01-23 | 沖電気工業株式会社 | 情報配信システムおよび情報配信方法 |
JP2011232876A (ja) | 2010-04-26 | 2011-11-17 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ注目度算出装置、コンテンツ注目度算出方法、およびコンテンツ注目度算出プログラム |
JP2011233119A (ja) | 2010-04-30 | 2011-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 広告効果測定装置、広告効果測定方法およびプログラム |
JP2012123727A (ja) | 2010-12-10 | 2012-06-28 | Hitachi Solutions Ltd | 広告効果測定サーバ、広告効果測定装置、プログラム、広告効果測定システム |
JP5103287B2 (ja) | 2008-06-10 | 2012-12-19 | 日本電信電話株式会社 | 広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよびそのプログラムを記録した記録媒体 |
JP2015228145A (ja) | 2014-06-02 | 2015-12-17 | 隆 平林 | 表示装置、デジタル表示システム及びデジタル表示プログラム |
JP2017010524A (ja) | 2015-06-22 | 2017-01-12 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
JP2018106229A (ja) | 2016-12-22 | 2018-07-05 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP2018112880A (ja) | 2017-01-11 | 2018-07-19 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008112401A (ja) | 2006-10-31 | 2008-05-15 | Mitsubishi Electric Corp | 広告効果測定装置 |
JP5245691B2 (ja) | 2008-09-29 | 2013-07-24 | セイコーエプソン株式会社 | 情報処理装置、サーバ装置およびプログラム |
JP2011070629A (ja) | 2009-08-25 | 2011-04-07 | Dainippon Printing Co Ltd | 広告効果測定システム及び広告効果測定装置 |
US20130342689A1 (en) * | 2012-06-25 | 2013-12-26 | Intel Corporation | Video analytics test system |
US10424103B2 (en) * | 2014-04-29 | 2019-09-24 | Microsoft Technology Licensing, Llc | Display device viewer gaze attraction |
JP2015015031A (ja) | 2014-08-12 | 2015-01-22 | 株式会社日立ソリューションズ | 広告効果測定サーバ、広告効果測定システム、プログラム |
JP6548306B2 (ja) | 2016-02-23 | 2019-07-24 | Kddi株式会社 | カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 |
JP2018055248A (ja) * | 2016-09-27 | 2018-04-05 | ソニー株式会社 | 情報収集システム、電子棚札、電子pop、文字情報表示装置 |
-
2019
- 2019-08-29 JP JP2021541905A patent/JP7265202B2/ja active Active
- 2019-08-29 WO PCT/JP2019/033945 patent/WO2021038800A1/ja unknown
- 2019-08-29 EP EP19943279.0A patent/EP4024313A4/en active Pending
-
2022
- 2022-11-16 JP JP2022183505A patent/JP7421149B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4037130B2 (ja) | 2002-02-27 | 2008-01-23 | 沖電気工業株式会社 | 情報配信システムおよび情報配信方法 |
JP5103287B2 (ja) | 2008-06-10 | 2012-12-19 | 日本電信電話株式会社 | 広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよびそのプログラムを記録した記録媒体 |
JP2011232876A (ja) | 2010-04-26 | 2011-11-17 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ注目度算出装置、コンテンツ注目度算出方法、およびコンテンツ注目度算出プログラム |
JP2011233119A (ja) | 2010-04-30 | 2011-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 広告効果測定装置、広告効果測定方法およびプログラム |
JP2012123727A (ja) | 2010-12-10 | 2012-06-28 | Hitachi Solutions Ltd | 広告効果測定サーバ、広告効果測定装置、プログラム、広告効果測定システム |
JP2015228145A (ja) | 2014-06-02 | 2015-12-17 | 隆 平林 | 表示装置、デジタル表示システム及びデジタル表示プログラム |
JP2017010524A (ja) | 2015-06-22 | 2017-01-12 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
JP2018106229A (ja) | 2016-12-22 | 2018-07-05 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP2018112880A (ja) | 2017-01-11 | 2018-07-19 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4024313A1 (en) | 2022-07-06 |
JP7265202B2 (ja) | 2023-04-26 |
WO2021038800A1 (ja) | 2021-03-04 |
JPWO2021038800A1 (ja) | 2021-03-04 |
EP4024313A4 (en) | 2022-08-17 |
JP2023016848A (ja) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7421149B2 (ja) | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 | |
JP4876687B2 (ja) | 注目度計測装置及び注目度計測システム | |
JP5224360B2 (ja) | 電子広告装置、電子広告方法及びプログラム | |
JP5272213B2 (ja) | 広告効果測定装置、広告効果測定方法およびプログラム | |
JP2023036898A (ja) | 視聴者エンゲージメントを評価するためのシステムおよび方法 | |
WO2009096428A1 (ja) | 表示システム、表示効果測定システム、表示方法、表示効果測定方法、及び、記録媒体 | |
JP5113721B2 (ja) | メディア情報の注目度測定装置、メディア情報の注目度測定方法、メディア情報の注目度測定プログラムおよびそのプログラムを記録した記録媒体 | |
KR101616652B1 (ko) | 디지털 광고 시스템 | |
JP6267861B2 (ja) | 対話型広告のための使用測定技法およびシステム | |
US20080147488A1 (en) | System and method for monitoring viewer attention with respect to a display and determining associated charges | |
US20080109397A1 (en) | Automatic detection and aggregation of demographics and behavior of people | |
JP6148948B2 (ja) | 情報処理システム、情報処理方法および情報処理プログラム | |
JP5391951B2 (ja) | 顔検出結果分析システム,顔検出結果分析装置及びコンピュータプログラム | |
JP2009116510A (ja) | 注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置 | |
US20130328765A1 (en) | Signage system and display method by the same | |
JP6879379B2 (ja) | 接客支援装置、接客支援方法、及びプログラム | |
JP5353193B2 (ja) | 行動分析装置及び行動分析方法並びにプログラム | |
JP2010211485A (ja) | 注視度合測定装置、注視度合測定方法、注視度合測定プログラムおよびそのプログラムを記録した記録媒体 | |
JP2012022538A (ja) | 注目位置推定方法、画像表示方法、注目コンテンツ表示方法、注目位置推定装置および画像表示装置 | |
JP2020123884A (ja) | 集中度評価プログラム、装置、及び方法 | |
JP5272214B2 (ja) | 広告効果指標測定装置、広告効果指標測定方法およびプログラム | |
JP2011070629A5 (ja) | ||
JP5772942B2 (ja) | 情報処理装置及び情報処理プログラム | |
US20200242659A1 (en) | Media Content Tracking | |
JP2016053869A (ja) | 情報処理装置及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7421149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |