JP5103287B2

JP5103287B2 - 広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよびそのプログラムを記録した記録媒体

Info

Publication number: JP5103287B2
Application number: JP2008151422A
Authority: JP
Inventors: 慎吾安藤; 章鈴木; 秀樹小池
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-06-10
Filing date: 2008-06-10
Publication date: 2012-12-19
Anticipated expiration: 2028-06-10
Also published as: JP2009301085A

Description

本発明は、カメラと人物顔検出・姿勢推定技術を利用して広告メディアの効果を客観的に測定できる広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよびそのプログラムを記録した記録媒体に関するものである。

近年、“ディジタルサイネージ”と呼ばれる、屋外や店頭でエレクトリックな表示機器を用いて映像を発信する広告メディアが急速に普及しはじめている。この新しい広告形態は、ネットワークと連携することで広告主が最新情報をリアルタイムに発信・更新できるため、従来の広告メディアより費用対効果が高いと考えられている。それに伴って、広告効果を客観的に測定する技術が強く求められるようになった。

広告効果を客観的に測定する方法として、特許文献１に記載の方法が知られている。これは、広告メディア側にカメラを設置し、カメラに映った人物を輪郭情報等に基づき抽出して、その抽出された数を広告メディアへの注目度合いとして評価しその評価値を集計するものである。これに、顔検出技術（例えば、非特許文献１）等を組み合わせることで、より精確な注目度合いを計測することができる。また、顔の姿勢を高精度に推定する方法としては、例えば非特許文献２に記載の方法が提案されている。
特許第３７５７５８４号公報三田雄志, 金子敏充, 堀修,"個体差のある対象の画像照合に適した確率的増分符号相関",電子情報通信学会論文誌D-II, Vol. J88-D-II, No.8, pp.1614-1623, 2005. 安藤慎吾, 草地良規, 鈴木章, 荒川賢一,"サポートベクトル回帰を用いた三次元物体の姿勢推定法",電子情報通信学会論文誌D, Vol.J89-D No.8, pp.1840-1847, 2006.

しかし、一般に知られている顔検出手法は顔の向きや照明変動等に影響されやすいだけでなく、顔と似たパターンにも反応しやすいため、一時的に背景から顔として誤検出される場合(以下、過検出と称する)や、それとは逆に、一時的に顔が検出できなくなる場合(以下、検出漏れと称する)があり得る。そのため、評価集計値にノイズが混入し不正確な集計結果となる。具体的には、過検出において、人数が実際より多くカウントされてしまう。また、検出漏れにおいて、人数が実際より少なくカウントされることや、同一人物が二人以上と誤って多めにカウントされてしまう(異なるフレームで一時的に顔をロストしてしまうと、ロスト時点より前と後とで同一人物が別の人と判断されてしまうため)ことが考えられる。これらは人物トラッキング技術等を単純に導入しただけでは解決されない問題である。なぜなら、トラッキングでは検出結果を訂正する(例えば、後から削除する)といった操作は含まれないからである。

本発明は上記の問題点に鑑みてなされたものであり、その目的は、顔検出が不完全なものであっても、精度の高い注目者数を算出でき、広告効果として測定できる広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよびそのプログラムを記録した記録媒体を提供することにある。

上記目的を達成するために、本発明では、人物が広告メディアを注視している時間を測定し、その集計結果として、決められた期間内(例えば1日)における任意時間以上注視した人物の数を算出する。集計結果の例を図１に示す。これにより、一瞬しか広告メディアを見なかったもの(過検出もこれに含まれると考える)は除外されるため、信頼性の高い数値を算出できるばかりでなく、長時間広告メディアを見ていた人物だけ映っている一部映像を抽出し、人間が目視確認することで、広告効果のより詳細な分析をも可能とする。

また、顔検出状態を、（１）仮検出、（２）正検出、（３）注視の３状態として定義する。そして、時間的に一つ前の検出結果を利用して各々の検出顔をこの3状態のいずれか一つに割り当て、各人物の状態遷移を記録し集計することでより正確な注目者数を算出し広告効果として測定する。人物が広告メディアを注視しているかどうかは、顔検出後に顔姿勢推定を行い、顔が特定範囲内の方角を向いているかどうか調べることで判定可能である。

すなわち、請求項１に記載の広告効果測定装置は、広告メディア近傍に設置されたカメラで撮影し、該広告メディアを注目しているとみなせる人物の数を計数して広告効果を客観的に測定する広告効果測定装置であって、前記カメラで撮影された画像をデジタルデータとして入力する画像入力手段と、前記画像入力手段に入力された入力画像から顔のある領域を検出する顔検出手段と、前記顔検出手段において検出された顔領域をもとに、顔の姿勢を表すパラメータ値を推定する顔姿勢推定手段と、前記顔検出手段から渡される検出位置、大きさ、顔類似度と、前記顔姿勢推定手段から渡される顔姿勢パラメータと、前検出状態記憶手段から渡される前フレームでの検出位置、大きさ、顔状態とに基づいて、検出された顔の現フレームの顔状態を判別する状態判別手段と、前記状態判別手段から渡される現フレームの顔状態と前検出状態記憶手段から渡される検出ＩＤおよび注視時間に基づいて、検出された顔の検出ＩＤと注視時間情報を付与する検出ＩＤ・注視時間付与手段と、前記顔検出手段から渡される顔検出時刻、検出位置、大きさと、前記状態判別手段から渡される顔状態と、前記検出ＩＤ・注視時間付与手段から渡される検出ＩＤ、注視時間の各情報を一時的に記憶する前検出状態記憶手段と、前記顔検出手段から渡される顔検出時刻と前記検出ＩＤ・注視時間付与手段から渡される検出ＩＤ、注視時間に基づいて、検出結果である検出時刻、検出ＩＤ、注視時間の各情報をピックアップし注目者ログとして蓄積する注目者ログ記憶手段と、前記注目者ログ記憶手段から渡される注目者ログに基づいて、注目者ログから指定期間内の注目者を計数する注目者数集計手段と、前記注目者数集計手段で集計された結果を出力する結果出力手段とを備え、前記状態判別手段は、現フレームでの大きさと前フレームでの大きさの差が決められた範囲内にあるという第１の条件と、現フレームでの検出位置と前フレームでの検出位置との距離が決められた範囲内にあるという第２の条件と、現フレームにおける顔姿勢パラメータが指定範囲内という第３の条件に対して、現フレームにおける検出顔を顔類似度が高いものから順に前フレームの検出顔と対応付けを行い、第１の条件あるいは第２の条件を満たさなければ現フレームの顔状態を仮検出結果と判定し、第１の条件と第２の条件を満たすが第３の条件を満たさなければ現フレームの顔状態を正検出結果と判定し、３つの条件のいずれをも満たせば現フレームの顔状態を正検出結果且つ注視状態と判定し、前記検出ＩＤ・注視時間付与手段は、現フレームでの顔状態が正検出結果且つ注視状態であるときに、前フレームと現フレームの時間差を注視時間に加える、ことを特徴としている。

また請求項２に記載の広告効果測定装置は、請求項１において、前記注目者数集計手段は、計数すべき注目者を、指定時間以上広告を注視し続けていた人物であると定義して計数を行うことを特徴としている。

また、請求項３に記載の広告効果測定方法は、広告メディア近傍に設置されたカメラで撮影し、該広告メディアを注目しているとみなせる人物の数を計数して広告効果を客観的に測定する広告効果測定方法であって、画像入力手段が、前記カメラで撮影された画像をデジタルデータとして入力する画像入力ステップと、顔検出手段が、前記画像入力ステップにより入力された入力画像から顔のある領域を検出する顔検出ステップと、顔姿勢推定手段が、前記顔検出ステップにより検出された顔領域をもとに、顔の姿勢を表すパラメータ値を推定する顔姿勢推定ステップと、状態判別手段が、前記顔検出手段から渡される検出位置、大きさ、顔類似度と、前記顔姿勢推定手段から渡される顔姿勢パラメータと、前検出状態記憶手段から渡される前フレームでの検出位置、大きさ、顔状態とに基づいて、検出された顔の現フレームの顔状態を判別する状態判別ステップと、検出ＩＤ・注視時間付与手段が、前記状態判別手段から渡される現フレームの顔状態と前検出状態記憶手段から渡される検出ＩＤおよび注視時間に基づいて、検出された顔の検出ＩＤと注視時間情報を付与する検出ＩＤ・注視時間付与ステップと、前検出状態記憶手段が、前記顔検出手段から渡される顔検出時刻、検出位置、大きさと、前記状態判別手段から渡される顔状態と、前記検出ＩＤ・注視時間付与手段から渡される検出ＩＤ、注視時間の各情報を一時的に記憶する前検出状態記憶ステップと、注目者ログ記憶手段が、前記顔検出手段から渡される顔検出時刻と前記検出ＩＤ・注視時間付与手段から渡される検出ＩＤ、注視時間に基づいて、検出結果である検出時刻、検出ＩＤ、注視時間の各情報をピックアップし注目者ログとして蓄積する注目者ログ記憶ステップと、注目者数集計手段が、前記注目者ログ記憶手段から渡される注目者ログに基づいて、注目者ログから指定期間内の注目者を計数する注目者数集計ステップと、結果出力手段が、前記注目者数集計ステップにより集計された結果を出力する結果出力ステップとを備え、前記状態判別ステップは、現フレームでの大きさと前フレームでの大きさの差が決められた範囲内にあるという第１の条件と、現フレームでの検出位置と前フレームでの検出位置との距離が決められた範囲内にあるという第２の条件と、現フレームにおける顔姿勢パラメータが指定範囲内という第３の条件に対して、現フレームにおける検出顔を顔類似度が高いものから順に前フレームの検出顔と対応付けを行い、第１の条件あるいは第２の条件を満たさなければ現フレームの顔状態を仮検出結果と判定し、第１の条件と第２の条件を満たすが第３の条件を満たさなければ現フレームの顔状態を正検出結果と判定し、３つの条件のいずれをも満たせば現フレームの顔状態を正検出結果且つ注視状態と判定し、前記検出ＩＤ・注視時間付与ステップは、現フレームでの顔状態が正検出結果且つ注視状態であるときに、前フレームと現フレームの時間差を注視時間に加える、ことを特徴としている。

また請求項４に記載の広告効果測定方法は、請求項３において、前記注目者数集計ステップは、計数すべき注目者を、指定時間以上広告を注視し続けていた人物であると定義して計数を行うことを特徴としている。

また、請求項５に記載の広告効果測定プログラムは、コンピュータに請求項３又は４に記載の各ステップを実行させる広告効果測定プログラムである。

また、請求項６に記載の記録媒体は、コンピュータに請求項３又は４に記載の各ステップを実行させる広告効果測定プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、人物が広告メディアを注視している時間を測定し、集計結果として任意時間以上注視した人物の数を測定すること、また、顔検出状態を（１）仮検出、（２）正検出、（３）注視の３状態として定義し、その状態遷移を記録し集計することによって、顔検出が不完全でも精度の良い広告効果測定を実現することができる。

また、過検出により人数が実際よりも多くなることや、検出漏れにより人数が実際よりも少なくなること、および、同様に検出漏れにより１人の人を別の時刻で別人と判定してしまうことにより実際の人数よりも多くなること等が無くなり、精度の高い測定ができる。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図２は、本発明に係る実施形態の広告効果測定装置の構成を示すブロック図である。

図２において、本実施形態例の広告効果測定装置は、画像入力手段としての画像入力部１１と、顔検出手段としての顔検出部１２と、顔姿勢推定手段としての顔姿勢推定部１３と、状態判別手段としての状態判別部１４と、検出ＩＤ・注視時間付与手段としての検出ＩＤ・注視時間付与部１５と、前検出状態記憶手段としての前検出状態記憶部１６と、注目者ログ記憶手段としての注目者ログ記憶部１７と、注目者数集計手段としての注目者数集計部１８と、結果出力手段としての結果出力部１９とを備え、前記各部の機能は例えばコンピュータにより達成される。

図３は本発明の広告効果測定方法の実施形態を示し、図２の広告効果測定装置で行われる処理のフローチャートである。本実施形態の広告効果測定方法の全体は大きく２つの過程に分けられる。すなわち、カメラに映った注目者の情報をログ(以下、注目者ログと称する)として残す過程（図３（ａ）の各ステップ）と、注目者ログを集計し出力する過程（図３（ｂ）の各ステップ）である。

以下、本実施形態例を図２、図３とともに詳細に説明する。

画像入力部１１では、カメラにより入力される画像情報を顔検出部１２に伝送する（ステップＳ１１）。カメラは広告メディア掲示位置の近傍(例えば上部)に設置するものとする。また、広告メディアとしては、ディジタルサイネージ以外にも通常のポスター広告や一般家庭のＴＶ等も含まれる。

顔検出部１２では、画像入力部から伝送された各画像から顔のある領域を検出する（ステップＳ１２）。この処理は、例えば非特許文献１に開示された確率的増分符号相関などの統計的手法を利用して高速に検出することが可能である。なお、ここで検出に用いた顔らしさを示す類似度は後の状態判別部１４で使用される。

顔姿勢推定部１３では、検出された顔領域の明度パターンを入力として、顔の姿勢を高精度に推定する（ステップＳ１３）。具体的には、非特許文献２に開示されている主成分分析とサポートベクトル回帰を組み合わせたパラメータ推定法などが適用可能である。ここで、顔の姿勢を表すパラメータはｙａｗ角、ｐｉｔｃｈ角の２種類である。

状態判別部１４では、後で記す前検出状態記憶部１６から前フレームでの検出顔位置、大きさとその状態を参照し、現フレームでの各検出顔の状態を判別する（ステップＳ１４）。ここで、検出顔の状態を以下の３種類とする。

状態１：仮検出結果
状態２：正検出結果
状態３：正検出結果、且つ注視状態
まず、現フレームの各検出顔を、顔らしさを示す類似度でソートする。そして、類似度の高いものから順番に、前フレームの検出顔と対応付けていく。対応付けは１対１に行われ、以下の２条件を両方満たすものと対応付けられるものとする。

条件１：現フレーム検出顔の大きさをｓとした場合、前フレーム検出顔の大きさｓ_preが以下の式（１）に当てはまること。

条件２：現フレーム検出顔の中心位置を（ｘ、ｙ）とした場合、前フレーム検出顔の中心位置（ｘ_pre，ｙ_pre）が以下の式（２）に当てはまること。

ここで、ｋ_min、ｋ_max、ｌ_min、ｌ_max、ｍ_min、ｍ_maxはあらかじめ与えられる定数である。また、該当するものが2個以上ある場合、中心位置どうしの距離が最も小さいものを採用することとする。そして、現フレームの全ての検出顔が対応付けられた後に、図４に基づいてそれらの状態を決定する。

図４において、前フレームの検出結果が状態１であるとき、現フレームに、対応付けられた（前記式（１）、式（２）の２条件を満たす）検出結果が存在するか否かを判別し（ステップＳ１４ａ）、存在しない場合は現フレームの検出結果を検出なしとする。

また前フレームの検出結果が状態２、状態３であるとき、現フレームに、対応付けられた（前記式（１）、式（２）の２条件を満たす）検出結果が存在するか否かを判別し（ステップＳ１４ｂ）、存在しない場合は現フレームの検出結果を状態１とする（尚この場合は、前フレームの検出位置、大きさを継承して現フレームの検出結果に反映する。

前記ステップＳ１４ａおよび前記ステップＳ１４ｂにおいて、対応付けられた検出結果が存在する場合は、ステップＳ１４ｃにおいて姿勢は指定範囲内であるかどうかを判別する。指定範囲ではない場合は現フレームの検出結果を状態２とし、指定範囲内である場合は状態３とする。

また前フレームの検出結果が検出なしであるとき、現フレームに、前フレームのどの結果とも対応付けられなかったものが残存するかどうかを判別し（ステップＳ１４ｄ）、残存する場合は現フレームの検出結果を状態１とする。

前記ステップＳ１４ｃにおける姿勢が指定範囲内とは、現フレーム検出顔の姿勢パラメータｙａｗ、ｐｉｔｃｈが以下の式（３）を満たす場合を指す。

なお、ｙ_min、ｙ_max、ｐ_min、ｐ_maxはあらかじめ与えられる定数である。これらの値を適切に設定することにより、カメラと広告メディアとの相対的な位置関係にある程度の自由度を持たせることができる。例えば、ななめ横から撮影するような状態にも対応可能である。図５に、状態判別の結果例を示す。

検出ＩＤ・注視時間付与部１５では、それぞれの検出顔の状態と対応付けられた前フレームの検出顔が持つ検出ＩＤ情報および注視時間情報に基づき、現フレームでの検出ＩＤ情報と注視時間情報を付与する（ステップＳ１５）。具体的な方法を図５とともに説明する。

図５において、状態１であり、且つ前フレームに対応する検出顔が存在しない場合（ＩＤ：１２）、新規の検出ＩＤ（ＩＤ：１４）を発行して付与して、注視時間を0秒とする。また、状態１であり、且つ前フレームに対応する検出顔が存在する場合（ＩＤ：１１）、検出ＩＤおよび注視時間情報を対応する前フレーム検出顔からそのまま継承する。

また状態２の場合（ＩＤ：１０）、検出ＩＤおよび注視時間情報を対応する前フレーム検出顔からそのまま継承する。

また状態３の場合（ＩＤ：１３）、検出ＩＤを前フレームからそのまま継承し、注視時間を、（対応する前フレーム検出顔が持つ注視時間情報）＋（前フレーム−現フレーム間の経過時間）とする。尚図５では、前フレーム−現フレーム間の経過時間を１ｓｅｃとしている。

前検出状態記憶部１６では、現フレームでの全ての顔検出時刻、位置、大きさ、状態、検出ＩＤ、注視時間をメモリかＨＤＤに記録する（ステップＳ１６）。その際、前回記録した分は消去する。

注目者ログ記憶部１７では、現フレームでの全ての検出顔の検出時刻、検出ＩＤ、注視時間をメモリかＨＤＤに注目者ログとして記録し記憶する（ステップＳ１７）。その際、前回記録した分は消去せず、追記のかたちとする。

これらステップＳ１１〜Ｓ１７の処理はカメラ入力が終わるまで繰り返し実行される。

次に注目者数集計部１８では、注目者ログ記憶部１７で記録された注目者ログ、対象期間(ユーザーが指定)、および注視時間しきい値(ユーザーが指定)を入力し、注目者数を計数する（ステップＳ１８）。

具体的には、まず、対象期間内の注目者ログを抽出する。対象期間はユーザーが指定するものであるが、ディジタルサイネージやＴＶＣＭ等では対象広告が一部時間帯に限定されている場合も考えられる。その場合は、対象広告のタイムスケジュール情報を入力し、広告表示されている時間帯でさらに絞り込む。

次に、検出時刻が最も遅いものから順に参照しつつ、検出ＩＤの異なる検出顔情報(検出時刻、検出ＩＤ、注視時間)を一つずつピックアップしていく。この操作により、同一検出ＩＤの顔検出情報は注視時間情報が最大のものだけ唯一つ残されることになる。さらに、注視時間情報が注視時間しきい値より小さいものを除外する。最終的に残った検出顔の数を数え、注目者数とする。注視時間しきい値は複数指定しても良い。その場合、注目者数は図１のように複数算出されることになる。また、注目者数は、単位時間あたりの注目者数で表現するのでも良い(例えば、1日あたりの注目者数を1ヶ月間で集計)。さらに、複数の注視時間しきい値を設けた場合、それぞれの注目者数に重み付けして足し算し、総合評価点として用いても良い。

結果出力部１９では、注目者数集計部１８で得られた集計結果を出力する（ステップＳ１９）。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばCD-ROM、DVD-ROM、CD-R、CD-RW、MO、HDD等は本発明を構成する。

本発明の実施形態例における注目者数の集計結果の一例を示す説明図。本発明の広告効果測定装置の実施形態例を示すブロック図。本発明の広告効果測定方法の実施形態例を示すフローチャート。本発明の実施形態例における状態判別処理を示す説明図。本発明の実施形態例における検出ＩＤ、注視時間付与の処理の一例を示す説明図。

符号の説明

１１…画像入力部、１２…顔検出部、１３…顔姿勢推定部、１４…状態判別部、１５…検出ＩＤ・注視時間付与部、１６…前検出状態記憶部、１７…注目者ログ記憶部、１８…注目者数集計部、１９…結果出力部。

Claims

広告メディア近傍に設置されたカメラで撮影し、該広告メディアを注目しているとみなせる人物の数を計数して広告効果を客観的に測定する広告効果測定装置であって、
前記カメラで撮影された画像をデジタルデータとして入力する画像入力手段と、
前記画像入力手段に入力された入力画像から顔のある領域を検出する顔検出手段と、
前記顔検出手段において検出された顔領域をもとに、顔の姿勢を表すパラメータ値を推定する顔姿勢推定手段と、
前記顔検出手段から渡される検出位置、大きさ、顔類似度と、前記顔姿勢推定手段から渡される顔姿勢パラメータと、前検出状態記憶手段から渡される前フレームでの検出位置、大きさ、顔状態とに基づいて、検出された顔の現フレームの顔状態を判別する状態判別手段と、
前記状態判別手段から渡される現フレームの顔状態と前検出状態記憶手段から渡される検出ＩＤおよび注視時間に基づいて、検出された顔の検出ＩＤと注視時間情報を付与する検出ＩＤ・注視時間付与手段と、
前記顔検出手段から渡される顔検出時刻、検出位置、大きさと、前記状態判別手段から渡される顔状態と、前記検出ＩＤ・注視時間付与手段から渡される検出ＩＤ、注視時間の各情報を一時的に記憶する前検出状態記憶手段と、
前記顔検出手段から渡される顔検出時刻と前記検出ＩＤ・注視時間付与手段から渡される検出ＩＤ、注視時間に基づいて、検出結果である検出時刻、検出ＩＤ、注視時間の各情報をピックアップし注目者ログとして蓄積する注目者ログ記憶手段と、
前記注目者ログ記憶手段から渡される注目者ログに基づいて、注目者ログから指定期間内の注目者を計数する注目者数集計手段と、
前記注目者数集計手段で集計された結果を出力する結果出力手段とを備え、
前記状態判別手段は、現フレームでの大きさと前フレームでの大きさの差が決められた範囲内にあるという第１の条件と、現フレームでの検出位置と前フレームでの検出位置との距離が決められた範囲内にあるという第２の条件と、現フレームにおける顔姿勢パラメータが指定範囲内という第３の条件に対して、現フレームにおける検出顔を顔類似度が高いものから順に前フレームの検出顔と対応付けを行い、第１の条件あるいは第２の条件を満たさなければ現フレームの顔状態を仮検出結果と判定し、第１の条件と第２の条件を満たすが第３の条件を満たさなければ現フレームの顔状態を正検出結果と判定し、３つの条件のいずれをも満たせば現フレームの顔状態を正検出結果且つ注視状態と判定し、
前記検出ＩＤ・注視時間付与手段は、現フレームでの顔状態が正検出結果且つ注視状態であるときに、前フレームと現フレームの時間差を注視時間に加える、
ことを特徴とする広告効果測定装置。
前記注目者数集計手段は、計数すべき注目者を、指定時間以上広告を注視し続けていた人物であると定義して計数を行うことを特徴とする請求項１に記載の広告効果測定装置。
広告メディア近傍に設置されたカメラで撮影し、該広告メディアを注目しているとみなせる人物の数を計数して広告効果を客観的に測定する広告効果測定方法であって、
画像入力手段が、前記カメラで撮影された画像をデジタルデータとして入力する画像入力ステップと、
顔検出手段が、前記画像入力ステップにより入力された入力画像から顔のある領域を検出する顔検出ステップと、
顔姿勢推定手段が、前記顔検出ステップにより検出された顔領域をもとに、顔の姿勢を表すパラメータ値を推定する顔姿勢推定ステップと、
状態判別手段が、前記顔検出手段から渡される検出位置、大きさ、顔類似度と、前記顔姿勢推定手段から渡される顔姿勢パラメータと、前検出状態記憶手段から渡される前フレームでの検出位置、大きさ、顔状態とに基づいて、検出された顔の現フレームの顔状態を判別する状態判別ステップと、
検出ＩＤ・注視時間付与手段が、前記状態判別手段から渡される現フレームの顔状態と前検出状態記憶手段から渡される検出ＩＤおよび注視時間に基づいて、検出された顔の検出ＩＤと注視時間情報を付与する検出ＩＤ・注視時間付与ステップと、
前検出状態記憶手段が、前記顔検出手段から渡される顔検出時刻、検出位置、大きさと、前記状態判別手段から渡される顔状態と、前記検出ＩＤ・注視時間付与手段から渡される検出ＩＤ、注視時間の各情報を一時的に記憶する前検出状態記憶ステップと、
注目者ログ記憶手段が、前記顔検出手段から渡される顔検出時刻と前記検出ＩＤ・注視時間付与手段から渡される検出ＩＤ、注視時間に基づいて、検出結果である検出時刻、検出ＩＤ、注視時間の各情報をピックアップし注目者ログとして蓄積する注目者ログ記憶ステップと、
注目者数集計手段が、前記注目者ログ記憶手段から渡される注目者ログに基づいて、注目者ログから指定期間内の注目者を計数する注目者数集計ステップと、
結果出力手段が、前記注目者数集計ステップにより集計された結果を出力する結果出力ステップとを備え、
前記状態判別ステップは、現フレームでの大きさと前フレームでの大きさの差が決められた範囲内にあるという第１の条件と、現フレームでの検出位置と前フレームでの検出位置との距離が決められた範囲内にあるという第２の条件と、現フレームにおける顔姿勢パラメータが指定範囲内という第３の条件に対して、現フレームにおける検出顔を顔類似度が高いものから順に前フレームの検出顔と対応付けを行い、第１の条件あるいは第２の条件を満たさなければ現フレームの顔状態を仮検出結果と判定し、第１の条件と第２の条件を満たすが第３の条件を満たさなければ現フレームの顔状態を正検出結果と判定し、３つの条件のいずれをも満たせば現フレームの顔状態を正検出結果且つ注視状態と判定し、
前記検出ＩＤ・注視時間付与ステップは、現フレームでの顔状態が正検出結果且つ注視状態であるときに、前フレームと現フレームの時間差を注視時間に加える、
ることを特徴とする広告効果測定方法。
前記注目者数集計ステップは、計数すべき注目者を、指定時間以上広告を注視し続けていた人物であると定義して計数を行うことを特徴とする請求項３に記載の広告効果測定方法。
コンピュータに請求項３又は４に記載の各ステップを実行させる広告効果測定プログラム。
コンピュータに請求項３又は４に記載の各ステップを実行させる広告効果測定プログラムを記録したコンピュータ読み取り可能な記録媒体。