JP2011070629A5 - - Google Patents

Description

広告効果測定装置及び広告効果測定システム

本発明は，ディスプレイの広告効果を測定するための技術に関する。なお，ディスプレイとは、液晶ディスプレイやプロジェクタを用いて広告を表示する広告媒体であるデジタルサイネージ（Digital Signage）の他、ショーウインドウ、広告看板、店舗内の特定の商品陳列棚などを含む。

液晶ディスプレイやプロジェクタなどを用いて広告を表示する広告媒体であるデジタルサイネージ（Digital Signage）が，様々な場所に設置され始めている。
デジタルサイネージを用いることで，動画や音声を用いた豊かなコンテンツの提供が可能になるばかりか，デジタルサイネージの設置場所に応じた効率的な広告配信が可能になるため，今後，デジタルサイネージのマーケット拡大が期待されている。

広告主がデジタルサイネージを導入するのにあたり，テレビの視聴率，新聞，雑誌の販売部数といったように，客観的な広告効果を広告主に提示することが必要になり，デジタルサイネージの広告効果に係わる発明としては，例えば，特許文献１が開示されている。

特許文献１で開示されている表示装置は，電子看板（デジタルサイネージ）を見ている人を撮影するビデオカメラを備え，このビデオカメラにおける顔検出結果と，他の場所（会計コーナ）に設置されたカメラの顔検出結果を関連付けることで，電子看板で表示している広告の広告効果として広告と消費行動の関連性を求める装置である。

上述した広告効果に加え，特許文献１で開示されている表示装置には，表示装置単体で得られる広告効果を算出するために統計解析モジュールが備えられ，この統計解析モジュールは，ビデオカメラが撮影した映像を解析し，該映像に含まれる個々の顔の数、性別データ、年齢カテゴリデータ、電子看板の方を向いていた時間である滞在時間などを算出する。

特開２００５-２５１１７０号公報

電子看板の方を向いていた時間である滞在時間など，液晶ディスプレイやプロジェクタを用いて広告を表示する広告媒体であるデジタルサイネージ（Digital Signage）の他、ショーウインドウ、広告看板、店舗内の特定の商品陳列棚などのようなディスプレイを閲覧している時間を人物毎に測定するためには，映像に含まれる人物の顔をトラッキングすることが必要になり，特許文献１においては，トラッキング手法として，色マッチング法及びカルマンフィルタリング法が記載されているが，これらの手法は，顔を見失った場合でもトラッキングを続けることができる等の利点があるものの，これらの手法の処理速度が遅く，全体の処理において律速になってしまう。

そこで，本発明は，デジタルサイネージなどのディスプレイを閲覧している人物の顔をトラッキングする処理を高速化でき，かつ，ディスプレイの広告効果の測定に利用できるログを生成することができ，更に，見失った人物の顔をトラッキングすることができる広告効果測定システムを提供することを目的とする。

上述した課題を解決する第１の発明は，ディスプレイの広告効果を測定する広告効果測定装置であって，前記ディスプレイの前にいる人物を撮影するカメラが撮影した映像に含まれるフレームに撮影されている顔画像を検出し，検出した前記顔画像毎に，顔検出枠の位置・矩形サイズを顔検出枠データとして出力する顔検出手段と，前記顔検出手段から取得した前記顔検出枠データ毎に，前記顔検出手段が一つ前に処理したフレームから取得した前記顔検出枠データと，前記顔検出手段が今回処理したフレームから取得した前記顔検出枠データとの位置・矩形サイズ差を示す評価値を算出し，前記評価値の最も小さい一つ前の前記顔検出枠データを今回の前記顔検出枠データ毎に対応付けるトラッキング手段と，前記顔検出手段が新規に検出した顔画像毎に顔オブジェクトを生成し，前記トラッキング手段から得られる一つ前と今回の前記顔検出枠データの対応付け結果を参照し，事前に定めた状態遷移表に従い前記顔オブジェクトの状態を閲覧状態に遷移させ，前記ディスプレイの広告効果の指標となるログとして，前記顔オブジェクトの状態が閲覧状態であった時間を前記顔オブジェクト毎に少なくとも記憶する状態遷移管理手段を備えていることを特徴とする広告効果測定装置である。

上述した第１の発明によれば，前記広告効果測定装置の前記顔検出手段が、顔検出枠の位置・矩形サイズを顔検出枠データとして出力し，前記広告効果測定装置の前記トラッキング手段が、今回の前記顔検出枠データに，位置・矩形サイズが近い一つ前の前記顔検出枠データを対応付けることで，顔検出枠をトラッキングする処理で複雑な画像処理は行われず，この処理を高速に行うことができるようになる。また，前記広告効果測定装置に前記状態遷移管理手段を備えさせることで，ディスプレイの広告効果として，前記ディスプレイを閲覧している人の閲覧時間をログとして取得できるようになる。

更に，第２の発明は，前記広告効果測定装置の前記トラッキング手段は，今回の前記顔検出枠データ毎に，事前に定めた設定値を前記評価値の最小値に加えた範囲内に２つ以上の前記評価値が含まれるか確認し，２つ以上の前記評価値が含まれる前記顔検出枠データがある場合，該顔検出枠データの領域に含まれる前記顔画像と一つ前の前記顔検出枠データ画像の領域に含まれる前記顔画像の特徴差を示す値を算出し，該今回の前記顔検出枠データの前記評価値に加算する処理を実行した後，一つ前の顔検出枠データを該今回の顔検出枠データに対応付けする処理を実行することを特徴とする，第１の発明に記載の広告効果測定装置である。

上述した第２の発明によれば，今回の前記フレームにおいて、非常に近い顔検出枠が２つ以上ある場合は，顔が似ている方の顔検出枠に対応する一つ前の顔検出枠データを今回の顔検出枠データに対応付けできるようになる。

更に，第３の発明は，前記広告効果測定装置は，一つ前の前記顔検出枠データに対応付ける前記顔検出枠データが今回の前記フレームから検出されなかった場合，動画解析手法を用いて，該一つ前の前記顔検出枠データに対応する前記顔画像を今回の前記フレームから検出する動画解析手段を備えていることを特徴とする，第１の発明は第２の発明に記載の広告効果測定装置である。

第３の発明によれば，また，前記広告効果測定装置が前記動画解析手段を備えることで，顔検出枠を見失った場合，すなわち，一つ前の前記顔検出枠データに対応付ける前記顔検出枠データが今回の前記フレームから検出されなかった場合でも対応を取ることができる。なお，前記動画解析手段が実行する手法としては，時系列パーティクルフィルタ，ＬＫ法またはＣａｍＳｉｆｔのいずれか又は全てを該利用することができる。

更に，第４の発明は，前記広告効果測定装置の前記状態遷移管理手段は，今回の前記顔検出枠データに対応付ける一つ前の前記顔検出枠データが無い場合，該今回の顔検出枠データを含む前記顔オブジェクトを新規に作成し，該顔オブジェクトの状態を閲覧状態にする動作を行い，今回の前記顔検出枠データに対応付ける一つ前の前記顔検出枠データを含む前記顔オブジェクトの状態が閲覧状態の場合，前記顔オブジェクトの状態を遷移せず，該顔オブジェクトの位置・サイズを該顔検出枠データの位置・サイズに更新し，今回の前記顔検出枠データが対応付けられなかった一つ前の前記顔検出枠データを含む前記顔オブジェクトの状態が閲覧状態の場合，前記動画解析手段を用いて，該顔オブジェクトに対応する前記顔画像を検出し，今回の前記フレームから該顔画像が検出できたときは，該顔オブジェクトの状態を遷移させずに，該顔オブジェクトの位置・サイズを検出された該顔画像の位置・サイズに更新し，該顔画像を今回の前記フレームから検出できないときは，該顔オブジェクトの状態を非閲覧状態にする動作を行い，前記顔オブジェクトが閲覧状態にある時間を，前記顔オブジェクトの閲覧時間のログとして記憶することを特徴とする，第３の発明に記載の広告効果測定装置である。

更に，第５の発明は，前記広告効果測定装置の前記状態遷移管理手段は，前記顔オブジェクトが閲覧状態にある間，該顔オブジェクトに含まれる前記顔検出枠データの位置をログとして記憶することを特徴とする，第１の発明から第４の発明のいずれか一つに記載の広告効果測定装置である。

更に，第６の発明は，前記広告効果測定装置は，前記顔画像を解析することで，前記顔画像に対応する人物の属性を推定する人物属性推定手段を備え，前記広告効果測定装置の前記状態遷移管理手段は，新規に生成した前記顔オブジェクトに対応する前記顔画像を前記人物属性推定手段に解析させ，該顔画像の属性を示すログとして記憶することを特徴とする，第１の発明から第５の発明のいずれか一つに記載の広告効果測定装置である。

更に，第７の発明は，前記広告効果測定装置は，前記フレームに撮影された人体を検出する人体検出手段を備え，前記広告効果測定装置は，前記人体検出した人体の数を前記ディスプレイの前にいる人物の人数のログとして少なくとも記憶することを特徴とする，第１の発明から第６の発明のいずれか一つに記載の広告効果測定装置である。

第４の発明のように，前記顔オブジェクトの状態を遷移させれば，ディスプレイを閲覧した人物毎の閲覧時間をログとして記憶することができ，第５の発明によれば，ディスプレイを閲覧した人物毎に位置をログとして記憶することができるようになる。

更に，第６の発明のように，前記広告効果測定装置に前記人物属性推定手段を備えさせれば，ディスプレイを閲覧した人物の人物属性（年齢・性別）をログとして記憶できるようになり，また，第７の発明のように，前記広告効果測定装置に前記人体検出手段を備えさせれば，ディスプレイの前にいる人の総人数をログとして記憶できるようになる。

更に，第８の発明は，前記広告効果測定装置は，前記フレームの背景画像を除去する背景除去手段を備え，前記顔検出手段及び前記人体検出手段は，前記背景除去手段によって背景画像が除去された前記フレームを解析することを特徴とする，第１の発明から第７の発明のいずれか一つに記載の広告効果測定装置である。

第８の発明によれば，前記広告効果測定装置に前記背景除去手段を備えさせることで，顔検出・人体検出の精度を高めると共に処理速度を向上させることができるようになる。

更に，第９の発明は，前記広告効果測定装置の前記状態遷移管理手段は，前記顔オブジェクトを新規に作成すると，該顔オブジェクトの状態を閲覧状態にする前に候補状態に設定し，今回の前記顔検出枠データが対応付けられた一つ前の前記顔検出枠データを含む前記顔オブジェクトの状態が候補状態であるとき，該顔オブジェクトの位置・サイズを該今回の顔検出枠データの位置・サイズに更新すると共に，該顔オブジェクトに設けたカウンタをインクリメントする処理を実行し，事前に定めた設定時間が経過してもカウンタの値が事前に定めた回数に達しない候補状態の顔オブジェクトの利用を中止し，事前に定めた設定時間が経過する前にカウンタの値が事前に定めた回数に達した候補状態の顔オブジェクトを閲覧状態に状態遷移することを特徴とする，第１の発明から第８の発明のいずれか一つに記載の広告効果測定装置である。

更に，第１０の発明は，前記広告効果測定装置の前記状態遷移管理手段は，前記顔オブジェクトの状態を非閲覧状態にする前に，該顔オブジェクトの状態を待機状態に状態遷移させ，事前に定めた時間が経過しても，待機状態の前記顔オブジェクトに含まれる前記顔検出枠データと一致する前記顔検出枠データが検出されなかった場合，前記顔オブジェクトの状態を非閲覧状態に状態遷移させ，事前に定めた時間が経過する前に，待機状態の前記顔オブジェクトに含まれる前記顔検出枠データと一致する前記顔検出枠データが検出された場合，該顔オブジェクトの状態を閲覧状態に状態遷移させることを特徴とする，第１の発明から第９の発明のいずれか一つに記載の広告効果測定装置である。

第９の発明のように状態遷移させれば，前記顔検出手段が検出した顔画像がランダムに発生するノイズの場合，該顔画像をノイズとして扱うことができる，また，第１０の発明のように状態遷移させれば，一時的に完全に見失ってもトラッキングを再開することができるようになる。

更に，第１１の発明は，ディスプレイの前にいる人物を撮影するカメラと，前記カメラが撮影した映像に含まれるフレームを解析することで，前記ディスプレイの広告効果を測定する広告効果測定装置とから少なくとも構成される広告効果測定システムであって，前記広告効果測定装置は，前記カメラから送信された前記フレームに撮影されている顔画像を検出し，検出した前記顔画像毎に，顔検出枠の位置・矩形サイズを顔検出枠データとして出力する顔検出手段と，前記顔検出手段から取得した前記顔検出枠データ毎に，前記顔検出手段が一つ前に処理したフレームから取得した前記顔検出枠データと，前記顔検出手段が今回処理したフレームから取得した前記顔検出枠データとの位置・矩形サイズ差を示す評価値を算出し，前記評価値の最も小さい一つ前の前記顔検出枠データを今回の前記顔検出枠データ毎に対応付けるトラッキング手段と，前記顔検出手段が新規に検出した顔画像毎に顔オブジェクトを生成し，前記トラッキング手段から得られる一つ前と今回の前記顔検出枠データの対応付け結果を参照し，事前に定めた状態遷移表に従い前記顔オブジェクトの状態を閲覧状態に遷移させ，前記ディスプレイの広告効果の指標となるログとして，前記顔オブジェクトの状態が閲覧状態であった時間を前記顔オブジェクト毎に少なくとも記憶する状態遷移管理手段を備えていることを特徴とする広告効果測定システムである。

第１１の発明は，第１の発明に記載の広告効果測定装置を利用した広告効果測定システムにかかる発明である。

上述した発明によれば，液晶ディスプレイやプロジェクタを用いて広告を表示する広告媒体であるデジタルサイネージ（Digital Signage）の他、ショーウインドウ、広告看板、店舗内の特定の商品陳列棚などのようなディスプレイを閲覧している人物の顔をトラッキングする処理を高速化でき，かつ，ディスプレイの広告効果の測定に利用できるログを生成することができ，更に，見失った人物の顔をトラッキングすることができる広告効果測定システムを提供できる。

広告効果測定システムの構成を説明する図。 広告効果測定装置のハードウェアブロック図。 広告効果測定装置の機能ブロック図。 広告効果測定装置がフレームを解析する処理を説明するフロー図。 トラッキング処理を説明するためのフロー図。 顔検出枠データ対応付け処理を説明するためのフロー図。 本実施形態における状態遷移表を説明する図。 人体及び顔検出結果を説明するための図。

ここから，本願発明の実施形態について，本願発明の技術分野に係わる当業者が，本願発明の内容を理解し，本願発明を実施できる程度に説明する。

図１は，本実施形態における広告効果測定システム１の構成を説明する図，図２は，広告効果測定システム１を構成する広告効果測定装置２のハードウェアブロック図，図３は，広告効果測定装置２に実装されたコンピュータプログラムで実現される機能ブロック図である。

図１で図示したように，広告効果測定システム１には，街頭や店舗などに設置され，ディスプレイ装置３ａを用いて広告を表示する広告媒体であるデジタルサイネージ３が含まれる。

なお，デジタルサイネージ３には，広告映像を再生するディスプレイ装置３ａの他に，デジタルサイネージ３で再生する広告映像を制御するサーバが含まれるが，該サーバは図１には図示していない。

デジタルサイネージ３のディスプレイ装置３ａには，ディスプレイ装置３ａで再生されている広告映像を見ている人物の顔が撮影されるようにアングルが設定され，ディスプレイ装置３ａで再生されている広告映像を閲覧している人物を撮影するビデオカメラ４が設置されている。

このビデオカメラ４で撮影された映像は，ＵＳＢポートなどを利用して広告効果測定装置２に入力され，広告効果測定装置２は，ビデオカメラ４から送信された映像に含まれるフレームを解析し，ディスプレイ装置３ａの前にいる人物や，ディスプレイ装置３ａで再生されている広告映像を閲覧した人物の顔を検出し，デジタルサイネージ３の広告効果の測定に利用可能なログ（例えば，デジタルサイネージ３の閲覧時間）を記憶する。

図１で図示した広告効果測定システム１を構成する装置において，デジタルサイネージ３及びビデオカメラ４は市販の装置を利用できるが，広告効果測定装置２は，従来技術にはない特徴を備えているため，ここから，広告効果測定装置２について詳細に説明する。

広告効果測定装置２は汎用のコンピュータを利用して実現することができ，汎用のコンピュータと同様なハードウェアを広告効果測定装置２は備え，図２では，該ハードウェアとして，ＣＰＵ２ａ（CPU: Central Processing Unit）と、ＢＩＯＳが実装されるＲＯＭ２ｂ（ROM: Read-Only Memory）と、コンピュータのメインメモリであるＲＡＭ２ｃ（RAM: Random Access Memory）と、外部記憶装置として大容量のデータ記憶装置２ｄ（例えば，ハードディスク）と，外部デバイスとデータ通信するための入出力インターフェース２ｅと、ネットワーク通信するためのネットワークインターフェース２ｆと、表示デバイス２ｇ（例えば，液晶ディスプレイ）と，文字入力デバイス２ｈ（例えば，キーボード）と，ポインティングデバイス２ｉ（例えば，マウス）を記載している。

広告効果測定装置２のデータ記憶装置２ｄには，ＣＰＵ２ａを動作させるためのコンピュータプログラムが実装され，このコンピュータプログラムによって，広告効果測定装置２には図３で図示した手段が備えられる。

図３で図示したように，広告効果測定装置２の入力は，ビデオカメラ４によって撮影された映像で，広告効果測定装置２の出力は，デジタルサイネージの広告効果の測定に利用可能なデータが記憶されたログファイルである。

広告効果測定装置２は，ビデオカメラ４によって撮影された映像のフレームを解析する手段として，ビデオカメラ４によって撮影された映像のフレームの背景画像を除去する背景除去手段２０と，背景除去手段２０によって背景画像が除去されたフレームから人物の顔を検出する顔検出手段２１と，背景除去手段２０によって背景画像が除去されたフレームから人体を検出する人体検出手段２２と，顔検出手段２１が検出した顔を前後のフレームで対応付けるトラッキング手段２３と，パーティクルフィルタなどの動画解析手法を用い，指定された顔画像をフレームから検出する動画解析手段２４と，顔検出手段２１が新規に検出した顔画像毎に顔オブジェクトを生成し，トラッキング手段２３から得られる一つ前と今回の顔検出枠データの対応付け結果を参照し，事前に定めた状態遷移表に従い顔オブジェクトの状態を遷移させ，顔オブジェクトの状態遷移に応じたログを記憶する状態遷移管理手段２５を備え，更に，本実施形態では，デジタルサイネージ３を閲覧した人物の属性（年齢や性別）をログデータに含ませるために，顔検出手段２１が検出した顔画像から人物の人物属性（年齢や性別）を推定する人物属性推定手段２６を備えている。

広告効果測定装置２が，ビデオカメラ４によって撮影された映像のフレームを時系列で解析することで，広告効果測定装置２のデータ記憶装置２ｄには，広告効果の測定に利用可能なログファイルとして，デジタルサイネージの閲覧時間が記憶される閲覧時間ログファイルと，デジタルサイネージを閲覧した人物の位置が記憶される位置ログファイルと，デジタルサイネージを閲覧した人物の人物属性（例えば，年齢・性別）が記憶される人物属性ログファイルと，デジタルサイネージの前にいる人物の総人数，デジタルサイネージを閲覧していない人物の人数，デジタルサイネージを閲覧した人物の人数が記憶される人数ログファイルが記憶され，これらのログファイルを出力するログファイル出力手段２７が広告効果測定装置２には備えられている。

まず，ビデオカメラ４から送信された映像のフレームを広告効果測定装置２が解析する処理を説明しながら，ビデオカメラ４によって撮影された映像のフレームを解析するために備えられた各手段について説明する。

図４は，ビデオカメラ４から送信された映像のフレームを広告効果測定装置２が解析する処理を説明するフロー図である。それぞれの処理の詳細は後述するが，広告効果測定装置２に映像の一つのフレームが入力されると，広告効果測定装置２は該フレームについて背景除去処理Ｓ１を行い，背景除去処理Ｓ１した後のフレームについて，顔検出処理Ｓ２及び人体検出処理Ｓ３を行う。

広告効果測定装置２は，背景除去処理Ｓ１した後のフレームについて，顔検出処理Ｓ２及び人体検出処理Ｓ３を行った後，顔検出処理Ｓ２の結果を利用して，今回の処理対象となるフレームであるＮフレームから検出された顔と，一つ前のフレームであるＮ−１フレームから検出された顔を対応付けるトラッキング処理Ｓ４を行い，トラッキング処理Ｓ４の結果を踏まえて顔オブジェクトの状態を遷移させる状態遷移管理処理Ｓ５を実行する。

まず，背景除去処理Ｓ１について説明する。背景除去処理Ｓ１を担う手段は，広告効果測定装置２の背景除去手段２０である。広告効果測定装置２が背景除去処理Ｓ１を実行するのは，図１に図示しているように，デジタルサイネージ３のディスプレイ装置３ａの上部に設けられたビデオカメラ４の位置・アングルは固定であるため，ビデオカメラ４が撮影した映像には変化しない背景画像が含まれることになり，この背景画像を除去することで，精度よく人体・顔を検出できるようにするためである。

広告効果測定装置２の背景除去手段２０が実行する背景除去処理としては既存技術を利用でき，ビデオカメラ４が撮影する映像は，例えば，朝，昼，夜で光が変化する場合があるので，背景の時間的な変化を考慮した動的背景更新法を用いることが好適である。

背景の時間的な変化を考慮した動的背景更新法としては，例えば，「森田 真司, 山澤一誠, 寺沢 征彦, 横矢 直和: "全方位画像センサを用いたネットワーク対応型遠隔監視システム", 電子情報通信学会論文誌（D-II), Vol. J88-D-II, No. 5, pp. 864-875, (2005.5)」に記載されている手法を用いることができる。

次に，広告効果測定装置２の顔検出手段２１によって実行される顔検出処理Ｓ２について説明する。顔検出処理Ｓ２で実施する顔検出方法としては，特許文献１に記載されているような顔検出方法も含め，様々な顔検出方法が開示されているが，本実施形態では，弱い識別器として白黒のHaar-Like特徴を用いたAdaboostアルゴリズムによる顔検出法を採用している。なお，弱い識別器として白黒のHaar-Like特徴を用いたAdaboostアルゴリズムによる顔検出法については，「Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.」，「RainerLienhart and Jochen Maydt, "An Extended Set of Haar-like Features for Rapid Object Detection", IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.」で述べられている。

弱い識別器として白黒のHaar-Like特徴を用いたAdaboostアルゴリズムによる顔検出法を実行することで，フレームに含まれる顔画像毎に顔検出枠データが得られ，この顔検出枠データには，顔画像を検出したときに利用した顔検出枠の位置（例えば，左上隅の座標）・矩形サイズ（幅及び高さ）が含まれる。

次に，広告効果測定装置２の人体検出手段２２によって実行される人体検出処理Ｓ３について説明する。人体を検出する手法としては赤外線センサを用い，人物の体温を利用して人体を検出する手法が良く知られているが，本実施形態では，人体検出処理Ｓ３で実施する人体検出方法に，弱い識別器としてＨＯＧ（Histogram of Oriented Gradients）特徴を用いたAdaboostアルゴリズムによる人体検出法を採用している。なお，弱い識別器としてＨＯＧ（Histogram of Oriented Gradients）特徴を用いたAdaboostアルゴリズムによる人体検出法については，「N. Dalal and B. Triggs，"Histograms of Oriented Gradientstional Conference on Computer Vision，pp. 734-741，2003．」で述べれられている。

弱い識別器としてＨＯＧ特徴を用いたAdaboostアルゴリズムによる人体検出法を実行することで，フレームに含まれる人体毎に人体検出枠データが得られ，この人体検出枠データには，人体画像を検出したときに利用した人体検出枠の位置（例えば，人体検出枠の左上隅の座標）・矩形サイズ（幅及び高さ）が得られる。

図８は，人体及び顔検出結果を説明するための図である。図８のフレーム７で撮影されている人物は，人物７ａ〜７ｆの合計６人が含まれ，広告効果測定装置２の人体検出手段２２はそれぞれの人物７ａ〜７ｆを検出し，それぞれの人物７ａ〜７ｆに対応する人体検出枠データ７０ａ〜７０ｆを出力する。また，広告効果測定装置２の顔検出手段２１は，両眼が撮影されている人物７ａ〜７ｃの顔を検出し，それぞれの顔に対応する顔検出枠データ７１ａ〜７１ｃを出力する。

次に，広告効果測定装置２のトラッキング手段２３によって実行されるトラッキング処理Ｓ４について説明する。トラッキング処理Ｓ４では，広告効果測定装置２のトラッキング手段２３によって，顔検出手段２１がＮ−１フレームから検出した顔検出枠データと，顔検出手段２１がＮフレームから検出した顔検出枠データを対応付ける処理が実行される。

ここから，広告効果測定装置２のトラッキング手段２３によって実行されるトラッキング処理について詳細に説明する。図５は，広告効果測定装置２のトラッキング手段２３によって実行されるトラッキング処理Ｓ４を説明するためのフロー図である。

広告効果測定装置２のトラッキング手段２３は，Ｎフレームをトラッキング処理Ｓ４するために，まず，Ｎフレームから得られた顔検出枠データ及び人体検出枠データをそれぞれ顔検出手段２１及び人体検出手段２２から取得する（Ｓ１０）。

なお，次回のトラッキング処理Ｓ４において，Ｎフレームから得られた顔検出枠データは，Ｎ−１フレームの顔検出枠データとして利用されるため，広告効果測定装置２のトラッキング手段２３は，Ｎフレームから得られた顔検出枠データをＲＡＭ２ｃまたはデータ記憶装置２ｄに記憶する。

広告効果測定装置２のトラッキング手段２３は，Ｎフレームの顔検出枠データ及び人体検出枠データを取得すると，Ｎフレームの人体検出枠データ毎に，デジタルサイネージの閲覧判定を行う（Ｓ１１）。

上述しているように，人体検出枠データには人体検出枠の位置及び矩形サイズが含まれ，顔検出枠データには顔検出枠の位置及び矩形サイズが含まれるため，顔検出枠が含まれる人体検出枠データは，デジタルサイネージ３を閲覧している人物の人体検出枠データと判定でき，また，顔検出枠が含まれない人体検出枠データは，デジタルサイネージ３を閲覧していない人物の人体検出枠データと判定できる。

広告効果測定装置２のトラッキング手段２３は，このようにして，Ｎフレームの人体検出枠データ毎にデジタルサイネージの閲覧判定を行うと，Ｎフレームが撮影されたときの人数ログファイルとして，デジタルサイネージ３の前にいる人物の総人数，すなわち，人体検出手段２２によって検出された人体検出枠データの数と，デジタルサイネージ３を閲覧していない人物の人数，すなわち，顔検出枠が含まれていない人体検出枠データの数と，デジタルサイネージ３を閲覧している人物の人数，すなわち，顔検出枠が含まれる人体検出枠データの数を記載した人数ログファイルを生成し，Nフレームのフレーム番号などを付与してデータ記憶装置２ｄに記憶する。

広告効果測定装置２のトラッキング手段２３は，Ｎフレームの人体検出枠データ毎に，デジタルサイネージの閲覧判定を行うと，顔検出手段２１がＮ−１フレームから検出した顔検出枠データと，顔検出手段２１がＮフレームから検出した顔検出枠データを対応付ける顔検出枠データ対応付け処理Ｓ１２を実行する。

図６は，顔検出枠データ対応付け処理Ｓ１２を説明するためのフロー図で，本実施形態では，図６で図示したフローにおいて，以下に記述する数式１の評価関数を用いて得られる評価値を利用して，顔検出枠データの対応付けがなされる。

なお，数式１の評価関数ｆ１（）は，ニアレストネイバー法を用いた評価関数で，評価関数ｆ１（）で得られる評価値は，顔検出枠データの位置・矩形サイズの差を示した評価値になる。また，数式１の評価関数ｆ２（）で得られる評価値は，評価関数ｆ１（）から求められる評価値に，顔検出枠データで特定される顔検出枠に含まれる顔画像から得られ，顔画像の特徴を示すＳＵＲＦ特徴量の差が重み付けして加算された評価値になる。

Ｎ−１フレームから検出した顔検出枠データとＮフレームから検出した顔検出枠データを対応付けるために，広告効果測定装置２のトラッキング手段２３は，まず，Ｎフレームから得られた顔検出枠データの数だけループ処理Ｌ１を実行する。

このループ処理Ｌ１において，広告効果測定装置２のトラッキング手段２３は，まず，Ｎ−１フレームから検出された顔検出枠データの数だけループ処理Ｌ２を実行し，このループ処理Ｌ２では，ループ処理Ｌ１の処理対象となる顔検出枠データの位置・矩形サイズと，ループ処理Ｌ２の処理対象となる顔検出枠データの位置・矩形サイズが，数式１の評価関数ｆ１（）に代入して評価値を算出し（Ｓ１２０），ループ処理Ｌ１の対象となる顔検出枠データとの位置・サイズの差を示す評価値が，Ｎ−１フレームから検出された顔検出枠データ毎に算出される。

広告効果測定装置２のトラッキング手段２３は，ループ処理Ｌ１の処理対象となる顔検出枠データとの位置・サイズの差を示す評価値を，Ｎ−１フレームから検出された顔検出枠データ毎に算出すると，該評価値の最小値を検索し（Ｓ１２１），該評価値の最小値と他の評価値との差分を算出した後（Ｓ１２２），閾値以下の該差分値があるか判定する（Ｓ１２３）。

そして，広告効果測定装置２のトラッキング手段２３は，ループ処理Ｌ１の処理対象となる顔検出枠データとの位置・サイズの差を示す評価値の最小値と他の評価値との差分の中に，閾値以下の差分がある場合，広告効果測定装置２のトラッキング手段２３は，評価値が閾値以内である顔検出枠データを対象としてループ処理Ｌ３を実行する。

このループ処理Ｌ３では，ループ処理Ｌ１の処理対象となる顔検出枠データで特定される顔検出枠内の顔画像と，ループ処理Ｌ３の処理対象となるＮ−１フレームの顔検出枠データで特定される顔検出枠内の顔画像とのＳＵＲＦ特徴量の差が求められ，ＳＵＲＦ特徴量の差が数式１の評価関数ｆ２（）に代入され，ＳＵＲＦ特徴量の差を加算した評価値が算出される（Ｓ１２４）。

数式１で示した評価関数ｆ２（）を用い，ＳＵＲＦ特徴量の差を加算した評価値を算出するのは，ニアレストネイバー法のみを利用した評価関数ｆ１（）を用いて求められた評価値の最小値と他の評価値との差分値に閾値以下がある場合，サイズの似た顔検出枠が近接していると考えられ（例えば，図８の人物７ａ，ｂ），ニアレストネイバー法の評価値からでは，Ｎフレームの顔検出枠データに対応付けるＮ−１フレームの顔検出枠データが判定できないからである。

数式１で示した評価関数ｆ２（）を用い，ＳＵＲＦ特徴量の差を加算した評価値を算出することで，顔の特徴が加味された評価値が算出されるので，該評価値を用いることで，サイズの似た顔検出枠が近接している場合は，顔が似ているＮ−１フレームの顔検出枠データがＮフレームの顔検出枠データに対応付けられることになる。

そして，広告効果測定装置２のトラッキング手段２３は，数式１の評価関数から得られた評価値が最小値であるＮ−１フレームの顔検出枠データを，ループ処理Ｌ１の対象となるＮフレームの顔検出枠データに対応付ける処理を実行する（Ｓ１２５）。
なお，数式１で示した評価関数ｆ２（）を用いた評価値を算出していない場合，この処理で利用される評価値は，数式１で示した評価関数ｆ１（）から求められた値になり，数式１で示した評価関数ｆ２（）を用いた評価値を算出している場合，この処理で利用される評価値は，数式１で示した評価関数ｆ２（）から求められた値になる。

ループ処理Ｌ１が終了し，広告効果測定装置２のトラッキング手段２３は，Ｎフレームの顔検出枠データとＮ−１フレームの顔検出枠データを対応付けすると，Ｎ−１フレームの顔検出枠データが重複して，Ｎフレームの顔検出枠データに対応付けられていないか確認する（Ｓ１２６）。

Ｎ−１フレームの顔検出枠データが重複して，Ｎフレームの顔検出枠データに対応付けられている場合，広告効果測定装置２のトラッキング手段２３は，重複して対応付けられているＮ−１フレームの顔検出枠データの評価値を参照し，評価値が小さい方を該Ｎフレームの顔検出枠データに対応付ける処理を再帰的に実行することで，最終的に，Ｎフレームの顔検出枠データに対応付けるＮ−１フレームの顔検出枠データを決定する（Ｓ１２７）。

ここから，図５で図示したフローの説明に戻る。トラッキング処理Ｓ４が終了すると，広告効果測定装置２の状態遷移管理手段２５は，トラッキング処理Ｓ４で得られた一つ前と今回の顔検出枠データの対応付け結果を参照し，事前に定めた状態遷移表に従い顔オブジェクトの状態を遷移させ，顔オブジェクトの状態遷移に応じたログを記憶する状態遷移管理処理Ｓ５を実行し，この状態遷移管理処理Ｓ５で所定の状態遷移があると，該状態遷移に対応した所定のログファイルがデータ記憶装置２ｄに記憶される。

広告効果測定装置２の状態遷移管理手段２５には，顔オブジェクトの状態遷移を管理するために，予め，顔オブジェクトの状態と該状態を状態遷移させるルールが定義された状態遷移表が定められており，広告効果測定装置２のトラッキング手段２３は，この状態遷移表を参照し，顔検出枠対応付け処理の結果に基づき顔オブジェクトの状態を遷移させる。

ここから，状態遷移表の一例を例示し，該状態遷移表の説明をしながら，広告効果測定装置２の状態遷移管理手段２５によって実行される状態遷移管理処理Ｓ５について説明する。

図７は，本実施形態における状態遷移表６を説明する図である。図７で図示した状態遷移表６によって，顔オブジェクトの状態と，Ｎ−１フレームの状態からＮフレームの状態への遷移が定義され，状態遷移表６の縦軸はＮ−１フレームの状態で，横軸はＮフレームの状態で，縦軸と横軸が交差する箇所に状態遷移する条件が記述されている。なお，状態遷移表に「―」は不正な状態遷移を示している。

図７で図示した状態遷移表６には，顔オブジェクトの状態として，Ｎｏｎｅ，候補Ｆａｃｅ，現在Ｆａｃｅ，待機Ｆａｃｅ，ノイズＦａｃｅ及び終了Ｆａｃｅが定義され，状態遷移表で定義された状態遷移を説明しながら，それぞれの状態について説明する。

顔オブジェクトの状態の一つであるＮｏｎｅとは，顔オブジェクトが存在しない状態を意味し，Ｎ−１フレームの顔検出枠データが対応付けられなかったＮフレームの顔検出枠データがある場合（図７の条件１），広告効果測定装置２の状態遷移管理手段２５は，顔オブジェクトを識別するためのＩＤ，該Ｎフレームの顔検出データ，顔オブジェクトに付与された状態に係わるデータなどを属性値と有する顔オブジェクトを新規に生成し，該顔オブジェクトの状態を候補Ｆａｃｅに設定する。

顔オブジェクトの状態の一つである候補Ｆａｃｅとは，新規に検出した顔画像がノイズである可能性がある状態を意味し，顔オブジェクトの状態の一つに候補Ｆａｃｅを設けているのは，複雑な背景の場合，背景除去処理を行っても顔画像の誤検出が発生し易く，新規に検出できた顔画像がノイズの可能性があるからである。

候補Ｆａｃｅの状態である顔オブジェクトには，候補Ｆａｃｅの状態に係わるデータとして，候補Ｆａｃｅの状態であることを示す状態ＩＤと，候補Ｆａｃｅへ状態遷移したときの日時及びカウンタが付与される。

候補Ｆａｃｅから状態遷移可能な状態は，候補Ｆａｃｅ，現在Ｆａｃｅ及びノイズＦａｃｅで，事前に定められた設定時間内において，候補Ｆａｃｅの状態である顔オブジェクトに対応する顔画像が所定の数だけ連続してトラッキングできた場合（図７の条件２−２），該顔オブジェクトの状態は候補Ｆａｃｅから現在Ｆａｃｅに遷移する。

候補Ｆａｃｅの状態である顔オブジェクトの属性にカウンタを設けているのは，設定時間内において，候補Ｆａｃｅの状態である顔オブジェクトに対応する顔検出枠を連続してトラッキングできた回数をカウントするためで，広告効果測定装置２の状態遷移管理手段２５は，Ｎフレームの顔検出枠データに対応付けられたＮ−１フレームの顔検出データが含まれている顔オブジェクトの状態が候補Ｆａｃｅの場合，該顔オブジェクトに付与されている顔検出枠データをＮフレームの顔検出枠データに更新すると共に，該顔オブジェクトのカウンタをインクリメントする。

そして，広告効果測定装置２の状態遷移管理手段２５は，状態遷移管理処理Ｓ５を実行する際，候補Ｆａｃｅである顔オブジェクト毎に，候補Ｆａｃｅへ状態遷移したときの日時を参照し，設定時間以内に該カウンタの値が事前に定めた設定値に達している場合は，顔オブジェクトの状態を現在Ｆａｃｅに状態遷移させる。また，広告効果測定装置２の状態遷移管理手段２５は，この時点で設定時間が経過しているが，該カウンタが設定値に達しなかった該顔オブジェクトの状態をノイズＦａｃｅに状態遷移させ（図７の条件２−３），該設定時間が経過していない該顔オブジェクトについては状態を状態遷移させない（図７の条件２−１）。

顔オブジェクトの状態の一つであるノイズＦａｃｅとは，広告効果測定装置２の顔検出手段２１が検出した顔画像がノイズと判定された状態で，ノイズＦａｃｅに状態遷移した顔オブジェクトは消滅したと見なされ，これ以降の状態遷移管理処理Ｓ５に利用されない。

顔オブジェクトの状態の一つである現在Ｆａｃｅとは，顔オブジェクトに対応する人物がデジタルサイネージ３を閲覧状態と判定できる状態で，現在Ｆａｃｅの状態にある時間が，顔オブジェクトに対応する人物がデジタルサイネージ３を閲覧している時間となる。

広告効果測定装置２の状態遷移管理手段２５は，顔オブジェクトの状態を候補Ｆａｃｅから現在Ｆａｃｅに状態遷移すると，該顔オブジェクトの顔検出枠データをＮフレームの顔検出枠データに更新すると共に，現在Ｆａｃｅに係わるデータとして，現在Ｆａｃｅの状態であることを示す状態ＩＤと現在Ｆａｃｅに状態遷移させたときの日時を顔オブジェクトに付与する。

また，デジタルサイネージを閲覧している人物の人物属性（例えば，年齢・性別）をログとして記憶するために，顔オブジェクトの状態を現在Ｆａｃｅに状態遷移すると，広告効果測定装置２の状態遷移管理手段２５は人物属性推定手段２６を作動させ，現在Ｆａｃｅに状態遷移させた顔オブジェクトの顔検出枠データで特定される顔検出枠内の画像を解析することで得られる人物属性を取得し，該顔オブジェクトのオブジェクトＩＤ，人物属性が記述された属性ログファイルをデータ記憶装置２ｄに記憶する。

なお，広告効果測定装置２に備えられた人物属性推定手段２６については詳細な記載はしないが，人物の顔画像から人物の人物属性（年齢・性別）を自動で識別することは，タバコの自動販売機などでも広く利用されており，例えば，特開２００７―０８００５７号公報の技術を利用できる。

更に，広告効果測定装置２の状態遷移管理手段２５は，顔オブジェクトの状態を現在Ｆａｃｅに状態遷移すると，デジタルサイネージ３を閲覧している人物の位置を時系列で記憶するための位置ログファイルをデータ記憶装置２ｄに新規に生成する。生成時の位置ログファイルには，現在Ｆａｃｅに状態遷移した顔オブジェクトのオブジェクトＩＤと，現在Ｆａｃｅに状態遷移した顔オブジェクトに含まれる顔検出枠データが付与される

現在Ｆａｃｅの状態から状態遷移可能な状態は，現在Ｆａｃｅ及び待機Ｆａｃｅである。広告効果測定装置２の状態遷移管理手段２５は，Ｎフレームの顔検出枠データに対応付けられたＮ−１フレームの顔検出データを含む顔オブジェクトの状態が現在Ｆａｃｅの場合（条件３−１），該顔オブジェクトに付与されている顔検出枠データをＮフレームにおける顔検出枠データに更新すると共に，該顔検出枠データを，該顔オブジェクトのオブジェクトＩＤで特定される位置ログファイルに追加する。

また，広告効果測定装置２の状態遷移管理手段２５は，状態遷移管理処理Ｓ５を行う際，Ｎフレームの顔検出枠データが対応付けられなかったＮ−１フレームの顔検出枠データが付与されている顔オブジェクトの状態が現在Ｆａｃｅの場合，動画解析手段２４を作動させて，動画解析手法により， 動画解析手法により、該Ｎ−１フレームの顔検出枠データに対応する顔画像をNフレームから検出する処理を実施する。

本実施形態において，広告効果測定装置２の動画解析手段２４は，まず，Ｎフレームの顔検出枠データが対応付けられなかったＮ−１フレームの顔検出枠データと既に対応付けられているＮフレームの顔検出枠データの間で、オクルージョン状態の判定を行い，対象となる人物の顔が完全に隠れた状態のオクルージョンであるか確認する。

広告効果測定装置２の動画解析手段２４は，この時点で存在し，現在Ｆａｃｅ，候補Ｆａｃｅ及び待機Ｆａｃｅの状態である全ての顔オブジェクトについて，数式２に従い，顔オブジェクトのオクルージョン状態を判定する処理を実行する。

広告効果測定装置２の動画解析手段２４は，数式２に従い，顔オブジェクトのオクルージョン状態を判定する処理を実行すると，判定結果に基づき処理を分岐する。

トラッキング対象である人物が完全に隠れた状態のオクルージョンである可能性が高いと判断できた場合（数式２の判定基準１に該当する場合）、パーティクルフィルタによるトラッキング行い、対象となる顔オブジェクトの位置・矩形サイズを検出する。なお，パーティクルフィルタについては，「加藤丈和: 「パーティクルフィルタとその実装法」,情報処理学会研究報告, CVIM-157, pp.161-168 (2007).」など数多くの文献で述べられている。

また、トラッキング対象である人物が半分隠れた状態のオクルージョンで可能性が高いと判断できた場合（数式２の判定基準２に該当する場合）、ＬＫ法（Lucus-Kanadeアルゴリズム）によるトラッキング行い、対象となる顔オブジェクトの位置・矩形サイズを検出する。なお，ＬＫ法については，「Lucas, B.D. and Kanade, T.：" An Iterative ImageRegistration Technique with an Application to Stereo Vision",Proc.DARPA ImageUnderstanding Workshop,pp.121-130,1981.」で述べられている。

そして，トラッキング対象である人物にオクルージョンはない可能性が高いと判定できた場合（数式３の判定基準３に該当する場合），広告効果測定装置２の動画解析手段２４は，ＣａｍＳｈｉｆｔ手法を用いたトラッキングを行い，対象となる顔オブジェクトの位置・矩形サイズを検出する。なお，ＣａｍＳｈｉｆｔ手法については，「G. R. Bradski:"Computer vision face tracking foruse in a perceptual user interface," Intel Technology Journal, Q2, 1998.」で述べられている。

広告効果測定装置２の状態遷移管理手段２５は，これらのいずれかの手法で対象となる顔画像がＮフレームから検出できた場合，現在Ｆａｃｅの状態である顔オブジェクトの顔検出データを，これらの手法で検出された位置・矩形サイズに更新し，これらのいずれかの手法でも対象となる顔画像がトラッキングできなかった場合，現在Ｆａｃｅの状態である顔オブジェクトの状態を待機Ｆａｃｅに状態遷移させる（図７の条件３−２）。

顔オブジェクトの状態の一つである待機Ｆａｃｅとは，広告効果測定装置２に備えられた動画解析手段２４を用いても，顔オブジェクトに対応する顔画像を検出できなくなった状態である。

また，広告効果測定装置２の状態遷移管理手段２５は，顔オブジェクトの状態を待機Ｆａｃｅに状態遷移する際，顔オブジェクトの顔検出枠データは更新せず，待機Ｆａｃｅに係わるデータとして，待機Ｆａｃｅの状態であることを示す状態ＩＤと，該顔オブジェクトが現在Ｆａｃｅに状態遷移したときの日時と，該顔オブジェクトが待機Ｆａｃｅに状態遷移したときの日時を顔オブジェクトに付与する。

待機Ｆａｃｅから状態遷移可能な状態は，現在Ｆａｃｅまたは終了Ｆａｃｅである。広告効果測定装置２の状態遷移管理手段２５は，待機Ｆａｃｅに状態遷移してからの時間が所定時間経過する前に，Ｎフレームの顔検出枠データを含む顔オブジェクトを検索し，該顔オブジェクトの状態が待機Ｆａｃｅであった場合，該顔オブジェクトの状態を待機Ｆａｃｅから現在Ｆａｃｅに状態遷移させる（図７の条件４−１）。

なお，顔オブジェクトの状態を待機Ｆａｃｅから現在Ｆａｃｅに状態遷移させる際，広告効果測定装置２の状態遷移管理手段２５は，該顔オブジェクトが現在Ｆａｃｅに状態遷移したときの日時は，待機Ｆａｃｅの状態のときに顔オブジェクトに付与されていた該日時を利用する。

また，広告効果測定装置２のトラッキング手段２３は，顔オブジェクトの状態遷移を管理する処理を実行する際，待機Ｆａｃｅに状態遷移してからの時間が所定時間経過した顔オブジェクトの状態を終了Ｆａｃｅに状態遷移させ（図７の条件４−３），該設定時間が経過していない該顔オブジェクトについては状態を遷移させない（図７の条件４−２）。

顔オブジェクトの状態の一つである終了Ｆａｃｅとは，広告効果測定装置２が検出できなくなった人物に対応する状態で，状態が終了Ｆａｃｅになった顔オブジェクトは消滅したと見なされ，これ以降の状態遷移管理処理Ｓ５で利用されない。

なお，広告効果測定装置２の状態遷移管理手段２５は，顔オブジェクトの状態を終了Ｆａｃｅに状態遷移する前に，該顔オブジェクトのオブジェクトＩＤ，該顔オブジェクトが現在Ｆａｃｅに状態遷移したときの日時である閲覧開始時刻，該顔オブジェクトが待機Ｆａｃｅに状態遷移したときの日時である閲覧終了時刻を記述した閲覧時間ログファイルを生成しデータ記憶装置２ｄに記憶させる。

以上詳しく説明したように、広告効果測定装置２は，顔検出手段２１が検出した顔毎に生成する顔オブジェクトの状態として，Ｎｏｎｅ，候補Ｆａｃｅ，現在Ｆａｃｅ，待機Ｆａｃｅ，ノイズＦａｃｅ及び終了Ｆａｃｅの５つを状態遷移表６で定義し，顔オブジェクトに対応する顔のトラッキング結果に従い，顔オブジェクトの状態を遷移させることで，顔オブジェクトの状態遷移に従い，デジタルサイネージ３の閲覧時間をログとして記憶することが可能になる。

上述した内容に従えば，顔オブジェクトの状態が現在Ｆａｃｅである間は，顔オブジェクトに対応する顔を連続して検出できたことになるため，現在Ｆａｃｅの状態にあった時間は，デジタルサイネージ３の閲覧時間になる。

また，顔オブジェクトの状態として候補Ｆａｃｅを定義しておくことで，ノイズによって顔を誤検出した場合でも，デジタルサイネージ３の閲覧時間への影響はなくなる。また，顔オブジェクトの状態として待機Ｆａｃｅを定義しておくことで，顔を見失った後に，同じ顔を検出した場合でも，同じ顔として取り扱うことができるようになる。

１ 広告効果測定システム
２ 広告効果測定装置
２０ 背景除去手段
２１ 顔検出手段
２２ 人体検出手段
２３ トラッキング手段
２４ 動画解析手段
２５ 状態遷移管理手段
２６ 人物属性推定手段
２７ ログファイル出力手段
３ デジタルサイネージ
３ａ ディスプレイ装置
４ ビデオカメラ
５ ネットワーク
６ 状態遷移表

Claims (11)

1. ディスプレイの広告効果を測定する広告効果測定装置であって，
   前記ディスプレイの前にいる人物を撮影するカメラが撮影した映像に含まれるフレームに撮影されている顔画像を検出し，検出した前記顔画像毎に，顔検出枠の位置・矩形サイズを顔検出枠データとして出力する顔検出手段と，
   前記顔検出手段から取得した前記顔検出枠データ毎に，前記顔検出手段が一つ前に処理したフレームから取得した前記顔検出枠データと，前記顔検出手段が今回処理したフレームから取得した前記顔検出枠データとの位置・矩形サイズ差を示す評価値を算出し，前記評価値の最も小さい一つ前の前記顔検出枠データを今回の前記顔検出枠データ毎に対応付けるトラッキング手段と，
   前記顔検出手段が新規に検出した顔画像毎に顔オブジェクトを生成し，前記トラッキング手段から得られる一つ前と今回の前記顔検出枠データの対応付け結果を参照し，事前に定めた状態遷移表に従い前記顔オブジェクトの状態を閲覧状態に遷移させ，前記ディスプレイの広告効果の指標となるログとして，前記顔オブジェクトの状態が閲覧状態であった時間を前記顔オブジェクト毎に少なくとも記憶する状態遷移管理手段を備えている，
   ことを特徴とする広告効果測定装置。
2. 前記広告効果測定装置の前記トラッキング手段は，今回の前記顔検出枠データ毎に，事前に定めた設定値を前記評価値の最小値に加えた範囲内に２つ以上の前記評価値が含まれるか確認し，２つ以上の前記評価値が含まれる前記顔検出枠データがある場合，該顔検出枠データの領域に含まれる前記顔画像と一つ前の前記顔検出枠データ画像の領域に含まれる前記顔画像の特徴差を示す値を算出し，該今回の前記顔検出枠データの前記評価値に加算する処理を実行した後，一つ前の顔検出枠データを該今回の顔検出枠データに対応付けする処理を実行することを特徴とする，請求項１に記載の広告効果測定装置。
3. 前記広告効果測定装置は，一つ前の前記顔検出枠データに対応付ける前記顔検出枠データが今回の前記フレームから検出されなかった場合，動画解析手法を用いて，該一つ前の前記顔検出枠データに対応する前記顔画像を今回の前記フレームから検出する動画解析手段を備えていることを特徴とする，請求項１又は請求項２に記載の広告効果測定装置。
4. 前記広告効果測定装置の前記状態遷移管理手段は，今回の前記顔検出枠データに対応付ける一つ前の前記顔検出枠データが無い場合，該今回の顔検出枠データを含む前記顔オブジェクトを新規に作成し，該顔オブジェクトの状態を閲覧状態にする動作を行い，今回の前記顔検出枠データに対応付ける一つ前の前記顔検出枠データを含む前記顔オブジェクトの状態が閲覧状態の場合，前記顔オブジェクトの状態を遷移せず，該顔オブジェクトの位置・サイズを該顔検出枠データの位置・サイズに更新し，今回の前記顔検出枠データが対応付けられなかった一つ前の前記顔検出枠データを含む前記顔オブジェクトの状態が閲覧状態の場合，前記動画解析手段を用いて，該顔オブジェクトに対応する前記顔画像を検出し，今回の前記フレームから該顔画像が検出できたときは，該顔オブジェクトの状態を遷移させずに，該顔オブジェクトの位置・サイズを検出された該顔画像の位置・サイズに更新し，該顔画像を今回の前記フレームから検出できないときは，該顔オブジェクトの状態を非閲覧状態にする動作を行い，前記顔オブジェクトが閲覧状態にある時間を，前記顔オブジェクトの閲覧時間のログとして記憶することを特徴とする，請求項３に記載の広告効果測定装置。
5. 前記広告効果測定装置の前記状態遷移管理手段は，前記顔オブジェクトが閲覧状態にある間，該顔オブジェクトに含まれる前記顔検出枠データの位置をログとして記憶することを特徴とする，請求項１から請求項４のいずれか一つに記載の広告効果測定装置。
6. 前記広告効果測定装置は，前記顔画像を解析することで，前記顔画像に対応する人物の属性を推定する人物属性推定手段を備え，前記広告効果測定装置の前記状態遷移管理手段は，新規に生成した前記顔オブジェクトに対応する前記顔画像を前記人物属性推定手段に解析させ，該顔画像の属性を示すログとして記憶することを特徴とする，請求項１から請求項５のいずれか一つに記載の広告効果測定装置。
7. 前記広告効果測定装置は，前記フレームに撮影された人体を検出する人体検出手段を備え，前記広告効果測定装置は，前記人体検出した人体の数を前記ディスプレイの前にいる人物の人数のログとして少なくとも記憶することを特徴とする，請求項１から請求項６のいずれか一つに記載の広告効果測定装置。
8. 前記広告効果測定装置は，前記フレームの背景画像を除去する背景除去手段を備え，前記顔検出手段及び前記人体検出手段は，前記背景除去手段によって背景画像が除去された前記フレームを解析することを特徴とする請求項１から請求項７のいずれか一つに記載の広告効果測定装置。
9. 前記広告効果測定装置の前記状態遷移管理手段は，前記顔オブジェクトを新規に作成すると，該顔オブジェクトの状態を閲覧状態にする前に候補状態に設定し，今回の前記顔検出枠データが対応付けられた一つ前の前記顔検出枠データを含む前記顔オブジェクトの状態が候補状態であるとき，該顔オブジェクトの位置・サイズを該今回の顔検出枠データの位置・サイズに更新すると共に，該顔オブジェクトに設けたカウンタをインクリメントする処理を実行し，事前に定めた設定時間が経過してもカウンタの値が事前に定めた回数に達しない候補状態の顔オブジェクトの利用を中止し，事前に定めた設定時間が経過する前にカウンタの値が事前に定めた回数に達した候補状態の顔オブジェクトを閲覧状態に状態遷移することを特徴とする，請求項１から請求項８のいずれか一つに記載の広告効果測定装置。
10. 前記広告効果測定装置の前記状態遷移管理手段は，前記顔オブジェクトの状態を非閲覧状態にする前に，該顔オブジェクトの状態を待機状態に状態遷移させ，事前に定めた時間が経過しても，待機状態の前記顔オブジェクトに含まれる前記顔検出枠データと一致する前記顔検出枠データが検出されなかった場合，前記顔オブジェクトの状態を非閲覧状態に状態遷移させ，事前に定めた時間が経過する前に，待機状態の前記顔オブジェクトに含まれる前記顔検出枠データと一致する前記顔検出枠データが検出された場合，該顔オブジェクトの状態を閲覧状態に状態遷移させることを特徴とする，請求項１から請求項９のいずれか一つに記載の広告効果測定装置。
11. ディスプレイの前にいる人物を撮影するカメラと，前記カメラが撮影した映像に含まれるフレームを解析することで，前記ディスプレイの広告効果を測定する広告効果測定装置とから少なくとも構成される広告効果測定システムであって，
    前記広告効果測定装置は，
    前記カメラから送信された前記フレームに撮影されている顔画像を検出し，検出した前記顔画像毎に，顔検出枠の位置・矩形サイズを顔検出枠データとして出力する顔検出手段と，
    前記顔検出手段から取得した前記顔検出枠データ毎に，前記顔検出手段が一つ前に処理したフレームから取得した前記顔検出枠データと，前記顔検出手段が今回処理したフレームから取得した前記顔検出枠データとの位置・矩形サイズ差を示す評価値を算出し，前記評価値の最も小さい一つ前の前記顔検出枠データを今回の前記顔検出枠データ毎に対応付けるトラッキング手段と，
    前記顔検出手段が新規に検出した顔画像毎に顔オブジェクトを生成し，前記トラッキング手段から得られる一つ前と今回の前記顔検出枠データの対応付け結果を参照し，事前に定めた状態遷移表に従い前記顔オブジェクトの状態を閲覧状態に遷移させ，前記ディスプレイの広告効果の指標となるログとして，前記顔オブジェクトの状態が閲覧状態であった時間を前記顔オブジェクト毎に少なくとも記憶する状態遷移管理手段を備えている，
    ことを特徴とする広告効果測定システム。