JP2010113313A

JP2010113313A - 電子広告装置、電子広告方法及びプログラム

Info

Publication number: JP2010113313A
Application number: JP2008288284A
Authority: JP
Inventors: Rika Nishida; 里佳西田; Kazuhide Umeda; 一秀梅田
Original assignee: NEC Corp; NEC Software Kyushu Ltd
Current assignee: NEC Corp; NEC Solution Innovators Ltd
Priority date: 2008-11-10
Filing date: 2008-11-10
Publication date: 2010-05-20
Anticipated expiration: 2028-11-10
Also published as: US20110208593A1; JP5224360B2; WO2010053195A1

Abstract

【課題】電子広告装置による広告を視ている人物に積極的に働き掛けて、当該人物の注意を喚起して広告効果を高められる広告装置を提供する。
【解決手段】ディスプレイ装置２に表示された広告画像を観覧する観覧者の顔部分を撮像して得られた顔画像を解析して、前記観覧者の容貌の特徴量を算出する特徴量抽出装置６と、キー情報を付した複数のコンテンツ画像を記憶する画像記憶装置９と、前記観覧者の特徴量と前記キー情報を照合して、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を画像記憶装置９から抽出してディスプレイ装置２に表示する主制御装置８を備える。
【選択図】図２

Description

本発明は、集客施設等に設置されて、広告画像を表示する電子広告装置に関する。

集客施設、例えば劇場、映画館、大規模店舗等に設置されて、当該集客施設を訪れる不特定の者に対して、広告宣伝用の動画像あるいは静止画像を提示する電子広告装置が知られている。

特許文献１には、このような電子広告装置による広告の閲覧率を高めるために、広告装置にキーコードを一瞬だけ表示して、そのキーコードを視認できた者が、携帯電話等の端末装置からサービス提供手段にそのキーコードを入力すると、サービス提供手段から端末装置に対してコンテンツを提供するなどのサービスが受けられるようにした広告情報の提示システムが提案されている。

また、特許文献２には、広告装置による広告効果を検証するために、広告装置に顔を向けている人物の顔画像を検出して、第１の顔特徴量を抽出する第１の顔特徴量抽出手段と、前記広告装置で宣伝されている店舗に来店した人物の顔画像を検出して、第２の顔特徴量を抽出する第２の顔特徴量抽出手段を備えて、前記第１の顔特徴量と前記第２の顔特徴量を比較して、両者が一致するものを計数する行動計数システムが提案されている。

特開２００４−２９４９５号公報特開２００８−１０２１７６号公報

特許文献１の広告情報の提示システムは、キーコードを視認できた者にだけ特典を与えるので、電子広告装置を見る者の注意を喚起して広告効果を高めることができる。しかしながら、このような効果は、電子広告装置を見る者が「キーコードを入手すれば特典が与えられる」という「ルール」を知っている場合にだけ、発揮されると考えられる。そのため、効果を得るためには、別の広告媒体等を使って大衆に「ルール」を周知させる必要がある。また「ルール」の周知には時間を要する。つまり、特許文献１の広告情報の提示システムが所期の効果を奏するようにするためには、費用と時間を必要とするという問題がある。

また、特許文献２の行動計数システムは広告装置による広告効果を具体的な数値で検証できるから、その検証結果に基づいて、広告装置の設置場所や、広告装置で表示する画像等を改善して広告効果を高めることができる。しかしながら、広告効果の検証と広告効果の改善の間に時間的なずれがある。

本発明は、このような背景に鑑みてなされたものであり、電子広告装置による広告を視ている人物に積極的に働き掛けて、当該人物の注意を喚起して広告効果を高められる広告装置を提供するものである。

本発明に係る電子広告装置は、ディスプレイ装置に表示された前記広告画像を観覧する観覧者の顔部分を撮像して得られた顔画像を解析して、前記観覧者の容貌の特徴量を算出する特徴量算出手段と、キー情報を付した複数のコンテンツ画像を記憶するコンテンツ画像記憶手段と、前記観覧者の特徴量と前記キー情報を照合して、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を前記コンテンツ画像記憶手段から抽出して前記ディスプレイ装置に表示するコンテンツ画像抽出手段を備えることを特徴とする。

本発明に係る電子広告方法は、ディスプレイ装置に表示された広告画像を観覧する観覧者の顔部分を撮像して顔画像を得る顔画像取得段階と、前記顔画像を解析して、前記観覧者の容貌の特徴量を算出する特徴量算出段階と、キー情報を付した複数のコンテンツ画像をコンテンツ画像記憶装置に記憶するコンテンツ画像記憶段階と、前記観覧者の特徴量と前記キー情報を照合して、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を前記コンテンツ画像記憶段階で記憶したコンテンツ画像から抽出して前記ディスプレイ装置に表示するコンテンツ画像抽出段階を有することを特徴とする。

本発明に係るプログラムは、コンピュータにインストールされて、当該コンピュータを、ディスプレイ装置に表示された広告画像を観覧する観覧者の顔部分を撮像して得られた顔画像を解析して、前記観覧者の容貌の特徴量を算出する特徴量算出手段と、キー情報を付した複数のコンテンツ画像を記憶するコンテンツ画像記憶手段と、前記観覧者の特徴量と前記キー情報を照合して、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を前記コンテンツ画像記憶手段から抽出して前記ディスプレイ装置に表示するコンテンツ画像抽出手段として機能させることを特徴とする。

本発明によれば、電子広告装置の観覧者の容貌に対応するコンテンツ画像を前記ディスプレイ装置に表示するので、観覧者の注意を喚起することができる。そのため、電子広告装置による広告の効果を向上する効果がある。

以下、本発明を実施するための最良の形態について説明する。

図１は、本発明の実施形態を示す電子広告装置１の外形図であり、図２は、電子広告装置１の概念的な構成図である。

電子広告装置１は、例えば劇場、映画館、大規模店舗等の不特定多数の者が訪れる集客施設に設置されて、広告映像（動画像あるいは静止画像）を表示し、また必要に応じて音声を出力して、当該集客施設を訪れる者に対して広告宣伝を行う装置である。電子広告装置１は、図１及び図２に示すように、ディスプレイ装置２、カメラ３、スピーカ４、顔画像抽出装置５、特徴量抽出装置６、特徴量記憶装置７、主制御装置８及び画像記憶装置９及びを備える。なお、ここでいう広告映像は、商品等を提示して、購買を直接に誘引する画像等には限られない。いわゆる販促イベントの紹介や、ブランドイメージを広めるためのイメージ広告のようなものを含む広い概念である。

ディスプレイ装置２は画像記憶装置９から読み出した広告映像を通行人１０に提示する装置である。ディスプレイ装置２の形式は特に限定されない。例えば、液晶表示装置など公知の表示装置の中から適宜選択すればよい。カメラ３は通行人１０を撮像する装置である。カメラ３の形式も特に限定されない。例えば、ＣＣＤカメラなど公知の撮像装置の中から適宜選択すればよい。なお、スピーカ４は、ディスプレイ装置２に表示される画像に合わせて音声を出力する装置である。

また、顔画像抽出装置５はカメラ３で撮像された画像を処理して、通行人１０の顔部分の画像（顔画像）を抽出し、さらに前記顔画像が所定の要件（後述）を満足しているか否かを検証する装置である。

特徴量抽出装置６は、前記顔部分の画像から特徴量を抽出する装置である。なお、顔部分の画像から特徴量を抽出する具体的な手段は、例えば、特開２００４−１３９５９６号公報等に開示されているような公知の手段の中から、適宜選択すればよい。

特徴量記憶装置７は、特徴量抽出装置６で抽出された顔部分の画像の特徴量を、その画像を取得（撮像）した時間の記録とともに、図３に示すように、記録する装置である。

画像記憶装置９は、図４に示すように、各種のコンテンツ画像をキー情報とともに記憶する装置である。なお、キー情報については後述する。

主制御装置８は、電子広告装置１の全体を制御するコンピュータであり、事前にインストールされたプログラムを実行して、特徴量抽出装置６から入力された前記特徴量を、特徴量記憶装置７に記録された特徴量と照合して、カメラ３で撮像された人物が、過去の所定時間内に撮像された人物と同一あるか否かを判別し、同一人物でなければ、その特徴量に応じたキー情報を有するコンテンツ画像を画像記憶装置９から選択して、ディスプレイ装置２に出力する。

また、主制御装置８には、主プログラムと割り込みプログラムがインストールされる。主プログラムは、電子広告装置１の稼働中に常時実行され、割り込みプログラムは主プログラムの実行中にカメラ３が通行人１０を捉えた時に実行される。

顔画像検出装置５と、特等量抽出装置６と、主制御装置８とは、物理的には、例えば、図５に示す構成を有するサーバ装置３０の一機能として実現される。この例では、サーバ装置３０は、スケジュールデータベース（ＤＢ）３２と、通信部３５と、入出力部３６と、制御部３７と、とから構成される。

スケジュールＤＢ３２は、広告メディア装置３毎に広告の配信（表示）スケジュールを格納する。配信スケジュールは、図６に示すように、時刻時間（時分秒）と表示対象の広告映像（例えば、音声付きの動画）の格納位置のアドレス（ＵＲＬ（Uniform Resource Locator））とを含む。

通信部３５は、通信網を介して、特徴量記憶装置７等と通信を行う。

入出力部３６は、キーボード、マウス、表示装置などから構成され、制御部３７に種々の指示やデータを入力し、また、制御部３７からの出力を表示する。

制御部３７は、プロセッサなどから構成され、タイマＴＣを備えると共に制御プログラムに従って動作し、後述する主プログラムと割り込みプログラムとを実行する。

制御部３７は、通常状態では、図７に示すように、主プログラムを繰り返し実行しており、例えば、タイマＴＣの計時時刻とスケジュールとに従って、画像を画像記憶装置９から読み出してディスプレイ装置２に表示する（ステップ１）。例えば、通常の広告映像（例えば映画の予告編の動画）が繰り返しディスプレイ装置２に出力される。
次に、制御部３７は、カメラ３からのフレーム画像を取り込み、通行人の画像の有無を判別する（ステップ２）。制御部３７は、通行人を検出すると、即ち、カメラ３が通行人１０の姿を捉えたら（ステップ２；ＹＥＳ）、割り込みプログラムを実行する。また、図示しないスイッチによって、終了処理が要求されると（ステップ３；ＹＥＳ）、主プログラムを終了する。

制御部３７は、割り込みプログラムを起動すると、図８に示すように、カメラ３で撮像した画像を顔画像抽出装置５で処理して、通行人１０の顔部分の画像を抽出し、次の４要件を満足しているか否かを検証する（ステップ１１）。

（１）通行人１０はカメラ３の視野の中央付近にいる。
（２）通行人１０はカメラ３の近傍の所定範囲内にいる。
（３）通行人１０の顔はディスプレイ装置２に正対している。
（４）通行人１０の姿をカメラ３で捉えてから、所定時間経過している（所定時間を超えて、カメラ３の視野の範囲に滞留している）。

これらを検証するため、制御部３７は、まず、パターンマッチング等により、撮像画像に含まれる顔画像を特定する。
次に、（１）の条件を満足しているか否かを判別するため、顔の画像の位置が、フレーム画像の中心から予め定められた半径ｒの円の中或いは所定の矩形の中に位置しているか否かを判別し、位置していれば条件を満たしていると判別する。
次に、（２）の条件を満足しているか否かを判別するため、フレーム画像上の顔のサイズが基準値以上か否かを判別する。顔のサイズが処理サイズ以上であれば、通行人１０はカメラ３の近傍の所定範囲内にいるとみなすことができる。
次に、（３）の条件を満足しているか否かを判別するため、顔の画像中に、一定の距離（１０〜１８ｃｍ相当）にある２つの黒点（目の画像と推定されるもの）の組を抽出できるか否かを判別する。顔の画像中に、一定の距離（１０〜１８ｃｍ相当）にある２つの黒点（目の画像と推定されるもの）の組を抽出できれば、両目がカメラ３の方向を向いており、通行人１０はディスプレイ装置２に正対していると判別することができる。
次に、（４）の条件を満足しているか否かを判別するため、顔画像から顔の特徴量を求め、さらに、所定時間経過後に、カメラ３の出力画像を再度チェックし、（１）〜（３）の条件を満たし、且つ、特徴量が同一であることを判別する。

なお、上記の４要件を検証するのは、電子広告装置１で提示された広告画像に強い関心を持っている者に対してだけに、後述するような映像を提示するためである。ディスプレイ装置２の中央正面に立って、ディスプレイ装置２に接近して、ディスプレイ装置２に真っ直ぐ顔を向けて、しかもそこに所定時間を超えて留まっている者は、電子広告装置１で提示された広告画像に強い関心を持っている蓋然性が高いから、そのような者に、特別な映像を提示すれば、大きな広告効果が期待できる。

上記の４要件を具備していなければ（ステップ１２；ＮＯ）、割り込みプログラムの処理を終了し、主プログラムによる制御に戻る。

上記の４要件を具備していれば、（ステップ１２；ＹＥＳ）、顔画像抽出装置５（制御部３７）は通行人１０の顔部分の画像から特徴量を抽出する（ステップ１３）。なお、特徴量とは人間の容貌の特徴を数値化したパラメータであり、通行人１０を照合識別するために役立つパラメータである。例えば、髪型、目、鼻、口、耳、眉の位置または形状、それらの相互の位置関係、顔の輪郭、肌の色などの特徴を数値化して特徴量とする。

顔画像抽出装置５（制御部３７）が通行人１０の顔画像から特徴量を抽出したら、その特徴量を当該顔画像を撮像した時刻とともに、特徴量記憶装置７に記録する（ステップ１４）

次に、前記特徴量と、過去にカメラ３で撮像されて特徴量記憶装置７に記録されている者の特徴量を照合する（ステップ１５）。前記特徴量が過去の所定時間以内に撮像された者の特徴量と実質的に同一である場合、つまり所定時間内に同一人物の顔画像を撮像した場合（ステップ１５；ＹＥＳ）は、割り込みプログラムの処理を終了し、主プログラムによる制御に戻る。

前記特徴量が過去の所定時間以内に抽出された特徴量のいずれとも一致しない場合、つまり通行人１０が前記所定時間の範囲で初めて撮像された人物であった場合（ステップ１５；ＮＯ）は、ステップ１６に進み、通常の広告画像の出力を中止する。

次に、図９に示すように、主制御装置８（制御部３７）は、通行人１０の顔画像１１を、所定のメッセージ１２とともにディスプレイ装置２に表示する（ステップ１７）。電子広告装置１が通行人１０を認識したことを、通行人１０自身に示して、通行人１０の注意を喚起するためである。

次に、主制御装置８（制御部３７）は、画像記憶装置９を検索して（ステップ１８）、通行人１０の特徴量に対応するキー情報を備えるコンテンツ画像を抽出して、ディスプレイ装置２に表示する（ステップ１９）。本実施形態では、映画の広告宣伝を目的にしているので、当該映画に登場するキャラクタ（出演者、アニメキャラクタ等）の容貌の特徴量をキー情報としてコンテンツ画像に付与している。そこで、主制御装置８（制御部３７）は通行人１０の特徴量と各キャラクタの特徴量の類似度を算出して、類似度が最大になるキャラクタ（つまり、通行人１０に最も似ているキャラクタ）に係るコンテンツ画像、例えば、図１０に示すように、当該キャラクタの画像１３を、所定のメッセージ１４とともにディスプレイ装置２に表示する。なお、図１０では「類似度７０％」と表示しているが、これは、数学的に正確な数値である必要はない。電子広告装置１はあくまでも宣伝広告を目的とする装置であり、通行人１０をいい気持ちにさせて、商品の購入や映画館への来場を促せばよいから、「類似度」の値が大きくなるような操作を加えてもよい。

また、図１０に示したような画像の後に、当該キャラクタに関わるエピソード等を紹介して、通行人１０の関心を更に喚起すれば、広告効果はさらに向上する。また、映画の広告ならば、直近の上映時間を表示して来場を促してもよい。あるいは、通行人１０に対して何らかの特典を与えるメッセージ、例えば、料金の割引を受けるためのパスワードなどを表示するようにしてもよい。

また、ディスプレイ装置２に表示するコンテンツ画像はこのような「通行人１０に似たキャラクタ」には限られない。例えば、通行人１０の特徴量から性別、年齢等を推定して、それに応じた商品やサービスの広告画像をディスプレイ装置２に表示するようにしてもよい。

以上のように、コンテンツ画像の表示が終了したら、通常の広告画像の出力を再開して、割込プログラムを終了し、主プログラムによる制御に戻る。

なお、この発明は、上記実施の形態に限定されず、種々の変形及び応用が可能である。
なお、本実施形態では、顔画像抽出装置５、特徴量抽出装置６、特徴量記憶装置７、主制御装置８及び画像記憶装置９をサーバ装置１０の一機能として示したが、専用のハードウェアの形態で実行することも可能である。
また、上記各装置のデータ構成や処理手順も適宜変更可能である。例えば、図３の構成で、顔画像に代えて（又は顔画像に追加して）、顔画像から得られた顔の特徴データ等をもちいてもよい。また、図７のステップＳ１５で、タイマＴＣにより一定時間ウエイトする代わりに、一旦処理を終了し、一定期間繰り返し、同一の顔画像が得られるか否かを判別するようにしてもよい。
また、これらの装置が行う処理を記述したプログラムを記録媒体に記録して流通などしてもよい。

本発明の実施形態に係る電子広告装置の外形図である。実施形態に係る電子広告装置の概念的な構成図である。特徴情報の構成図である。コンテンツ画像の構成図である。サーバ装置の構成図である。配信スケジュール情報の構成図である。主プログラムの概略フローチャートである。割込プログラムの概略フローチャートである。ディスプレイ装置に表示される画像の例である。ディスプレイ装置に表示される画像の例である。

符号の説明

１電子広告装置
２ディスプレイ装置
３カメラ
４スピーカ
５顔画像抽出装置
６特徴量抽出装置
７特徴量記憶装置
８主制御装置
９画像記憶装置
１０通行人
１１顔画像
１２メッセージ
１３キャラクタの画像
１４メッセージ

Claims

ディスプレイ装置に表示された広告画像を観覧する観覧者の顔部分を撮像して得られた顔画像を解析して、前記観覧者の容貌の特徴量を算出する特徴量算出手段と、
キー情報を付した複数のコンテンツ画像を記憶するコンテンツ画像記憶手段と、
前記観覧者の特徴量と前記キー情報を照合して、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を前記コンテンツ画像記憶手段から抽出して前記ディスプレイ装置に表示するコンテンツ画像抽出手段を備える
ことを特徴とする電子広告装置。
前記キー情報は前記コンテンツ画像に係る人物の容貌の特徴を示すキャラクタ特徴量であり、
前記コンテンツ画像抽出手段は、前記観覧者の特徴量と前記キャラクタ特徴量を照合して、両者の類似度を算出し、前記観覧者の特徴量との類似度が最大になるキャラクタ特徴量を備えるコンテンツ画像を前記コンテンツ画像記憶手段から抽出して前記ディスプレイ装置に表示する
ことを特徴とする請求項１に記載の電子広告装置。
前記顔画像取得手段は、前記観覧者が前記広告画像を観覧する観覧時間を測定して、
前記コンテンツ画像抽出手段は前記観覧時間が所定時間を超えた場合に、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を前記ディスプレイ装置に表示する
ことを特徴とする請求項１に記載の電子広告装置。
前記顔画像取得手段は、前記ディスプレイ装置に対する前記観覧者の顔の向きを測定して、
前記コンテンツ画像抽出手段は前記観覧者の顔の向きが所定範囲にある場合に、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を前記ディスプレイ装置に表示する
ことを特徴とする請求項１に記載の電子広告装置。
前記顔画像取得手段は、前記ディスプレイ装置と前記観覧者の顔の間隔を測定して、
前記特徴量算出手段は前記間隔が所定値より小さい場合に、前記観覧者の特徴量を算出する
ことを特徴とする請求項１に記載の電子広告装置。
前記顔画像取得手段は、前記観覧者が前記広告画像を観覧する観覧時間を測定して、
前記観覧者の顔の向き、前記観覧者と前記顔画像取得手段の間の距離、及び前記観覧者が前記顔画像取得手段の視野内に滞留する時間を検出し、
前記コンテンツ画像抽出手段は前記観覧者の顔が前記ディスプレイ装置に正対し、前記観覧者と前記顔画像取得手段の間の距離が所定の値よりも小さく、かつ前記観覧者が前記顔画像取得手段の視野内に所定時間をえて超えて滞留している場合にだけ、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を前記ディスプレイ装置に表示する
ことを特徴とする請求項１に記載の電子広告装置。
前記特徴量算出手段で算出した観覧者の特徴量とその取得時刻を記憶する特徴量記憶手段を備え、
前記コンテンツ画像抽出手段は、当該観覧者の特徴量と前記特徴量記憶手段に記憶された特徴量を照合して、当該観覧者の特徴量が所定時間以内に取得された特徴量と同一である場合には、前記ディスプレイ装置におけるコンテンツ画像の表示を中止する
ことを特徴とする請求項１に記載の電子広告装置。
ディスプレイ装置に表示された広告画像を観覧する観覧者の顔部分を撮像して顔画像を得る顔画像取得段階と、
前記顔画像を解析して、前記観覧者の容貌の特徴量を算出する特徴量算出段階と、
キー情報を付した複数のコンテンツ画像をコンテンツ画像記憶装置に記憶するコンテンツ画像記憶段階と、
前記観覧者の特徴量と前記キー情報を照合して、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を前記コンテンツ画像記憶段階で記憶したコンテンツ画像から抽出して前記ディスプレイ装置に表示するコンテンツ画像抽出段階を有する
ことを特徴とする電子広告方法。
コンピュータにインストールされて、当該コンピュータを、
ディスプレイ装置に表示された広告画像を観覧する観覧者の顔部分を撮像して得られた顔画像を解析して、前記観覧者の容貌の特徴量を算出する特徴量算出手段と、
キー情報を付した複数のコンテンツ画像を記憶するコンテンツ画像記憶手段と、
前記観覧者の特徴量と前記キー情報を照合して、前記観覧者の特徴量に対応するキー情報を有するコンテンツ画像を前記コンテンツ画像記憶手段から抽出して前記ディスプレイ装置に表示するコンテンツ画像抽出手段として機能させる
ことを特徴とするプログラム。