JP2014517371A - 個人向け広告を選択するシステム及び方法 - Google Patents

Abstract

消費者に提示する広告を選択するためのシステム及び方法が、画像内の顔領域を検出することと、画像内の消費者の１つ又は複数の消費者特性（機嫌、性別、年齢など）を識別することと、消費者特性と複数の広告プロファイルを有する広告データベースとの比較に基づいて消費者に提示する１つ又は複数の広告を特定することと、選択された１つの特定した広告をメディアデバイス上で消費者に提示することとを含む。

Description

本開示はデータ処理の分野に関し、より詳細には、顔検出／追跡、顔面表情（例えば機嫌）、性別、年齢及び／又は顔識別／認識に基づいて、１つ又は複数の広告を選択するための、方法、装置及びシステムに関する。

広告は、商品及びサービスを、種々の人口統計グループに売ることを狙う場合がある。残念なことに、メディア提供者（例えば、テレビ番組提供者、ラジオ提供者及び／又は広告提供者などがあるが、これらに限定されない）が慣例上、広告を消費者にとって受動的に表示し続けている。広告を観ている、及び／又は聞いている消費者が、その広告が対象としている人口統計グループ（群）とは異なる人口統計グループの一員である可能性があるため、広告の有効性が損なわれるおそれがある。

Paul Viola and Michael Jones、"Rapid Object Detection using a Boosted Cascade of Simple Features"、Accepted Conference on Computer Vision and Pattern Recognition、2001）

広告を観ている、及び／又は聞いている消費者が、その広告が対象としている人口統計グループ（群）とは異なる人口統計グループの一員である場合に下落する可能性がある、広告の有効性である。

概説の目的で、本開示が全体として導くシステム、装置及び方法により、画像から識別される消費者特性と広告プロファイルの入った広告データベースとの比較に基づいて、消費者に提示する１つ又は複数の広告を選択できる。

図面において、同様の参照番号が概して、同一の要素、機能的に類似の要素及び／又は構造的に類似の要素を示す。参照番号の最も左の一桁（又は複数桁）が、一要素が最初に現れた図面を示す。本発明は、以下の添付図面を参照して説明する。
本開示の種々の実施形態に調和する、消費者への広告を消費者の顔分析に基づいて選択及び表示するシステムの一実施形態を示す。 本開示の種々の実施形態に調和する、顔検出モジュールの一実施形態を示す。 本開示の種々の実施形態に調和する、広告選択モジュールの一実施形態を示す。 本開示に調和する、広告を選択及び表示するための一実施形態を示すフロー図である。 本開示に調和する、広告を選択及び表示するための別の実施形態を示すフロー図である。

要約すると、本開示は概して、消費者に提示する１つ又は複数の広告を、画像から識別される消費者特性と広告プロファイルの入った広告データベースとの比較に基づいて選択するための、システム、装置及び方法に向けたものである。消費者特性を、顔分析を用いて画像から識別することができる。そのシステムは概して、消費者の１つ又は複数の画像をキャプチャするためのカメラと、消費者の１つ又は複数の特性を決定するため、画像を分析するように構成された顔検出モジュールと、画像から識別された消費者特性と広告プロファイルの入った広告データベースとの比較に基づいて消費者に提供する広告を選択するように構成された広告選択モジュールとを含んでよい。本書において、用語「広告」は、テレビ広告、掲示板広告、ラジオ広告（ＡＭ／ＦＭラジオ、衛星ラジオ、及び申し込みベースのラジオを含む）、店内広告、デジタル看板広告など、並びにデジタルメニュー掲示板を意味することが意図される。

ここから図１を参照して、本開示に調和するシステム１０の一実施形態を概して例示する。システム１０は、広告選択システム１２、カメラ１４、コンテンツプロバイダ１６及びメディアデバイス１８を含む。本書でより詳細に議論するように、広告選択システム１２を、カメラ１４がキャプチャした１つ又は複数の画像２０から少なくとも１つの消費者特性を識別するように、かつ、メディアデバイス１８上の消費者に提示するため、メディアプロバイダ１６から広告を選択するように構成する。

具体的には、広告選択システム１２は、顔検出モジュール２２、消費者プロファイルデータベース２４、広告データベース２６及び広告選択モジュール２８を含む。顔検出モジュール２２を、少なくとも１つのカメラ１４がキャプチャした１つ又は複数のデジタル画像２０を受信するように構成する。カメラ２０は、１人又は複数の人間を含む環境を表すデジタル画像２０をキャプチャするためのどんなデバイス（既知の、又は後に見出されるもの）をも含み、本書で説明するような環境において１人又は複数人の顔分析に対する十分な解像度を有することができる。例えば、カメラ２０は、スチールカメラ（すなわち、静止画像をキャプチャするように構成されたカメラ）又はビデオカメラ（すなわち、複数フレーム内の複数動画をキャプチャするように構成されたカメラ）を含んでよい。カメラ２０を、可視スペクトル内の画像、又は他の部分の電磁スペクトル（例えば、赤外スペクトル、紫外スペクトルなどがあるがこれらに限定されない）を用いた画像をキャプチャするように構成できる。カメラ２０は、例えば、ウェブカメラ（パーソナルコンピュータ及び／又はテレビモニタに付随するようなもの）、携帯端末カメラ（例えば、セルフォンカメラ、スマートフォンカメラ（例として、iPhone（登録商標）、Trio（登録商標）、Blackberry（登録商標）、などに付随するカメラ））、ラップトップコンピュータ・カメラ、タブレットコンピュータ（例えば、iPad（登録商標）、Galaxy Tab（登録商標）等があるがこれらに限定されない）などを含んでよい。

顔検出モジュール２２を、画像２０内にある顔及び／又は顔領域（例えば、挿入図２３ａ内の、ドット線で参照される四角２３が表すようなもの）を識別するように、かつ、随意に、消費者の１つ又は複数の特性（すなわち、消費者特性３０）を決定するように構成する。顔検出モジュール２２はマーカベースのアプローチ（すなわち、消費者の顔に適用する１つ又は複数のマーカ）を使用できる一方、一実施形態において顔検出モジュール２２は非マーカベースのアプローチを使用する。例えば、顔検出モジュール２２は、特注の、独自の、既知の、及び／又は後に開発される、顔認識コード（又は命令セット）、ハードウェア及び／又はファームウェアを含んでよく、それらは一般に、明確に定義されていて、標準フォーマット画像（例えばＲＧＢカラー画像だがこれに限定されない）を受信することと、少なくとも一定程度まで画像内の顔を識別することとが可能である。

さらに、顔検出モジュール２２は、特注の、独自の、既知の、及び／又は後に開発される、顔面特徴コード（又は命令セット）を含んでもよく、それらは一般に、明確に定義されていて、標準フォーマット画像（例えばＲＧＢカラー画像だがこれに限定されない）を受信することと、少なくとも一定程度まで画像内の１つ又は複数の顔面特徴を識別することとが可能である。こうした既知の顔面特徴システムには、標準のビオラ‐ジョーンズ・ブースティング・カスケード・フレームワーク（standard Viola-Jones boosting cascade framework）を含み、これは公開のオープン・ソース・コンピュータ・ビジョン（Open Source Computer Vision；OpenCV（トレードマーク））のパッケージ内に見つけることができるが、これには限定されない。本書でより詳細に議論するように、消費者特性３０は、これらに限定はされないが、消費者アイデンティティ（例えば、消費者に関連付けられている識別子）及び／若しくは顔面特徴（例えば、消費者年齢、消費者年齢分類（例として、子供若しくは大人）、消費者性別、消費者の人種があるがこれらに限定されない）、並びに／又は消費者の表情識別（例えば、幸せな、悲しげな、笑顔、渋面、驚いた、興奮した、など）を含んでよい。

顔検出モジュール２２は、消費者を識別するために、画像２２（例えば、画像２０内の顔２３に対応する顔面パターン）を、消費者プロファイルデータベース２４内の消費者プロファイル３２（１）〜３２（ｎ）（以下、個々には「消費者プロファイル３２」と呼ぶ）と比較できる。消費者プロファイルデータベース２４を検索してマッチするものが見つからない場合、キャプチャした画像２０内の顔２３に基づいて新たな消費者プロファイル３２を生成するように、顔検出モジュール２２を随意に構成してよい。

顔検出モジュール２２を、対象者の顔２３についての画像２０から目印又は特徴を抽出することによって顔２３を識別するように構成できる。例えば、顔検出モジュール２２は、顔面パターンを形成するために、例えば目、鼻、頬骨及びあごの、相対位置、サイズ及び／又は形状を分析してよい。顔検出モジュール２２は、識別済みの顔面パターンを用いて、マッチする顔面パターンを有する他の画像を求めて消費者プロファイル３２（１）〜３２（ｎ）を検索し、消費者を識別できる。その比較は、テンプレートのマッチング手法に基づいて、一連の際立った顔面特徴に適用できる。こうした既知の顔認識システムは、幾何学的手法（目立つ特徴を調べるもの）及び／又は光度測定に関する手法（不一致を除外するため、画像から不要な要素を取り除いた値とし、その値をテンプレートと比較する、統計的アプローチ）に基づく場合があるがこれらに限定されない。

包括的なリストではないが、顔検出モジュール２２として、固有顔を用いた主成分分析（Principal Component Analysis with Eigenface）、線形判別分析（Linear Discriminate Analysis）、弾性バンチグラフマッチング・フィッシャー顔（Elastic Bunch Graph Matching fisherface）、隠れマルコフモデル（Hidden Markov model）、及びニューロン動機づけによるダイナミックリンク照合（neuronal motivated dynamic link matching）を使用できる。

一実施形態によると、消費者は広告選択システム１２を用いて消費者プロファイル３２を生成及び登録できる。代替的に（又は、加えて）、消費者プロファイル３２（１）〜３２（ｎ）のうちの１つ又は複数を、本書で議論するような広告選択モジュール２８が生成及び／又は更新してよい。各消費者プロファイル３２は、消費者識別子及び消費者人口統計データを含む。消費者識別子には、本書で議論するような顔検出モジュール２２（例えばパターン認識等だがこれに限定されない）が使用する顔認識手法に基づいて、消費者を一意的に識別するように構成されたデータを含むことができる。消費者人口統計データは、消費者のある一定の特性及び／又は嗜好を表す。例えば、消費者人口統計データには、ある一定の種類の製品若しくはサービスについての嗜好、性別、人種、年齢若しくは年齢分類、収入、身体障害、可動性（通勤時間若しくは利用可能な乗り物数の観点から）、学業成績、自宅を所有しているか若しくは賃貸か、雇用状態及び／又はロケーションを含んでよい。消費者人口統計データはさらに、ある一定の種類／カテゴリの広告手法に対する嗜好を含んでもよい。広告手法の種類／カテゴリの例には、コメディ、ドラマ、現実に基づいた広告などを含んでよいがこれらに限定されない。

広告選択モジュール２８は、消費者特性３０（及び随意に、消費者のアイデンティティが既知の場合、いかなる消費者人口統計データも含む）を、広告データベース２６に保存されている広告プロファイル３４（１）〜３４（ｎ）（以下、個々には「広告プロファイル３４」と呼ぶ）と比較するように構成できる。本書でより詳細に説明するように、広告選択モジュール２８は、消費者特性３０と広告プロファイル３４（１）〜３４（ｎ）との比較に基づいて１つ又は複数の広告を選択するための、種々の統計分析手法を使用できる。例えば、広告選択モジュール２８は、加重平均統計分析（加重算術平均、加重幾何平均及び／又は加重調和平均を含むがこれらに限定されない）を用いてよい。

いくつかの実施形態において、広告選択モジュール２８は、消費者特性３０と、現在視聴されている特定の広告及び／又は広告プロファイル３２とに基づいて、消費者プロファイル３２を更新できる。例えば、広告選択モジュール２８は、特定の広告及びその広告に対応する広告プロファイル３２に対する、消費者特性３０において識別されるような消費者の反応（例えば、好意的である、好意的でない、など）を反映するために、消費者プロファイル３２を更新してよい。

さらに広告選択モジュール２８を、消費者プロファイル３２（１）〜３２（ｎ）の全部又は一部をコンテンツプロバイダ１６に送信するように構成できる。本書において、用語「コンテンツプロバイダ」は放送局、広告代理店、制作スタジオ及び広告主を含む。そしてコンテンツプロバイダ１６は、この情報を、期待できる視聴者に基づいて将来の広告を開発するのに利用できる。例えば、ネットワーク３６を介してコンテンツプロバイダ１６に送信する目的で、広告選択モジュール２８を、消費者プロファイル３２（１）〜３２（ｎ）に対応するデータを暗号化及びパケット化するように構成できる。十分理解できるように、ネットワーク３６は、有線及び／又は無線の通信経路を含んでよく、例えば、インターネット、衛星経路、光ファイバ経路、ケーブル経路、又はいかなる他の適切な有線若しくは無線の通信経路、若しくはそうした経路の組み合わせでもよいがこれらに限定されない。

広告プロファイル３４（１）〜３４（ｎ）をコンテンツプロバイダ１６が（例えばネットワーク３６を介して）提供でき、広告プロファイル３４（１）〜３４（ｎ）には広告識別子／分類子、及び／又は、広告人口統計パラメータを含むことができる。広告識別子／分類子を、特定の製品又はサービスを１つ又は複数の所定のカテゴリに識別及び／又は分類することに使用できる。例えば、広告識別子／分類子を、特定の広告を広いカテゴリに分類することに使用でき、そのカテゴリには例えば、「食料／飲料」、「ホーム・インプルーブメント」、「衣服」、「健康／美容」等があるがこれらに限定されない。さらに／代替的に、広告識別子／分類子を、特定の広告をより狭いカテゴリに分類することに使用してもよく、そのより狭いカテゴリには例えば、「ビール広告」、「ジュエリー広告」、「ホリデー広告」、「婦人服広告」等があるがこれらに限定されない。広告人口統計パラメータには、種々の人口統計パラメータを含むことができ、例えば、性別、人種、年齢若しくは年齢特性、収入、身体障害、可動性（通勤時間若しくは利用可能な乗り物数の観点から）、学業成績、自宅を所有しているか若しくは賃貸か、雇用状態及び／又はロケーションがあるがこれらに限定されない。コンテンツプロバイダ１６は随意に広告人口統計パラメータを重み付け及び／又は優位順位付けできる。広告人口統計パラメータはさらに、ある一定の種類／カテゴリの広告手法に関連する識別を含んでもよい。広告手法の種類／カテゴリの例には、コメディ、ドラマ、現実に基づいた広告などを含んでよいがこれらに限定されない。

メディアデバイス１８を、広告選択システム１２が選択した、コンテンツプロバイダ１６からの広告を表示するように構成する。メディアデバイス１８はいかなる種類のディスプレイも含んでよく、テレビ、電子掲示板、デジタル・サイネージ、パーソナルコンピュータ（例えば、デスクトップ、ラップトップ、ネットブック、タブレットなど）、携帯電話（例えば、スマートフォン等）、音楽プレーヤ等を含むがこれらに限定されない。

広告選択システム１２（又はその一部）はセットトップボックス（ＳＴＢ）に組み込むことができる。セットトップボックス（ＳＴＢ）は、これらに限定はされないが、ケーブルＳＴＢ、衛星ＳＴＢ、ＩＰ−ＳＴＢ、地上波ＳＴＢ、インテグレイテッド・アクセス・デバイス（integrated access device；ＩＡＤ）、デジタルビデオレコーダ（ＤＶＲ）、スマートフォン、パーソナルコンピュータなどを含む。スマートフォンには例えば、iPhone（登録商標）、Trio（登録商標）、Blackberry（登録商標）、Droid（登録商標）などがあるがこれらに限定されない。パーソナルコンピュータには、デスクトップコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ（例えば、これらに限定されないが、iPad（登録商標）、Galazy Tab（登録商標）等）を含むがこれらに限定されない。

ここから図２を参照して、本開示に調和する顔検出モジュール２２ａの一実施形態を概して例示する。顔検出モジュール２２ａを、画像２０を受信して、画像２０内の顔（又は随意に複数の顔）を少なくともある一定程度識別するように構成できる。顔検出モジュール２２ａをさらに、画像２０内の１つ又は複数の顔面特徴を少なくともある一定程度識別して、１つ又は複数の消費者特性３０を決定するように構成してもよい。消費者特性３０を、本書で議論するような顔検出モジュール２２ａが識別する顔面パラメータのうちの１つ又は複数に基づいて生成できる。消費者特性３０は、これらに限定はされないが、消費者アイデンティティ（例えば、消費者に関連付けられている識別子）及び／若しくは顔面特徴（例えば、消費者年齢、消費者年齢分類（例として、子供若しくは大人）、消費者性別、消費者の人種があるがこれらに限定されない）、並びに／又は消費者の表情識別（例えば、幸せな、悲しげな、笑顔、渋面、驚いた、興奮した、など）を含んでよい。

例えば、顔検出モジュール２２ａの一実施形態には、顔検出／追跡モジュール４０、目印検出モジュール４４、顔正規化モジュール４２、顔面パターンモジュール４６を含むことができる。顔検出／追跡モジュール４０は、特注の、独自の、既知の、及び／又は後に開発される、顔追跡コード（又は命令セット）を含んでよく、そのコードは一般に、明確に定義されていて、カメラから受信した静止画像又はビデオストリーム内の人間の顔のサイズ及び位置を少なくともある一定程度検出及び識別することが可能である。こうした既知の顔検出／追跡システムには、例えば、非特許文献１として発表されているビオラ及びジョーンズによる手法を含む。こうした手法では、アダプティブ・ブースティング（Adaptive Boosting；AdaBoost）の分類器のカスケードを使用して、画像にわたって余す所なくウィンドウをスキャンすることによって顔を検出する。顔検出／追跡モジュール４０はさらに、識別済みの顔又は顔領域を、複数の画像２０にわたって追跡してもよい。

顔正規化モジュール４２は、特注の、独自の、既知の、及び／又は後に開発される、顔正規化コード（又は命令セット）を含んでよく、そのコードは一般に、明確に定義されていて、画像２０内の識別済みの顔をノーマライズすることが可能である。例えば、顔正規化モジュール４２を、目（目の座標が既知の場合）を位置合わせするため画像を回転し、顔のサイズに大まかに相当する、より小さいサイズへと画像を切り取り、目と目の間の距離をある一定とするため画像を調整し、典型的な顔を含む楕円形の中にないピクセルをゼロで埋めるマスクを適用し、ヒストグラムにより、マスクされていないピクセルについて濃淡値の分布を滑らかにするため画像を均一化し、かつ／あるいは、画像を正規化するように構成できる。したがって、マスクされていないピクセルは、平均０（ゼロ）と標準偏差１とを有する。

目印検出モジュール４４は、特注の、独自の、既知の、及び／又は後に開発される、目印検出コード（又は命令セット）を含んでよく、そのコードは一般に、明確に定義されていて、画像２０内の顔の種々の顔面特徴を少なくともある一定程度検出及び識別することが可能である。顔は既に少なくともある程度検出済みであるということが、目印検出における暗黙である。随意に、目印を潜在的に見つけることができる画像２０の区域／領域を識別しそこに焦点をあてるよう、ある程度の位置確認（例えば、方向の位置確認）を実施済みであってもよい（例えば、顔正規化モジュール４２が実施）。例えば、目印検出モジュール４４は発見的解析に基づくことが可能であり、目印検出モジュール４４を、目（及び／又は眼角）、鼻（例えば、鼻の先端）、おとがい（例えば、おとがいの先端）、頬骨並びにあごの、相対位置、サイズ及び／又は形状を識別及び／又は分析するよう構成できる。そのような既知の目印検出システムには、６つの顔面特徴点（すなわち、左右の目の眼角及び口角）と６つの顔上の点（すなわち、緑の点（green point））とを含む。眼角及び口角もまた，ビオラ‐ジョーンズに基づいた分類器を使用して検出できる。形状関係を反映するよう、形状制約を６つの顔面特徴点に組み込んでもよい。

顔面パターンモジュール４６は、特注の、独自の、既知の、及び／又は後に開発される、顔面パターンコード（又は命令セット）を含んでよく、そのコードは一般に、明確に定義されていて、画像２０内の識別済みの顔面目印に基づいて顔面パターンを識別及び／又は生成することが可能である。十分理解されるように、顔面パターンモジュール４６を、顔検出／追跡モジュール４０の一部分と考えてもよい。

顔検出モジュール２２ａは随意に、顔認識モジュール４８、性別／年齢識別モジュール５０及び／又は顔面表情検出モジュール５２のうちの１つ又は複数を含むことができる。具体的には、顔認識モジュール４８は、特注の、独自の、既知の、及び／又は後に開発される、顔識別コード（又は命令セット）を含んでよく、そのコードは一般に、明確に定義されていて、顔面パターンを、データベースに保存されている対応する顔面パターンとマッチさせることが可能である。例えば、画像２０内の消費者のアイデンティティを特定するため、顔面パターンモジュール４６によって識別済みの顔面パターンを比較するように、かつ、識別済みの顔面パターンを、消費者プロファイルデータベース２４内の消費者プロファイル３２（１）〜３２（ｎ）に関連付けられた顔面パターンと比較するように、顔認識モジュール４８を構成できる。顔認識モジュール４８は、幾何解析（目立つ特徴を調べるもの）及び／又は光分析（不一致を除外するため、画像から不要な要素を取り除いた値とし、その値をテンプレートと比較する、統計的アプローチ）を用いてパターンを比較してよい。いくつかの顔認識手法には、固有顔を用いた主成分分析（及びその派生物）、線形判別分析（及びその派生物）、弾性バンチグラフマッチング・フィッシャー顔（及びその派生物）、隠れマルコフモデル（及びその派生物）、並びにニューロン動機づけによるダイナミックリンク照合を含むがこれらに限定されない。

随意に、既存の消費者プロファイル３２とマッチするものが見つからない場合、新たな消費者プロファイル３２を消費者プロファイルデータベース２４内に生成するように、顔認識モジュール４８を構成できる。例えば、認識済みの消費者特性３０を表しているデータを消費者プロファイルデータベース２４に伝達するように、顔認識モジュール４８を構成してよい。その後、新たな消費者プロファイル３２に関連付けられる識別子を生成してよい。

性別／年齢識別モジュール５０は、特注の、独自の、既知の、及び／又は後に開発される、性別及び／又は年齢識別コード（若しくは命令セット）を含んでよく、そのコードは一般に、明確に定義されていて、画像２０内の人間の性別を検出及び識別すること、並びに／又は、画像２０内の人間の年齢を少なくともある一定程度検出及び識別することが可能である。例えば、画像２０内の人間がどちらの性別であるのかを識別するため、画像２０から生成した顔面パターンを解析するように、性別／年齢識別モジュール５０を構成できる。識別済みの顔面パターンを、種々の顔面パターンと性別との相関関係を有している性別データベースと比較できる。

さらに性別／年齢識別モジュール５０を、画像２０内の人間の年齢及び／又は年齢分類を特定及び／又は概算するように構成してもよい。例えば、識別済みの顔面パターンを、種々の顔面パターンと年齢との相関関係を有している年齢データベースと比較するように、性別／年齢識別モジュール５０を構成できる。年齢データベースを、人間の実年齢を概算するように、かつ／あるいは、人間を１つ又は複数の年齢グループに分類するように構成できる。年齢グループの例には、大人、子供、ティーンエイジャー、お年寄り／高齢者などを含んでよいがこれらに限定されない。

顔面表情検出モジュール５２は、特注の、独自の、既知の、及び／又は後に開発される、顔面表情の検出及び／又は識別コード（若しくは命令セット）を含んでよく、そのコードは一般に、明確に定義されていて、画像２０内の人間の顔面表情を検出及び／又は識別することが可能である。例えば、顔面表情検出モジュール５２は、顔面特徴（例えば、目、口、頬、歯など）のサイズ及び／又は位置を特定できて、その顔面特徴を、複数の顔面特徴サンプルと対応する顔面特徴分類（例えば、笑顔、渋面、興奮した、悲しげな、など）とを有する顔面特徴データベースと比較できる。

顔検出モジュール２２ａは、画像２０から識別されたパラメータのうちの１つ又は複数に基づいて消費者特性３０を生成できる。例えば、消費者特性３０は、これらに限定はされないが、消費者アイデンティティ（例えば、消費者に関連付けられている識別子）及び／若しくは顔面特徴（例えば、消費者年齢、消費者年齢分類（例として、子供若しくは大人）、消費者性別、消費者の人種があるがこれらに限定されない）、並びに／又は消費者の表情識別（例えば、幸せな、悲しげな、笑顔、渋面、驚いた、興奮した、など）を含んでよい。消費者特性３０を広告選択モジュール２８が使用して、本書で議論するような消費者に提示する１つ又は複数の広告を識別及び／又は選択する。

一例である実施形態において、顔検出モジュール２２ａの１つ又は複数の態様（例えば、顔検出／追跡モジュール４０、顔認識モジュール４８、性別／年齢識別モジュール５０及び／又は顔面表情検出モジュール５２であるがこれらに限定されない）が、１つ又は複数の入力データを１つ又は複数の出力データに繰り返してマップする、多層パーセプトロン（multilayer perceptron；ＭＬＰ）モデルを使用できる。ＭＬＰモデルについての一般的なフレームワークは、機知であり明確に定義されていて、線形分離不可能なデータを識別することによって標準の線形パーセプトロンモデルを改良している、フィードフォワード・ニューラルネットワークを通常含む。本例において、ＭＬＰモデルへの入力データには、目印検出モジュール４４が生成した１つ又は複数の形状特徴を含むことができる。ＭＬＰモデルには、複数のＮ個の入力ノードによって定義される入力層を含んでよい。各ノードには顔画像の形状特徴を有することができる。ＭＬＰモデルはさらに、複数のＮ個の「隠れ」ニューロンによって定義される「隠れ」層又は中間層を有してもよい。一般に、ＭはＮより小さく、入力層の各ノードを「隠れ」層の各ニューロンに接続する。

ＭＬＰモデルはまた、複数の出力ニューロンによって定義される出力層を有してよい。各出力ニューロンを、「隠れ」層の各ニューロンに接続できる。出力ニューロンは一般に、所定の出力データについての確率を表す。出力データの数は、予め定められており、本開示との関連においては、顔検出／追跡モジュール４０、顔認識モジュール４８、性別／年齢識別モジュール５０及び／又は顔面表情検出モジュール５２が識別可能な、顔及び／又は顔ジェスチャ（face gesture）の数とマッチさせる可能性がある。したがって、例えば、各出力ニューロンは、顔画像及び／又は顔ジェスチャ画像がマッチする確率を示すことができ、最終出力データは最良の確率を示す。

ＭＬＰモデルの各層において、ｍ層の入力データをＸ_ｊと仮定すると、（ｎ＋１）層の出力データＬ_ｊは次のように計算される。

関数ｆは次のように定義される。

ＭＬＰモデルではバックプロパゲーション手法を用いた学習を有効とすることができ、その手法を用いて、訓練手続きから学習されるパラメータα、βを生成できる。各入力データＸ_ｊは重み付け可能、又はバイアスをかけることが可能で、顔及び／又は顔ジェスチャの種類についてのより強い指標を示している。ＭＬＰモデルは訓練プロセスをさらに有してもよい。例えば、その訓練プロセスには既知の顔及び／又は顔ジェスチャを識別すること含んでよく、その結果、ＭＬＰモデルが各反復中にそうした既知の顔及び／又は顔ジェスチャを「対象とする」ことができる。

顔検出／追跡モジュール４０、顔認識モジュール４８、性別／年齢識別モジュール５０及び／又は顔面表情検出モジュール５２の出力データには、識別済みの顔及び／又は顔ジェスチャの種類を示す、信号又はデータセットを含むことができる。続いてこれを、消費者特性データ／信号３０を生成するために使用することができ、そのデータ／信号３０を、本書で議論するような１つ又は複数の広告プロファイル３２（１）〜３２（ｎ）を選択するために使用することができる。

ここから図３を参照して、本開示に調和する広告選択モジュール２８ａの一実施形態を概して例示する。広告選択モジュール２８ａを、顔検出モジュール２２が識別した消費者特性データ３０と広告データベース２６内の広告プロファイル３４（１）〜３４（ｎ）との比較に少なくとも部分的に基づいて、広告データベース２６から少なくとも１つの広告を選択するように構成する。随意に、広告選択モジュール２８ａは、消費者プロファイルデータベース２４から消費者プロファイル３２を特定するため、消費者特性３０を使用してもよい。消費者プロファイル３２にはさらに、本書で説明するような広告の選択において広告選択モジュール２８ａが使用するパラメータを含んでもよい。広告選択モジュール２８ａは消費者プロファイル３２を更新及び／又は生成することができ、消費者プロファイル３２を消費者特性３０と関連付けることができる。

一実施形態によると、広告選択モジュール２８ａは、１つ又は複数の推奨モジュール（例えば、性別及び／若しくは年齢推奨モジュール６０、消費者識別推奨モジュール６２並びに／又は消費者表情推奨モジュール６４）と、決定モジュール６６とを含む。本書で議論するように、決定モジュール６６を、推奨モジュール６０、６２及び６４の集合的な分析に基づいて１つ又は複数の広告を選択するように構成する。

性別及び／又は年齢推奨モジュール６０を、広告プロファイル３２（１）〜３２（ｎ）と、消費者の年齢（若しくはその概算）、年齢分類／グルーピング（例えば、大人、子供、ティーンエイジャー、高齢者等）及び／又は性別（以下、集合的に「年齢／性別データ」と呼ぶ）との比較に少なくとも部分的に基づいて、広告データベース２６から１つ又は複数の広告を特定及び／又は順位付けするように構成できる。例えば、性別及び／又は年齢推奨モジュール６０は、本書で議論するような特性データ３０から、及び／又は識別済みの消費者プロファイル３２から、消費者の年齢／性別データを特定できる。また広告プロファイル３２（１）〜３２（ｎ）には、コンテンツプロバイダ及び／又は広告代理店が供給するような、広告の各々と１つ又は複数の種類の年齢／性別データ（すなわち、ターゲット視聴者）との関連性の、分類、順位付け及び／又は重み付けを表しているデータを含んでよい。それから、性別及び／又は年齢推奨モジュール６０は、消費者年齢／性別データを広告プロファイル３２（１）〜３２（ｎ）と比較できて、１つ又は複数の広告を特定及び／又は順位付けする。

消費者識別推奨モジュール６２を、広告プロファイル３２（１）〜３２（ｎ）と識別済みの消費者プロファイルとの比較に少なくとも部分的に基づいて、広告データベース２６から１つ又は複数の広告を特定及び／又は順位付けするように構成できる。例えば、消費者識別推奨モジュール６２は、本書で議論するような識別済みの消費者プロファイル３２に関連付けられている以前の視聴履歴及びそれらへの反応に基づいて、消費者の嗜好及び／又は習慣を特定できる。消費者嗜好／習慣には、消費者が特定の広告をどれくらいの時間観ているのか（すなわち、プログラム視聴時間）、どんな種類の広告を消費者は観ているのか、消費者が広告を観ている日、曜日、月及び／若しくは時間、並びに／又は消費者の顔面表情（笑顔、渋面、興奮した、凝視など）等を含むことができるがこれらに限定されない。消費者識別推奨モジュール６２はさらに、後の利用のため、識別済みの消費者嗜好／習慣を識別済みの消費者プロファイル３２とともに保存してもよい。こうして消費者識別推奨モジュール６２は、特定の消費者プロファイル３２に関連付けられている消費者履歴を比較できて、どの広告プロファイル３２（１）〜３２（ｎ）を推奨すべきかを決定する。

どの広告を推奨すべきかを特定するために、消費者識別推奨モジュール６２は、消費者のアイデンティティを、特定の既存の消費者プロファイル３２とマッチさせることができる。しかしながら、そのアイデンティティは、コンテンツ選択モジュール２８ａが消費者の名前又はユーザ名を知ることを、必ずしも必要としない。むしろ、コンテンツ選択モジュール２８ａは、消費者プロファイルデータベース２４内の関連する消費者プロファイル３２について、画像２０内の消費者を認識及び／又は関連付けできることが単に必要なだけであるという意味では、そのアイデンティティは匿名であってよい。したがって、消費者が自分自身を関連する消費者プロファイル３２とともに登録できる一方、これは必要条件ではない。

消費者表情推奨モジュール６４を、消費者特性データ３０内の消費者表情と、消費者が現在観ている広告に関連付けられている広告プロファイル３２とを比較するように構成する。例えば、消費者が笑顔である、又は凝視していること（例えば、顔面表情検出モジュール５２が決定したようなこと）を消費者特性データ３０が示す場合、消費者表情推奨モジュール６４は、消費者が観ている広告の広告プロファイル３２が好ましいということを推察できる。それゆえに消費者表情推奨モジュール６４は、視聴されている広告の広告プロファイル３２に類似する、１つ又は複数のさらなる広告プロファイル３２（１）〜３２（ｎ）を特定できる。追加的に、消費者表情推奨モジュール６４は、識別済みの消費者プロファイル３２を更新してもよい（消費者プロファイル３２が識別済みであると仮定する場合）。

決定モジュール６６を、種々の推奨モジュール６０、６２及び６４からの推奨を重み付け及び／又は順位付けするように構成できる。例えば、決定モジュール６６は、１つ又は複数の広告プロファイル３２を特定及び／又は順位付けする推奨モジュール６０、６２及び６４が推奨した広告プロファイル３４についての、発見的解析、最良適合する種類の解析、回帰分析、統計的推測、統計的推論及び／又は推測統計学に基づいて、消費者に提示する１つ又は複数の広告を選択できる。決定モジュール６６はすべての消費者データを必ずしも考慮する必要はないことが、十分理解されるべきである。さらに、決定モジュール６６は、同時に視聴している複数の消費者について識別された、推奨された広告プロファイル３２を比較できる。例えば、決定モジュール６６は、その視聴中である複数の消費者の数、年齢、性別などに基づいて、種々の解析手法を使用できる。例えば、決定モジュール６６は、視聴中の消費者のグループの特性に基づいて、１つ又は複数のパラメータを削減及び／又は無視することができ、かつ／あるいは、１つ又は複数のパラメータの関連性を増加させることができる。例として、決定モジュール６６は、子供を識別した場合、大人が存在する場合であっても、子供向けの広告を提示することをデフォルトとしてよい。さらなる例として、決定モジュール６６は、女性が男性よりも多いことを検出した場合、女性向けの広告を提示してよい。もちろん、こうした例は網羅的ではなく、決定モジュール６６は、他の選択手法及び／又は基準を使用してもよい。

随意に、コンテンツ選択モジュール２８ａを、収集済みの消費者プロファイルデータ（又はその一部）をコンテンツプロバイダ１６に送信するように構成できる。コンテンツプロバイダ１６はその後、この情報を転売することができ、かつ／あるいは、期待できる視聴者に基づいて将来の広告を開発するためにその情報を使用できる。

一実施形態によると、コンテンツ選択モジュール２８ａは、消費者に提示する１つ又は複数の選択済みの広告を表している信号をコンテンツプロバイダ１６に送信できる。コンテンツプロバイダ１６はその後、信号を対応する広告とともにメディアデバイス１８へ送信できる。代替的に、広告をローカルに（例えば、メディアデバイス１８に関連付けられているメモリ内、及び／又は広告選択システム１２内に）保存してもよく、コンテンツ選択モジュール２８ａを、選択済みの広告がメディアデバイス１８に提示されるように構成してもよい。

ここから図４を参照して、広告を選択及び表示するための方法４００の一実施形態を示しているフローチャートを例示する。方法４００には、消費者の１つ又は複数の画像をキャプチャすることを含む（動作４１０）。画像を、１つ又は複数のカメラを用いてキャプチャする。キャプチャした画像内で顔及び／又は顔領域を識別でき、少なくとも１つの消費者特性を決定する（動作４２０）。具体的には、次の消費者特性のうちの１つ又は複数を決定するように、画像を解析できる。その消費者特性とは、消費者の年齢、消費者の年齢分類（例えば、子供若しくは大人）、消費者の性別、消費者の人種、消費者の感情識別（例えば、幸せな、悲しげな、笑顔、渋面、驚いた、興奮した、など）並びに／又は消費者のアイデンティティ（例えば、消費者に関連付けられている識別子）である。例えば、方法４００は、特定の消費者を識別するため、画像内で識別された１つ又は複数の顔目印パターンと消費者プロファイルデータベースに保存されている一連の消費者プロファイルとを比較することを含んでよい。マッチするものが見つからない場合、方法４００は随意に、新たな消費者プロファイルを消費者プロファイルデータベース内に作成することを含んでもよい。

方法４００はまた、消費者に提示する１つ又は複数の広告を、消費者特性に基づいて特定することを含む（動作４３０）。例えば、方法４００は、消費者に提示する特定の広告を識別するため、消費者特性と広告データベースに保存されている一連の広告プロファイルとを比較できる。代替的に（又は、加えて）、方法４００は、消費者に提示する特定の広告を識別するため、消費者プロファイル（及び対応する一連の消費者人口統計データ）と広告プロファイルとを比較してもよい。例えば、方法４００は、消費者プロファイルデータベースに保存されている特定の消費者プロファイルを識別するため、消費者特性を使用できる。

方法４００はさらに、選択済みの広告を消費者に表示することを含む（動作４４０）。方法４００はその後、それ自体を繰り返すことができる。随意に、方法４００は、消費者プロファイルデータベース内の消費者プロファイルを、視聴されている特定の広告に関連する消費者特性に基づいて更新してよい。この情報は、消費者プロファイルデータベースに保存されている消費者プロファイルに組み込むことができ、将来の広告を特定することに使用できる。

ここから図５を参照して、視聴環境にいる消費者についてのキャプチャ済みの画像に基づいて広告を選択及び表示するための、動作５００という別のフローチャートを例示する。本実施形態による動作には、１つ又は複数のカメラを用いて１つ又は複数の画像をキャプチャすることを含む（動作５１０）。いったん画像をキャプチャしたら、顔面分析を画像において実行する（動作５１２）。顔面分析５１２には、キャプチャ済みの画像において顔又は顔領域の存在（又は存在しないこと）を識別することを含み、顔／顔領域を検出した場合は続いて、画像に関連する１つ又は複数の特性を決定することを含む。例えば、消費者の性別及び／又は年齢（若しくは年齢分類）を識別でき（動作５１４）、消費者の顔面表情を識別でき（動作５１６）、かつ／あるいは、消費者のアイデンティティを識別できる（動作５１８）。いったん顔分析を実行したら、消費者特性データを、顔面分析に基づいて生成できる（動作５２０）。その後、１つ又は複数の広告を推奨するため、消費者特性データを、複数の種々の広告に関連付けられている複数の広告プロファイルと比較する（動作５２２）。例えば、消費者の性別及び／又は年齢に基づいて１つ又は複数の広告を推奨するため、消費者特性データを広告プロファイルと比較できる（動作５２４）。識別済みの消費者プロファイルに基づいて１つ又は複数の広告を推奨するため、消費者特性データを広告プロファイルと比較してもよい（動作５２６）。識別済みの顔面表情に基づいて１つ又は複数の広告を推奨するため、消費者特性データを広告プロファイルと比較してもよい（動作５２８）。方法５００はまた、推奨された広告プロファイルの比較に基づいて、消費者に提示する１つ又は複数の広告を選択することを含むこともできる（動作５３０）。広告の選択は、種々の選択基準５２４、５２６及び５２８の重み付け及び／又は順位付けに基づいてよい。それから、選択済みの広告を消費者に表示する（動作５３２）。

その後、方法５００は、動作５１０の開始を繰り返すことができる。キャプチャ済みの画像に基づいて広告を選択する動作を、実質上、連続的に実行できる。代替的に、キャプチャ済みの画像に基づいて広告を選択する動作のうちの１つ又は複数（例えば、顔面分析５１２）を、周期的に、及び／又は少量のフレーム（例えば３０フレーム）間隔で、実行してもよい。これは、より低い計算能力（例えば、パーソナルコンピュータよりも低い能力）を備えたプラットフォームに広告選択システム１２を組み込む実施例に、特に適している場合がある。

図４及び図５は種々の実施形態による方法の動作を例示しているが、いかなる実施形態においても、こうした動作のすべてを必要とはしないことが理解されるべきである。実際に、本開示の他の実施形態において、どの図面にも具体的に示していないが本開示になお十分に調和する方法で、図４及び図５に表した動作を組み合わせ可能であることが、本書において十分に考えられる。したがって、ある図面に厳密に示していない特徴及び／又は動作に向けた請求項が、本開示の範囲及び内容のうちにあると考えられる。

追加的に、実施形態に対する動作を、上述した図面と添付の事例とを参照して更に説明している。一部の図面は論理の流れを含む。本書で提示するそうした図面は特定の論理の流れを含む場合があるが、十分理解できるように、その論理の流れは、本書で説明する全体的な機能性をどのように実装できるかの例を単に提示するものである。さらに、他の方法で示していない限り、提示した順序で所与の論理の流れを実行する必要は必ずしもない。加えて、所与の論理の流れを、ハードウェア要素、プロセッサが実行するソフトウェア要素、又はそれらのいずれかの組み合わせによって実装してよい。実施形態はこの文脈に限定されない。

本書で説明するように、種々の実施形態を、ハードウェア要素、ソフトウェア要素又はそれらのいずれかの組み合わせを用いて実装できる。ハードウェア要素の例には、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、レジスタ、キャパシタ、インダクタなど）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理回路（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどを含んでよい。

本書ではいかなる実施形態においても、用語「モジュール」は、前述した動作を実行するよう構成されたソフトウェア、ファームウェア及び／又は回路を指す。ソフトウェアは、ソフトウェアパッケージ、コード及び／又は命令セット若しくは命令として具体化でき、「回路」は、本書ではいかなる実施形態においても、例えば、ハードワイヤード回路、プログラマブル回路、ステートマシン回路及び／又はプログラマブル回路が実行する命令を保存するファームウェアを、個々に、又はいずれかの組み合わせにおいて有してよい。モジュールを、例えば、集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）等の、より大きなシステムの一部を形成する回路として、集合的に又は個々に具体化してよい。

本書で説明する特定の実施形態を、コンピュータ実行可能命令を保存する有形の機械読取可能媒体として提供できる。そのコンピュータ実行可能命令をコンピュータが実行すると、コンピュータは本書で説明している方法及び／又は動作を実行することになる。有形のコンピュータ読取可能媒体には、フロッピー（登録商標）ディスク、光ディスク、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク・リライタブル（ＣＤ−ＲＷ）及び光磁気ディスクを含む、いずれかの種類のディスク、読取専用メモリ（ＲＯＭ）などの半導体デバイス、ダイナミックＲＡＭ及びスタティックＲＡＭなどのランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気カード若しくは光カード、又は電子的な命令の保存に適切ないかなる種類の有形の媒体をも含んでよいがこれらに限定されない。コンピュータには、どんな適切な処理プラットフォーム、デバイス又はシステム、コンピューティング・プラットフォーム、デバイス又はシステムをも含んでよく、ハードウェア及び／又はソフトウェアのどんな適切な組み合わせをも用いてコンピュータを実装できる。命令には、どんな適切な種類のコードをも含んでよく、どんな適切なプログラミング言語をも用いて命令を実装できる。

したがって、一実施形態において、本開示は消費者に提示する広告を選択するための方法を提供する。その方法は、顔検出モジュールによって、画像内の顔領域を検出することと、顔検出モジュールによって、画像内の消費者についての１つ又は複数の消費者特性を識別することと、広告選択モジュールによって、消費者特性と複数の広告プロファイルを有する広告データベースとの比較に基づいて消費者に提示する１つ又は複数の広告を特定することと、メディアデバイス上で、選択された１つの特定済みの広告を消費者に提示することとを含む。

別の実施形態において、本開示は、消費者に提示する広告を選択するための装置を提供する。その装置には、画像内の顔領域を検出して画像内の消費者についての１つ又は複数の消費者特性を識別するように構成された顔検出モジュールと、複数の広告プロファイルを有する広告データベースと、消費者特性と複数の広告プロファイルとの比較に基づいて消費者に提示する１つ又は複数の広告を選択するように構成された広告選択モジュールとを含む。

さらに別の実施形態において、本開示は、保存された命令を有する有形のコンピュータ読取可能媒体を提供する。その命令を１つ又は複数のプロセッサが実行すると、画像内の顔領域を検出することと、画像内の消費者についての１つ又は複数の消費者特性を識別することと、消費者特性と複数の広告プロファイルを有する広告データベースとの比較に基づいて消費者に提示する１つ又は複数の広告を特定することとを含む動作をコンピュータシステムに実行させる。

本明細書にわたって「一実施形態」又は「ある実施形態」という言葉は、その実施形態に関連して説明している具体的な特徴、構造又は特性が少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書にわたって「一実施形態において」又は「ある実施形態において」という語句の出現は、必ずしもすべて同一の実施形態を参照しているものではない。さらに、その具体的な特徴、構造又は特性を、任意の適切な方法で１つ又は複数の実施形態において組み合わせてよい。

本書で用いている用語及び表現は、説明の表現として使用しており、限定の表現として使用してはいない。また、そうした用語及び表現の使用において、図示及び説明している特徴（又はその一部）のいかなる均等物も除外する意図はなく、特許請求の範囲内で種々の変更が可能であると認められる。したがって、請求項は、すべてのそうした均等物を含むことが意図される。

種々の特徴、態様及び実施形態を本書において説明している。当業者が理解するように、その特徴、態様及び実施形態は、互いの組み合わせ並びに変化及び変更の影響を受けやすい。したがって本開示は、そうした組み合わせ、変化及び変更を包含するとみなされるべきである。こうして、本発明の範囲及び広がりは、上述の例示的な実施形態のいずれにも限定されるべきではなく、続く請求項及びその均等物によってのみ定義されるべきものである。

Claims (19)

1. 消費者に提示する広告を選択するための方法であって：
   顔検出モジュールによって、画像内の顔領域を検出するステップと；
   前記顔検出モジュールによって、前記画像内の前記消費者についての１つ又は複数の消費者特性を識別するステップと；
   広告選択モジュールによって、前記消費者特性と複数の広告プロファイルを有する広告データベースとの比較に基づいて前記消費者に提示する１つ又は複数の広告を特定するステップと；
   メディアデバイス上で、前記の特定された広告のうちの選択された１つを前記消費者に提示するステップと；
   を含む、方法。
2. 前記消費者特性は、前記画像内の前記消費者の年齢、年齢分類又は性別を含む、請求項１に記載の方法。
3. 前記顔検出モジュールによって、前記画像内の前記顔領域に対応する、消費者プロファイルデータベースに保存されている消費者プロファイルを識別するステップを更に含む、請求項１に記載の方法。
4. 前記消費者プロファイルは、前記消費者の視聴履歴を含む、請求項３に記載の方法。
5. 前記消費者特性は、前記画像内の前記消費者の少なくとも１つの顔面表情を含む、請求項１に記載の方法。
6. 前記消費者特性は、前記画像内の前記消費者の年齢、年齢分類、性別、又は前記画像内の前記消費者の少なくとも１つの顔面表情を含み、前記消費者特性と前記広告データベースとの前記比較は、前記消費者についての前記年齢、年齢分類、性別、前記消費者プロファイル及び前記顔面表情のうちの１つ又は複数を順位付けするステップを更に含む、請求項３に記載の方法。
7. 前記消費者特性に基づいて前記消費者プロファイルを更新するステップと、前記消費者プロファイルの少なくとも一部をコンテンツプロバイダに送信するステップとを更に含む、請求項４に記載の方法。
8. 消費者に提示する広告を選択するための装置であって：
   画像内の顔領域を検出して、前記画像内の前記消費者についての１つ又は複数の消費者特性を識別するように構成された顔検出モジュールと；
   複数の広告プロファイルを有する広告データベースと；
   前記消費者特性と前記複数の広告プロファイルとの比較に基づいて前記消費者に提示する１つ又は複数の広告を選択するように構成された広告選択モジュールと；
   を含む、装置。
9. 前記消費者特性は、前記画像内の前記消費者の年齢、年齢分類又は性別を含む、請求項８に記載の装置。
10. 前記顔検出モジュールは更に、前記画像内の前記顔領域に対応する、消費者プロファイルデータベースに保存されている消費者プロファイルを識別するように構成される、請求項８に記載の装置。
11. 前記消費者プロファイルは、前記消費者の視聴履歴を含む、請求項１０に記載の装置。
12. 前記消費者特性は、前記画像内の前記消費者の少なくとも１つの顔面表情を含む、請求項８に記載の装置。
13. 前記消費者特性は、前記画像内の前記消費者の年齢、年齢分類、性別、又は前記画像内の前記消費者の少なくとも１つの顔面表情を含み、前記広告選択モジュールは更に、前記消費者についての前記年齢、年齢分類、性別、前記消費者プロファイル及び前記顔面表情のうちの１つ又は複数の順位付けに基づいて、前記消費者特性を前記広告データベースと比較するように構成される、請求項１０に記載の装置。
14. 前記広告選択モジュールは、前記消費者特性に基づいて前記消費者プロファイルを更新して、前記消費者プロファイルの少なくとも一部をコンテンツプロバイダに送信するように構成される、請求項１０に記載の装置。
15. コンピュータシステムに：
    画像内の顔領域を検出する動作と；
    画像内の消費者についての１つ又は複数の消費者特性を識別する動作と；
    前記消費者特性と複数の広告プロファイルを有する広告データベースとの比較に基づいて前記消費者に提示する１つ又は複数の広告を特定する動作と；
    を実行させる、コンピュータプログラム。
16. 前記の識別された消費者特性は、前記画像内の前記消費者の年齢、年齢分類、性別及び少なくとも１つの顔面表情のうちの、少なくとも１つを含む、請求項１５に記載のコンピュータプログラム。
17. 以下の：
    前記画像内の前記顔領域に対応する、消費者プロファイルデータベースに保存されている消費者プロファイルを識別する動作；
    を含む追加的な動作をもたらす、請求項１５に記載のコンピュータプログラム。
18. 前記消費者特性は、前記画像内の前記消費者の年齢、年齢分類、性別、又は前記画像内の前記消費者の少なくとも１つの顔面表情を含み、以下の：
    前記消費者の前記年齢、年齢分類、性別、前記消費者プロファイル及び前記顔面表情のうちの１つ又は複数の順位付けを比較する動作；
    を含む追加的な動作をもたらす、請求項１７に記載のコンピュータプログラム。
19. 以下の：
    前記消費者特性に基づいて前記消費者プロファイルを更新する動作と；
    前記消費者プロファイルの少なくとも一部をコンテンツプロバイダに送信する動作と；
    を含む追加的な動作をもたらす、請求項１７に記載のコンピュータプログラム。

Images