JP7389997B2 - カメラを用いたマーケティングシステム - Google Patents

Description

本発明は、例えば、従来のＰＯＳレジシステムのようにレジスタ等での商品のバーコードの入力情報や単純な売り上げ情報等をバインド情報の一つとして関連づけ、その商品の客としての被撮影人物の画像や特徴量を保存することなく、被撮影人物のテキスト情報等の情報を記録保存するカメラを用いたマーケティングシステムに関するものである。

従来より、コンビニエンスストア等の店舗においては、来店客の状況を把握するためのＰＯＳシステムが多く導入されている。導入初期は、レジスタにおける商品のバーコードの入力情報と単純な売り上げ情報とによって、商品を管理するものであったが、その後のＰＯＳレジでは、レジスタ前に立った顧客の顔画像を記録したりするものも提案されている。

特に、顧客の売場への立寄りを検出する立寄り検出機器からの立寄り情報と、顧客の購買情報を管理するＰＯＳ端末からの購買情報とを基に売場に立寄っても商品購入を行わなかった販売機会損失を測定することによって、消費者に煩わしさを与えることなく、消費者の真の購買意図を偽情報に惑わされることなく販売機会損失やそれを基にした商品の潜在的な需要を推定することができる装置が提案されている（例えば、特許文献１参照）。

前述のＰＯＳ端末を始めとして多くのＰＯＳ端末では、購買者の肖像権やプライバシーを無視したものであった。加えて、顔画像を含む個人情報の取扱いが厳しくなり、結局は、購買者の外観から店員の判断で入力するＰＯＳ端末が未だに主流となっている。そのため、本出願人らは、来店や来場した人物の肖像権やプライバシーを保護しながら、その人物の性別、年齢等の属性を収集保存すると共に、その人物の挙動をも保存することが可能な収集システムを提案した（特許文献２参照）。

特開２００１－３３１８７５号公報 特開２０１８－１６５８４９号公報

この収集システムの提案によって、肖像権やプライバシーを保護しながら、商品を購入した人物の属性情報を得ることが可能となった。これに対して、本発明では、得られた属性情報を他の情報とバインドさせて高度の利用を図るマーケティングシステムを得ることを目的とする。

即ち、本発明は、レジカウンター前の領域、自動販売機や自動券売機前の領域等で撮影された商品購入者等の被撮影人物の顔画像自体や被撮影人物の顔画像の特徴量を保存することがなく、撮影と同時に被撮影人物の属性情報を推定し、推定された属性情報と被撮影人物に関連する関連データとをバインドして記録手段に保存するカメラを用いたマーケティングシステムを得ることを目的とする。

請求項１に記載された発明に係るカメラを用いたマーケティングシステムは、特定の領域内を撮影する撮影手段と、
前記撮影手段で撮影された画像領域内の被撮影人物を検出して該被撮影人物の顔を検出する人物特定手段と、
前記人物特定手段で特定された前記被撮影人物の少なくとも顔を含む画像から抽出される特徴量から性別、年齢を始めとする属性データを推定する属性取得手段と、
前記属性取得手段で推定された被撮影人物の属性データに前記特定の領域内の被撮影人物の撮影された日時データを追加して被撮影人物属性情報として抽出する属性情報抽出手段と、
前記被撮影人物に関連する関連データを取得する関連データ取得手段と、
前記被撮影人物属性情報と前記関連データ取得手段で取得した関連データとをバインドして記録手段に保存するバインドデータ保存手段とを備え、
前記人物特定手段で特定された被撮影人物の顔画像は保存されず、前記バインドデータ保存手段で前記被撮影人物属性情報と前記関連データ取得手段で取得した関連データとが前記記録手段に保存されるものであり、
前記属性取得手段で推定された属性データが、前記人物特定手段で特定された前記被撮影人物の顔の３次元ベクトルの回転の各々が正対に対して予め許与された角度範囲内の画像から抽出される特徴量から推定されたものであることを特徴とするものである。

請求項２に記載された発明に係るカメラを用いたマーケティングシステムは、請求項１に記載の撮影手段が、レジカウンター前の領域又は自動販売機前の領域を撮影するものであり、
前記関連データが、レジ又は自動販売機から取得された前記被撮影人物の購入データであり、
前記バインドデータ保存手段が、前記被撮影人物属性情報の撮影された日時データと略同時刻の前記購入データと前記被撮影人物属性情報とをバインドして前記記録手段に保存することを特徴とするものである。

請求項３に記載された発明に係るカメラを用いたマーケティングシステムは、請求項１又は２に記載の撮影手段が、撮影された前記被撮影人物に見つけられ難いように偽装されたものであることを特徴とするものである。

請求項４に記載された発明に係るカメラを用いたマーケティングシステムは、請求項１～３の何れか１項に記載の人物特定手段と、前記属性取得手段と、前記属性情報抽出手段と、前記バインドデータ保存手段とが、前記撮影手段に有線又は無線のデータ通信回線経由で接続されたパーソナルコンピュータ内に備えられ、
前記パーソナルコンピュータが、アクセラレータを備えたものであることを特徴とするものである。

本発明は、レジカウンター前の領域、自動販売機前の領域等で撮影された商品購入者等の被撮影人物の顔画像自体を保存することがなく、撮影と同時に被撮影人物の属性情報を推定し、推定された属性情報と被撮影人物に関連する関連データとをバインドして記録手段に保存することができ、高度の利用を図るマーケティングシステムを得ることができるという効果がある。

本発明のマーケティングシステムの構成を示す説明図である。 図１の本発明のマーケティングシステムの一実施例の構成を説明する説明図である。 本発明のカメラを用いたマーケティングシステムの一実施例のフローチャートである。 被撮影人物の顔画像の３次元ベクトルの回転の種類を示す説明図である。

本発明においては、特定の領域内を撮影する撮影手段と、撮影手段で撮影された画像領域内の被撮影人物を検出して該被撮影人物の顔を検出する人物特定手段と、人物特定手段で特定された被撮影人物の少なくとも顔を含む画像から抽出される特徴量から性別、年齢を始めとする属性データを推定する属性取得手段と、属性取得手段で推定された被撮影人物の属性データに特定の領域内の被撮影人物の撮影された日時データを追加して被撮影人物属性情報として抽出する属性情報抽出手段と、被撮影人物に関連する関連データを取得する関連データ取得手段と、被撮影人物属性情報と関連データ取得手段で取得した関連データとをバインドして記録手段に保存するバインドデータ保存手段とを備える。

これら各手段を備えたシステムにおいて、人物特定手段で特定された被撮影人物の顔画像は保存されず、バインドデータ保存手段で被撮影人物属性情報と関連データ取得手段で取得した関連データとが記録手段に保存されるものである。

これにより、レジカウンター前の領域、自動販売機や自動券売機前の領域で撮影された商品購入者等の被撮影人物の顔の画像自体や特徴量を保存することがなく、被撮影人物の撮影と同時に被撮影人物の属性情報を推定し、推定された属性情報と被撮影人物に関連する関連データとをバインドして記録手段に保存することにより、商品購入者の購入商品や商品検索者等をバインド情報の一つとして関連付けることができる。

本発明の撮影手段としては、特定の領域内を撮影するものであればよい。より具体的には、レジカウンター前の領域、自動券売機や店内コーヒーサーバ等の自動販売機前の領域、予め定められた商品棚前の領域等の商業施設内の一角に配置された予め定められた商品棚前の領域等の特定の領域を撮影するものであればよい。より好ましくは、撮影された購入者や来訪者等の被撮影人物に見つけられ難いように偽装されたものである。

即ち、本発明において撮影された被撮影人物の顔画像については、記録されずに廃棄されることにより、肖像権やプライバシーが保護される。このため、カメラの存在が判る場合には、被撮影人物には不要な疑問を生じさせることがあり、店舗運営者には説明を行わざるを得ない状況になる可能性もあるため、偽装されるものが好ましい。

例えば、撮影手段としてのカメラの受像部であるレンズ径等を小さくして購入者や来訪者に認知し難くする。更に、ＬＥＤパネルの表示板やパネルの枠体に小さな孔を開け、その孔越しにカメラの受像部を配置することにより、受像部をＬＥＤパネルの表示板やパネルの枠体に紛れ込ませる等の偽装を施せばよい。

また、他の偽装としては、カメラの受像部であるレンズ部分にミラーガラスやアクリルスモーク等で覆うことにより、被撮影人物から見え難くなる。尚、その際、明るさの違う複数の写真を合成する等のカメラのＨＤＲ（High Dynamic Range（ハイダイナミックレンジ））機能を使うことで、より広い明るさの幅（ダイナミックレンジ）を表現できる。

本発明の人物特定手段としては、撮影された画像から顔の特徴量を検出して被撮影人物の顔を検出するものであればよい。具体的には、撮影された画像については、１つの静止画から被撮影人物及びその人物の顔の特徴量を検出するのではなく、撮影された画像において、先ず動きのある領域を特定して被撮影人物であるか否かを判別することも可能である。

次に、動きのある領域内で判別された被撮影人物について、特徴点によって人物であることを検出し、その人物の顔に相当する部位に顔と推定される顔輪郭を検出する。顔輪郭の検出としては、顔輪郭内に配置される両目、その両目の上方の各々上方に配置される眉、両目の間の下方に配置される鼻、及び、その鼻の下方に配置される口と推察される部分の全て又は一部が人として配置可能な領域内に配置された領域を顔として特定するものであればよい。

顔として捉えると即刻推定を始めることとなる。即ち、推定された顔輪郭の顔の特徴量から属性取得手段によって、性別、年齢を始めとする属性データを推定する。尚、例えば、動作が連続する被撮影人物の画像から顔の画像を立体的にして認識させる等の工夫を行うことにより、属性取得手段の属性情報の推定の認識率が高まる。

また、属性取得手段は被撮影人物の少なくとも顔を含む画像から抽出される特徴から性別、年齢を始めとする属性データを推定するのであるが、顔だけでなく、髪型や顔から下の身体の肉付きや衣服等から性別、年齢を推定の補助を行ってもよい。尚、髪型や顔から下の身体の肉付き等の画像が肖像権やプライバシーを侵害する虞のある場合には、これらの画像についても記録保存を行わず、廃棄するようにする。

また、撮影された画像に複数の人物が映り込んでいる場合には、撮影手段としてのカメラに最も近い人物を対象の被撮影人物として検出すればよい。例えば、オートフォーカス機能を備えたカメラであれば多数の人物までの距離が最も近い人物を対象の被撮影人物として選択してもよいし、撮影された画像の複数の人物に対して、画像中の顔輪郭の最も広い面積を有する人物を対象の被撮影人物として選択してもよい。

本発明の属性取得手段としては、前述の人物特定手段で検出された人の顔からその被撮影人物の性別、年齢を始めとする属性情報を推定してこれを記録手段に保存するものであればよい。例えば、予め男女別に幅広い年齢層の個人顔特徴情報を作製し、これらの情報との類似度を求めることで、年齢・性別の判別を行う機能を用いたり、予め作製した男女の顔の加齢化モデルを用いることで可能となる。

特に、本発明の属性取得手段としては、被撮影人物の顔に対して正対に近い状態の画像を捉えることにより、認識率を向上させることができる。即ち、連続する動作から被撮影人物の動きに伴ってその顔の角度が変化する。例えば、顔の輪郭に対して、目の高さ位置が輪郭の中心部分に近づいていれば年齢が若く判断される。これは、多くの場合の予め作製された個人顔特徴情報が正対した顔で教育されるからである。

これら顔の角度が変化するため、正確でないデータが多数蓄積され、これら正確でないデータが正確なデータを隠すバグとなる可能性がある。そのため、本発明の好ましい属性取得手段で推定された属性データとしては、人物特定手段で特定された前記被撮影人物の顔の３次元ベクトルの回転の各々が正対に対して予め許与された角度範囲内の画像から抽出される特徴量から推定されたものである。

詳しくは、被撮影人物の顔の３次元ベクトルの回転としては、正対した顔画像の前後のＸ軸で回転したものがロール角度であり、正対した顔画像の左右のＹ軸で回転したものがピッチ角度であり、正対した顔画像の上下のＺ軸で回転したものがヨー角度となる。これらロール角度、ピッチ角度、ヨー角度の各々について、許容された角度範囲外の画像を採用しないようにすれば良い。

即ち、許容された角度範囲外の画像を廃棄して属性取得手段で用いないことや、許容された角度範囲外の画像の属性取得手段で推定された属性データを廃棄すること等で予め許与された角度範囲内の画像から抽出される特徴量から性別、年齢を始めとする属性データを推定し、後続する属性情報抽出手段で被撮影人物属性情報を抽出し、バインドデータ保存手段で被撮影人物属性情報と関連データ取得手段で取得した関連データとをバインドして記録手段に保存すれば良い。

具体的には、被撮影人物の顔画像が認識された場合には、画像から顔、両目、鼻、口、眉等の特徴点を検出する。この際に、両目と鼻との位置関係から被撮影人物の正対を０°として、この正対に対して、ロール角度、ピッチ角度、ヨー角度の各々の角度を算出し、許容範囲の内外かを判別すればよい。

より具体的な予め許与された角度範囲内の画像としては、撮影手段としてのカメラの解像度や設置される照明等により、正対した顔画像を０°として、ロール角度、ピッチ角度、ヨー角度の何れについて最適な角度を設定すればよく、後述する実施例では、ロール角度、ピッチ角度、ヨー角度の各々で±９°で運用している状況である。

また、連続する動作から顔の画像を立体的にして認識させることで、属性情報の推定が高まる。例えば、顔全体に対する両目、鼻、口等の高さ位置が明確化するため、年齢・性別の判別が高まる。

本発明の好ましい属性取得手段としては、人工知能（ＡＩ）で被撮影人物の性別、年齢を始めとする属性情報を推定する。特に、深層学習（ディープラーニング）を行わせることにより、属性取得データの認識の正確性を高めることができる。尚、属性取得手段で推定する属性情報としては、年齢・性別以外にも、人種のデータを追加してもよい。例えば、人種分類モデルを用いて、白人、黒人、アジア、インド、その他の人種の５つに分けて、推定させてもよい。

本発明の属性情報抽出手段としては、属性取得手段で推定された被撮影人物の属性データに特定の領域内の被撮影人物の撮影された日時データを追加して被撮影人物属性情報として抽出するものであればよい。即ち、属性取得手段で推定された性別、年齢を始めとする属性データに撮影された日時データを追加すればよい。

関連データ取得手段としては、被撮影人物に関連する関連データを取得するものであればよい。関連データとしては、特定の領域内としてのレジカウンターや商品購入データや、自動販売機や自動券売機の購入データ等を指す。

本発明の関連データとしては、被撮影人物に関連するものであればよい。例えば、撮影手段としてのカメラが設置された店舗における被撮影人物の購入データ、被撮影人物の視線データ又は商品棚からの取得動作から推定された商品情報等が挙げられる。また、店舗が、ラーメンやコーヒー等の食品を提供する店舗であれば、設置された店舗の内外の気温や天候等も関連データとしてバインドさせてもよい。

即ち、レジカウンター前で検出され、属性情報を推定された商品購入者については、商品の購入データが関連データとなる。この場合には、レジ前カウンターで検出された商品購入者の検出日時のデータと、該当するレジでの商品の購入データの入力日時のデータとを照会しつつ記録手段に記録すればよい。

尚、自動販売機の購入データについては、既存の自動販売機で購入データがデータ通信回線で得られないものであれば、購入者が自動販売機の押しボタン操作状況の画像を得ることのできる位置にカメラを配置し、カメラの画像から購入者の動作で購入した商品の購入データとして記録手段に記録すればよい。これにより、既存の自動販売機であっても活用することができる。

また、商業施設内の一角に配置された予め定められた商品棚前の領域で検出され、属性情報を推定された来訪者については、来訪者の視線データ又は商品棚からの取得動作から推定された商品情報が関連データとなる。この場合でも、商品棚前の領域に侵入した来訪者の検出日時のデータと、この来訪者の視線データ又は商品棚からの取得動作から推定された商品情報とを合わせて記録手段に記録すればよい。

更に別の好ましい態様としては、関連データが、被撮影人物の視線データ又は商品棚からの取得動作から推定された商品情報であり、バインドデータ保存手段が、被撮影人物属性情報の撮影日時データと略同時刻の商品情報と被撮影人物属性情報とをバインドして前記記録手段に保存するものが挙げられる。

本発明のバインドデータ保存手段としては、被撮影人物属性情報と被撮影人物に関連する関連データとをバインドして記録手段に保存するものであればよい。好ましい態様としては、このバインドされる関連データとしては、被撮影人物の購入データであり、バインドデータ保存手段が、被撮影人物属性情報の撮影日時データと略同時刻の購入データと被撮影人物属性情報とをバインドして記録手段に保存するものが挙げられる。

尚、略同時刻としては、好ましくは２～５秒程度隔たった時間でも同時刻としてバインドするように調整する。この場合、バインドする被撮影人物属性情報と被撮影人物に関連する関連データについては、２～５秒程度経った時間でも同時刻としてバインドするように調整したが、状況に応じて２～５秒以外にも調整可能とし、設定時間を調整して好ましい時間を選択すればよい。

属性取得手段で推定された属性情報を記録手段に保存した後は、人物特定手段で特定された被撮影人物の顔画像は廃棄される。即ち、保存されるデータとしては画像データではなく、この属性取得手段で得られた属性情報であるため、肖像権やプライバシーが保護されることとなる。

この属性取得手段としては、属性情報のみだけではなく、プライバシーを侵害しない範囲での顔特徴量情報や頭髪色を含めた頭髪スタイル等も加えてもよい。また、この顔特徴量情報や頭髪色を含めた頭髪スタイル等についても後述する関連データの一つとしてもよい。

本発明のバインドデータ保存手段としては、人物特定手段で特定された被撮影人物の属性情報の他の関連データを取得してこれを前記記録手段に保存するものであればよい。例えば、個々の被撮影人物については、特定される毎に任意の番号を付与し、属性情報を関連づける。以降、この任意の番号に更に関連データを付与させて記録手段に保存することにより、他の特定された被撮影人物と明確に区別することが可能となる。

本発明の人物特定手段と、属性取得手段と、属性情報抽出手段と、バインドデータ保存手段とについては、撮影手段の近傍に配置されたパーソナルコンピュータ（以下、「ＰＣ」とも記す）及びこのＰＣに付属して設置され、少なくとも被撮影人物の画像データの伝達がインターネット回線を用いて行わないシステムでの運用が求められる。インターネット回線を介するデータの伝達を行う場合には、被撮影人物の肖像権やプライバシーの保護が難しくなると考えるからである。

そのため、撮影手段からの画像は、ワールドワイドのインターネット回線を用いず、第三者から隔離された状態で、被撮影人物の肖像権やプライバシーが保護されているのであれば、所謂「スタンドアローン」状態でのＬＡＮ(Local Area Network)、Wi-Fi（登録商標）、Bluetooth（登録商標）等の有線又は無線でのデータ通信回線経由で接続された制御装置等で行ってもよい。

好ましい態様としてのＰＣとしては、人物特定手段と、前記属性取得手段と、属性情報抽出手段とをＰＣ内部に備え、撮影手段としてのカメラに有線又は無線のデータ通信回線経由で接続されたものであればよく、また、バインドデータ保存手段をＰＣ内部又は外部の他のＰＣに備えてもよい。

バインドデータ保存手段で購入データと前記被撮影人物属性情報とをバインドしたデータを保存する記録手段は、ＰＣ内部又は外部に接続されればよく、インターネット回線を介した１つ以上のサーバー内に保存することも可能である。

このＰＣとしては、特に、深層学習（ディープラーニング）を行わせる場合には、高い処理能力のＣＰＵを備えたＰＣを用いることが推奨されるが、より小型のＰＣと、カメラと、記憶装置とで構成する場合には、高い処理能力のＣＰＵを搭載することは難しくなる。その場合には、多数のセルで並列計算処理を行って高速処理を支援するＧＰＵ（Graphics Processing Unit）等の深層学習（ディープラーニング）用アクセラレータを搭載したＰＣを用いることにより、画像処理速度が高まり、高い正確率を得ることができる。

また、他の好ましい態様としては、撮影手段の近傍に配置されたＰＣ内に撮影手段で撮影された画像から被撮影人物属性情報を抽出し、バインドデータ保存手段と、被撮影人物に関連する関連データと、記録手段とが、インターネット経由で連絡された１つ以上のサーバー内に配置されているものが挙げられる。

このシステムでは、例えば、支店を多数有するチェーン店での総合的なマーケティングシステムを構築することができる。撮影手段の近傍に配置された個々の支店に人物特定手段と、属性取得手段と、属性情報抽出手段と、バインドデータ保存手段とを備えたＰＣをＰは位置し、人物特定手段で画像領域内の被撮影人物を検出して該被撮影人物の顔を検出し、同じ制御装置の属性取得手段で被撮影人物の特徴点及び／又は被撮影人物の顔の特徴点から性別、年齢を始めとする属性データを推定する。

次に、同じ支店の自動券売機の食券購入データを同じＰＣ内の属性情報抽出手段で被撮影人物の属性データとして、被撮影人物の撮影された日時データを自動券売機の前に立った状態の時刻として、これと合致する食券購入データとをバインドして追加して被撮影人物属性情報として抽出される。

引き続き、バインドデータ保存手段で、被撮影人物属性情報と同じく本部に接続された自動券売機の販売データの略同時刻の販売データを関連データとしてバインドしてインターネット回線経由で本部の制御装置に接続された記録手段に保存されるが、人物特定手段で特定された被撮影人物の顔画像は支店のみのＰＣに接続されて人物特定手段及び属性取得手段で利用されるが、保存されない。

尚、各支店の自動券売機の食券購入データを属性データとするのであるが、自動券売機自体がデータを排出できない場合には、被撮影人物の自動券売機の前に立った状態での押しボタンの画像を利用することも可能である。この場合、各支店に配置されたＰＣで購入客がどのボタンを押したかを認識させてもよく、押しボタンの画像のみを本社に送達して解析してもよい。

また、バインドされる被撮影人物に関連する関連データについては、インターネット等のデータ通信回線経由で提供されるクラウド・コンピューティング内や、データ通信回線経由で接続された予め定められたサーバー等で保存されたものを用いてもよい。更に、バインドデータ保存手段で保存される記録手段としても、インターネット等のデータ通信回線経由で提供されるクラウド・コンピューティング内の記録手段に保存しても、インターネット等のデータ通信回線経由で接続された予め定められたサーバー等の記録手段に保存してもよい。

また、本発明のバインドされる関連データとしては、撮影手段が設置される特定の領域での被撮影人物の属性データにバインドされた場合に有効な情報が形成されるものであればよい。例えば、撮影手段が、レジカウンター前の領域又は自動販売機前の領域を撮影するものである場合には、関連データは被撮影人物がレジや自動販売機で購入した商品の購入データが挙げられる。これにより、バインドデータ保存手段としては、被撮影人物属性情報の撮影された日時データと略同時刻の前記購入データと前記被撮影人物属性情報とをバインドして前記記録手段に保存する。

また、撮影手段が、商業施設内の一角に配置された予め定められた商品棚前の領域を撮影するものである場合には、関連データは被撮影人物の視線データ又は商品棚からの取得動作から推定された商品情報が挙げられる。これにより、バインドデータ保存手段としては、被撮影人物属性情報の撮影された日時データと略同時刻の前記商品情報と被撮影人物属性情報とをバインドして記録手段に保存する。その他にも、商業施設の周囲の気温や湿度等の天候状況も関連データとして追加してバインドしてもよい。

図１は本発明のマーケティングシステムの構成を示す説明図である。図２は図１の本発明のマーケティングシステムの一実施例の構成を説明する説明図である。図３は本発明のカメラを用いたマーケティングシステムの一実施例のフローチャートである。図４は被撮影人物の顔画像の３次元ベクトルの回転の種類を示す説明図であり、ａ図は３次元ベクトルの回転を示す斜視図、ｂ図は被撮影人物の正対された顔画像、ｃ図はロール角度を回転させた顔画像、ｄ図はピッチ角度を回転させた顔画像、ｅ図はヨー角度を回転させた顔画像を示す。

図に示す通り、本実施例のマーケティングシステムは、特定の領域としてのレジスター２１前（以下、「レジ前」と記す）を撮影する撮影手段としてのカメラ１１を備える。このカメラ１１については、好ましくは、被撮影人物２０に対して正対するような位置に配置することにより、認識率を向上させることができる。尚、被撮影人物２０に対して正対するカメラ１１の他にも、店舗の天井位置に配置されてレジ前を俯瞰して撮影する俯瞰カメラ１１ａでも撮影してもよい。

カメラ１１で撮影される画像データは、有線で接続された制御装置２６に導入される。制御装置２６では、カメラ１１で撮影される画像データを用いて、画像データ内に撮影された被撮影人物の属性データを推定する。詳しくは、先ず、人物特定手段１２によって、カメラ１１で撮影された画像領域内の被撮影人物２０を検出して該被撮影人物２０の顔を検出する。

次に、属性取得手段１３によって、人物特定手段１２で特定された被撮影人物２０の特徴量及び／又は該被撮影人物の顔の特徴量から性別、年齢を始めとする属性データを推定する。この際、属性取得手段１３による被撮影人物の属性情報の推定については、本実施例では、人工知能（ＡＩ）で被撮影人物の性別、年齢を始めとする属性情報を推定する。即ち、公知の男女別に幅広い年齢層の個人顔特徴情報を一定量以上を作成し、これらの情報との類似度を求めることで、年齢・性別の判別を行う機能を用いたり、公知の男女の顔の加齢化モデルを用いることで可能となる。

次に、属性情報抽出手段１４によって、この属性取得手段１３で推定された被撮影人物２０の属性データにレジ前の領域内の被撮影人物２０の撮影された日時データ１８を追加して被撮影人物属性情報として抽出する。バインドデータ保存手段１５では、得られた被撮影人物属性情報と被撮影人物に関連する関連データ１７とをバインドして記録手段１６に保存する。尚、人物特定手段で特定された被撮影人物の顔画像は保存されず、バインドデータ保存手段で被撮影人物属性情報と関連データ取得手段で取得した関連データとが記録手段に保存される。

本実施例の一つとしては、図２に示す通り、人物特定手段１２と、属性取得手段１３と、属性情報抽出手段１４と、バインドデータ保存手段１５とについては、撮影手段の近傍に配置されたＰＣ２６内に備えたものであり、記録手段１６はこのＰＣ２６に付属して設置されたものである。

このＰＣ２６としては、レジスターの近傍に配置するため、より小型のＰＣ２６が採用されるが、小型である場合には、脆弱なＣＰＵとならざるを得ない。このため、画像描写を行う際に並列計算処理を行って高速処理を支援するアクセラレータ（図示せず）を搭載したＰＣ２６である。搭載されたこのアクセラレータにより、画像処理速度が高まり、高い正確率を得ることができる。

図２及び図３に示す通り、店舗内のレジスター２１前に立った被撮影人物２０に対して正対するカメラ１１については、撮影された被撮影人物２０に見つけられ難いように偽装されている。即ち、カメラ１１の受像部であるレンズ径等を小さくし、被撮影人物２０に正対した位置に配置したパネル２２の表示板やパネル２２の枠体に小さな孔を開け、その孔越しにカメラ１１の受像部を配置することにより、受像部をパネル２２の表示板やパネル２２の枠体に紛れ込ませる等の偽装を施している。

図２に示す実施例では、図３のフローチャートに示す通り、カメラ１１の近傍に配置されたＰＣ２６内の人物特定手段１２によって、カメラ１１で撮影された画像中の動きのある領域内の被撮影人物２０を検出し、更に、被撮影人物２０の顔輪郭を検出する。同じくＰＣ２６内の属性取得手段１３で、特定された被撮影人物の特徴量及び被撮影人物の顔の特徴量から性別、年齢を始めとする属性データを推定する。被撮影人物の特徴量及び被撮影人物の顔の特徴量から推定する際に、アクセラレータによって並行計算処理を行うことにより、高速処理を実現することができる。

属性情報抽出手段１４では、属性取得手段１３で推定された被撮影人物の属性データに特定の領域内の被撮影人物の撮影された日時データ１８を追加して被撮影人物属性情報として抽出する。この際に、被撮影人物の顔の３次元ベクトルの各々の回転角度が正対に対する許容範囲内であるか否かを判断し、許容範囲外のものは、関連データとのバインドが行われる。

一方、バインドデータとしての関連データ１７は、レジスター２１でバーコード等で入力され、日時データ１８を追加してインターネット２４等のデータ通信回線経由で得られた購入商品データ２３について、日時データ１８と該当するレジスター２１によって抽出される。

ＰＣ２６内のバインドデータ保存手段１５としては、被撮影人物属性情報の撮影された日時データと略同時刻の購入データである関連データ１７と被撮影人物属性情報とをバインドしてＰＣ２６に接続された記録手段１６に保存する。

即ち、属性情報抽出手段で抽出された被撮影人物属性情報について、抽出された関連データ１７について、日時データ１８を基準にバインドされる。また、日時データ１８については、商品の購入時間に対して、全く同じ時間の被撮影人物属性情報ではなく、数秒の隔たりがある場合でもバインドするように調整してもよい。尚、時間間隔は使用者が調整可能とする。

前述の通り、本実施例では、この際に、被撮影人物の顔の３次元ベクトルの各々の回転角度が正対に対する許容範囲内であるか否かを判断し、許容範囲外のものは、関連データとのバインドが行われる。これによって、正確でないデータが多数蓄積されることを防ぐことができる。

即ち、図４に示す通り、被撮影人物の顔画像の３次元ベクトルの回転の種類を示す。ａ図に示すとおり、顔画像については、正対した顔画像の前後のＸ軸で回転したものがロール角度であり、正対した顔画像の左右のＹ軸で回転したものがピッチ角度であり、正対した顔画像の上下のＺ軸で回転したものがヨー角度となる。

ｂ図の被撮影人物の正対された顔画像に対して、ｃ図のロール角度が許容された角度範囲外であった場合には、関連データとバインドさせず、ｄ図のピッチ角度が許容された角度範囲外であった場合には、関連データとバインドさせず、同様にｅ図のヨー角度が許容された角度範囲外であった場合には、関連データとバインドさせないように設定すれば良い。

即ち、許容された角度範囲外の画像を廃棄して属性取得手段で用いないことや、許容された角度範囲外の画像の属性取得手段で推定された属性データを廃棄すること等で予め許与された角度範囲内の画像から抽出される特徴量から性別、年齢を始めとする属性データを推定し、後続する属性情報抽出手段で被撮影人物属性情報を抽出し、バインドデータ保存手段で被撮影人物属性情報と関連データ取得手段で取得した関連データとをバインドして記録手段に保存すれば良い。

具体的には、被撮影人物の顔画像が認識された場合には、画像から顔、両目、鼻、口、眉等の特徴点を検出する。この際に、両目と鼻との位置関係から被撮影人物の正対を０°として、この正対に対して、ロール角度、ピッチ角度、ヨー角度の各々の角度を算出し、許容範囲の内外かを判別する。

より具体的な予め許与された角度範囲内の画像としては、撮影手段としてのカメラの解像度や設置される照明等により、正対した顔画像を０°として、ロール角度、ピッチ角度、ヨー角度の何れについて最適な角度を設定すればよい。本実施例では、ロール角度、ピッチ角度、ヨー角度の各々で±９°で運用している。

１１…カメラ（撮影手段）、
１２…人物特定手段（画像領域内の被撮影人物を検出し、被撮影人物の顔を検出）、
１３…属性取得手段、
１４…属性情報抽出手段、
１５…バインドデータ保存手段、
１６…記録手段、
１７…関連データ、
１８…日時データ、
２０…被撮影人物、
２１…レジスター、
２２…パネル、
２３…購入商品データ、
２４…インターネット、
２５…サーバー、
２６…ＰＣ（制御装置）、

Claims (4)

1. 特定の領域内を撮影する撮影手段と、
   前記撮影手段で撮影された画像領域内の被撮影人物を検出して該被撮影人物の顔を検出する人物特定手段と、
   前記人物特定手段で特定された前記被撮影人物の少なくとも顔を含む画像から抽出される特徴量から性別、年齢を始めとする属性データを推定する属性取得手段と、
   前記属性取得手段で推定された被撮影人物の属性データに前記特定の領域内の被撮影人物の撮影された日時データを追加して被撮影人物属性情報として抽出する属性情報抽出手段と、
   前記被撮影人物に関連する関連データを取得する関連データ取得手段と、
   前記被撮影人物属性情報と前記関連データ取得手段で取得した関連データとをバインドして記録手段に保存するバインドデータ保存手段とを備え、
   前記人物特定手段で特定された被撮影人物の顔画像は保存されず、前記バインドデータ保存手段で前記被撮影人物属性情報と前記関連データ取得手段で取得した関連データとが前記記録手段に保存されるものであり、
   前記属性取得手段で推定された属性データが、前記人物特定手段で特定された前記被撮影人物の顔の３次元ベクトルの回転の各々が正対に対して予め許与された角度範囲内の画像から抽出される特徴量から推定されたものであることを特徴とするカメラを用いたマーケティングシステム。
2. 前記撮影手段が、レジカウンター前の領域又は自動販売機前の領域を撮影するものであり、
   前記関連データが、レジ又は自動販売機から取得された前記被撮影人物の購入データであり、
   前記バインドデータ保存手段が、前記被撮影人物属性情報の撮影された日時データと略同時刻の前記購入データと前記被撮影人物属性情報とをバインドして前記記録手段に保存することを特徴とする請求項１に記載のカメラを用いたマーケティングシステム。
3. 前記撮影手段が、撮影された前記被撮影人物に見つけられ難いように偽装されたものであることを特徴とする請求項１又は２に記載のカメラを用いたマーケティングシステム。
4. 前記人物特定手段と、前記属性取得手段と、前記属性情報抽出手段と、前記バインドデータ保存手段とが、前記撮影手段に有線又は無線のデータ通信回線経由で接続されたパーソナルコンピュータ内に備えられ、
   前記パーソナルコンピュータが、アクセラレータを備えたものであることを特徴とする請求項１～３の何れか１項に記載のカメラを用いたマーケティングシステム。

Images