JP2017033401A - 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法 - Google Patents

Abstract

【課題】商品等を購入しなかった顧客の情報が得られない、店舗の店員の観察では購入しなかった顧客の情報の信頼性が低い、カメラから得た顧客の単なる行動からでは顧客が有する関心や要求をより正確に知ることが出来ない、という課題があった。また、単に店頭に設置したカメラやその他の入力情報からでは、展示されている商品等に対してどの程度理解できているか、そしてその情報に基づき購入したいと考えているかどうか確認できないという課題があった。【解決手段】商品を販売する店舗内の商品棚に、商品と隣接して映像や音声を発する装置から商品に関する情報が顧客に提供され、その情報に対して顧客が示す反応をセンサーが入手することによって、顧客が有するその商品に対するより深いデータが得られ、そのデータを複数の店舗で集めることにより、その商品の寿命、次の商品に企画、販売戦略等、広範囲な商品戦略が得られる。【選択図】図１

Description

本発明は、顧客に商品等もしくはサービス（以降、商品等）を提供する店舗の商品棚前通路における顧客の属性（性別や年齢層など）と顧客が提供された商品等に対して下した購入・非購入の判断およびその時の顧客の判断理由や関心事等の顧客情報を、顧客情報収集装置に接続されたカメラ、マイク等の入力機器により入手した顧客の行動情報から推定し、必要に応じてその顧客の行動情報を複数の店舗より収集し、顧客のその商品等に対する関心や購入判断を推定し、その商品等の商品戦略、販売戦略等に生かすための、顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法に関するものである。

店舗において販売する商品等について、商品等の企画からその商品等の販売戦略、そしてブランド戦略を策定する上で、顧客がその商品等に対しどのような理由で購入・非購入を決定するか、そして、例え非購入の場合でもどのような商品等の特徴や仕様に対して興味を示したか等の顧客が有する顧客のその商品等に対する顧客情報は、その商品等を製造・販売する事業者にとって非常に重要な情報である。それは、そのような顧客情報が商品等を事業展開する事業者が市場の動向を知り、現在販売している商品等のより効率的な販売戦略を立案したり、また、次期商品等を企画したりする上で必須な情報であり、さらには、その商品等を販売する事業主のブランドをより高めそしてより強固にするためにも、大変重要な情報である。

従来、このような顧客情報を得るのに、商品等にアンケートを同封しその回答を顧客に求めるのが通例であった。

このアンケートによる顧客情報を入手する方法では、購入した顧客が有する顧客情報を入手することは出来るものの、購入しなかった顧客がなぜ購入しなかったか、という理由等の顧客情報は知ることが困難であった。

また、顧客がアンケートに回答するために、顧客の余計な時間を必要とするため顧客から回答を得る割合が小さくなったり、また、例え回答が得られても、顧客が本当の気持ちをアンケートに回答しない可能性があり、信頼性の高い顧客情報にはなり得なかった。

また、購入しなかった顧客がなぜ購入しないかを知ろうとして、顧客の店舗における行動を販売店の店員が観察して、なぜ顧客がその商品等を購入しないか推定することも行われてきたが、この推定は店員の個性に依存し、信頼性の高い顧客判断関心情報にはなり得なかった。また情報の量を増やすには大勢の人間を動員する必要があり、高額の費用がかかるという問題があった。

近年、これらの要求を満たすために、コンピュータおよび各種入力機器を用いて、店舗に来店した顧客の属性を入手したり、顧客の行動パターンを入手したり、さらに顧客のより詳細な行動を分析して、商品等の被注目度に着目する、等の店舗における顧客の行動データを効率的に入手しようとするいくつかの試みが行われている。

第１の試みは、購入データが直接得られるＰＯＳレジスタのところで、カメラを設置し購入顧客の属性を得て、商品の顧客情報を自動に得ようとする方法である（特許文献１）。

例えば、特許文献１によれば、商品の販売時情報を取得可能なＰＯＳレジスタと、商品購入時の顧客の姿をカメラによって撮影することにより、どのような顧客がその商品を購入したかデータ化する。この際、顧客の属性を判断するのに顧客のプライバーシー侵害にならないような各種処理が撮影された映像に加えられる。このシステムによって、従来人が行っていた、どのような顧客がどのような商品を購入したかという、顧客リストのデータ化には大きな進展が得られた。

しかし、このシステムでは、購入した顧客の属性からなるデータは得ることができるが、購入しなかった顧客に関するデータを得ることが出来ない。例えば、購入しなかった顧客がどの位存在していたか、その理由が何であったかを知ることは出来ない。

また、購入した顧客がどの程度購入決断に迷ったか、またどのような仕様に注目して購入を決めたか、などのより詳細な顧客情報に関するデータは得られない、という課題が存在していた。

次の試みは、商品を販売する店舗内の通路や商品の前の場所における顧客の行動をカメラ等で撮影して、この映像情報から顧客のトラッキングデータを得て、これらのデータから、その商品の店舗における販売促進に活用しようとするものである。（特許文献２）

例えば、特許文献２によれば、商品棚前通路に顧客の行動を撮影するカメラが設置され、商品にはＩＣタグが付され、店舗に設置されたＩＣタグ読取装置が設置されている。これらの機器によって顧客の店舗内における行動、商品棚における行動、商品を携帯しての顧客の移動、に関するデータ収集可能とした。また、商品棚に設置された顧客情報収集から商品の広告を流すことにより販売促進をすることを可能にした。

このシステムは、商品を購入しなかった顧客を把握することが可能となり、従来よりはより詳細な顧客の商品に対する判断情報が得られるようになった。

しかし、より質の高い情報である、顧客がその商品に対してなぜ購入の判断をしたのか、もしくは非購入の判断をしたのか、また、顧客がその商品のどのような仕様や特徴に興味を有したのか、またどのような仕様や特徴が気に入らなかったのか、等のより質の高い顧客情報に関するデータは得られない、という課題が存在していた。

特許第４２３００４９号公報 特開２０１４−５６３５６号公報

解決しようとする課題は、商品等にアンケートを入れる方法では商品等を購入しなかった顧客の情報が得られない、店舗の店員の観察では購入しなかった顧客の情報の信頼性が低い、カメラから得た顧客の単なる行動からでは顧客が有する関心や要求をより正確に知ることが出来ない、というものであった。

また、単に店頭に設置したカメラやその他の入力情報からでは、顧客の通過行為は把握できても、展示されている商品等に対してどの程度理解できているか、そしてその情報に基づき購入したいと考えているかどうか確認できない点である。そして、これらの情報がないと、顧客が求める機能、仕様、価格等、生産業者が商品企画をする上で真に知りたい情報を得ることができなかった。

本発明は、このような課題を解決するためになされたものであり、その目的は、販売店で展示されている顧客の行動を詳細に把握し、この行動から顧客がどのように考えて商品等の購入や非購入の判断をしたか等のより詳細な顧客情報を信頼性高く入手できる装置と方法を提供するものである。

上記課題を解決するために、本発明に係る顧客情報収集装置およびこれを用いた顧客情報収集システムおよび顧客情報収集方法は、以下のものを提供する。

（１） 店舗に設置された商品棚に商品と隣接して設置される顧客情報収集装置において、前記顧客情報収集装置の一部であるＰＣ部分に、顧客に対して提供する商品の情報を作成する商品情報提供部と、商品棚の前の通路を通行中の顧客の人数のカウントをする通行顧客人数カウント部、商品棚の前の通路を通行中の顧客が前記顧客情報収集装置の映像表示部の画面を視認したことを判断する顧客視認判断部と、前期視認した顧客の属性を推定する顧客属性推定部と、前期視認した顧客が前記顧客情報収集装置もしくは顧客情報収集装置に隣接されて設置されている該当商品に近づくことを判断する顧客接近判断部と、接近した顧客が前記設置されている該当商品を手に取ったかを判断する商品接触判断部と、この商品を精算のための場所に持ち運んだかを判断する商品購入判断部、からなるソフトウェアを含み、前記の商品情報提供部から提供される情報を映し出す映像表示部、ＰＣ部分に映像を取り込むカメラ、顧客の手を認識するセンサーを構成要素として含む顧客情報収集装置。

本発明によれば、商品展示前の通路を通行中の顧客の人数、通行中の顧客が通路の横に展示されている商品に関心があるか否か、そして、関心がある顧客がさらに商品の詳細な説明を求めているか否か、そして、この顧客が実際に商品を手にとって実際に商品を確認しているか否か、そして、その商品を購入するために商品棚から持ち運んだか否か、そしてこの顧客の属性である、性別、概略年齢を知ることが出来る。

（２） 前記商品情報提供部が、前記顧客視認判断部の結果、前記顧客属性推定部の結果、前記顧客接近判断部の結果、前記商品接触判断部の結果の少なくともいずれか一つの結果に対応して、提供する内容をインターラクティブに変化させることを特徴とする顧客情報収集装置。

本発明によれば、顧客に対して一律の情報を提供するのではなく、顧客の関心、属性、に合わせて、顧客情報収集から提供する情報をインターラクティブに変えることができ、より詳細に顧客が関心を寄せる情報を収集することが出来る。

（３） 前記商品情報提供部により提供された情報を映し出す映像表示部の画面を顧客が視認したかを判断する顧客視認判断部が、前記カメラによって撮影された映像情報から顧客の顔の特徴点を抽出する特徴点抽出部と、この特徴点の動きからこの顧客が商品の方を向いたかを判断する顧客顔面正対判断部と、を含むことを特徴とする顧客情報収集装置。

本発明によれば、商品展示前の通路を通行中の顧客が通路の横に展示されている商品に関心があるか否かは、カメラに撮影された顧客の映像からコンピュータ処理で特徴点の動きから判断されるため、そのデータには信頼性が高く、かつ、購入しなかった客が全く関心が無かったのか、関心はあるものの購入までには至らなかったのか、という重要な顧客情報を得ることができる。

（４） 前記顧客視認判断部で視認した顧客の抽出された顔の特徴点および顧客の顔の輪郭形状から、顧客の性別、年齢層、を推定する顧客属性推定部を含むことを特徴とする顧客情報収集装置。

本発明によれば、商品展示前の通路を通行中の顧客のうち、商品に関心がある顧客の属性が、カメラに撮影された顧客の映像からコンピュータ処理で特徴点や輪郭形状、等から判断されるため、そのデータには信頼性が高く、かつ、購入判断した顧客、購入しなかった顧客、等の詳細な分類が属性毎に行うことができる。

（５） 前記顧客接近判断部は、前記カメラによって撮影された映像情報から捕捉された顧客の輪郭形状が当初の形状より一定値を超えたことによって顧客が接近したと判断することを特徴とする顧客情報収集装置。

本発明によれば、商品展示前の通路を通行中の顧客が通路の横に展示されている商品にさらに関心があるか否かは、カメラに撮影された顧客の映像の大小から接近具合が判断されるため、そのデータには信頼性が高く、通路で視認したうちのどの位の割合の顧客が商品の方に近づいたかという重要な顧客情報を得ることができる。

（６） 前記顧客情報収集装置は、映像表示部の周辺部にドップラーセンサーを有し、前記顧客接近判断部は、ドップラーセンサーによって検出されるドップラー量が一定値を超えたことによって接近したと判断することを特徴とする顧客情報収集装置。

本発明によれば、商品展示前の通路を通行中の顧客が通路の横に展示されている商品にさらに関心があるか否かは、ドップラーセンサーによってドップラー波照射エリア内に物体（手、腕）が入ってきたことを検出され、顧客が商品に接近したか否か判断されるため、そのデータには信頼性が高く、通路で視認したうちのどの位の割合の顧客が商品の方に近づいたかという重要な顧客情報を得ることができる。

（７） 前記商品接触判断部は、前記映像表示部の周辺部に付属した赤外線センサーにより、この赤外線センサーによって検出される赤外線量が一定の値を超えたときに、この顧客の手と該当する商品が接触したと判断することを特徴とする顧客情報収集装置。

本発明によれば、接近した顧客が前記設置されている該当商品を手に取ったか否かは、映像表示部の画面の周辺部に付属した赤外線センサーにより、この赤外線センサーに近傍に接近する赤外線発生物体からの赤外線量が一定の値を超えたときに、この顧客の手と該当する商品が接触したと判断されるため、そのデータには信頼性が高く、商品の方に近づいた顧客の内、どの位の割合の顧客が商品を手に取ったかという重要な顧客情報を得ることができる。

（８） 前記商品接触判断部は、前記カメラによって撮影された映像情報から捕捉された顧客の手の特徴点を抽出し、この顧客の手と該当する商品が接触したと判断することを特徴とする顧客情報収集装置。

本発明によれば、商品情報提供部に近接されて設置されている商品に接近した顧客が前記設置されている該当商品を手に取ったか否かは、商品と検出された手がカメラによって撮影された映像情報から判断されるため、そのデータには信頼性が高く、商品の方に近づいた顧客の内、どの位の割合の顧客が商品を手に取ったかという重要な顧客情報を得ることができる。

（９） 前記顧客情報収集装置は映像表示部の周辺部にマイクを有し、前記商品接触判断部は、このマイクに顧客が商品を接触した際の音が一定の値を超えたときに、この顧客の手と該当する商品が接触したと判断することを特徴とする顧客情報収集装置。

本発明によれば、接近した顧客が前記設置されている該当商品を手に取ったか否かは、映像表示部の画面の周辺部に付属したマイクにより、顧客が商品を手に取った時の音を収集し、この音量が一定の値を超えたときに、この顧客の手と該当する商品が接触したと判断されるため、そのデータには信頼性が高く、商品の方に近づいた顧客の内、どの位の割合の顧客が商品を手に取ったかという重要な顧客情報を得ることができる。

（１０） 前記顧客情報収集装置は商品棚に置かれた商品の下に設置された圧力をセンシングする圧力シートと接続され、前記商品接触判断部は、この圧力シートが感じる圧力量が一定の値を下回ったときに、この顧客の手と該当する商品が接触したと判断することを特徴とする顧客情報収集装置。

本発明によれば、接近した顧客が前記設置されている該当商品を手に取ったか否かは、商品の下に圧力をセンシングする圧力シートが設置され、この圧力センサーが感じる圧力量が一定の値を下回ったときに、この顧客の手と該当する商品が接触したと判断されるため、そのデータには信頼性が高く、商品の方に近づいた顧客の内、どの位の割合の顧客が商品を手に取ったかという重要な顧客情報を得ることができる。

（１１） 前記商品購入判断部は、顧客の手と商品が接触したと判断した赤外線センサーの値が再度上がることが無かった場合に、該当商品を顧客が購入手続きのためにレジまで持ち運んだと判断することを特徴とする顧客情報収集装置。

本発明によれば、商品を手に取った顧客によって、顧客の手と商品が接触したと判断した赤外線センサーの値が、再度上がることが無かった場合、商品を持った顧客の手が商品棚に近づかなかった、すなわち、商品を棚に返さず購入手続きのためにレジまで持ち運んだと判断される。このため、そのデータには信頼性が高く、商品を手に取った顧客の内、どの位の割合の顧客が商品を購入手続きのためレジに運んだかという重要な顧客情報を得ることができる。

（１２） 前記商品購入判断部は、顧客によって手にとられた商品を前記カメラで撮影し、この商品が画面の外に移動されたことで、該当商品が購入手続きのためにレジまで持ち運んだと判断することを特徴とする顧客情報収集装置。

本発明によれば、商品を手に取った顧客によって、商品を前記カメラで撮影し、この商品が画面の外に移動されたことで、該当商品が購入手続きのためにレジまで持ち運んだと判断されるため、そのデータには信頼性が高く、商品を手に取った顧客の内、どの位の割合の顧客が商品を購入手続きのためレジに運んだかという重要な顧客情報を得ることができる。

（１３） 前記商品購入判断部は、前記商品の下に敷かれた圧力シートが有する圧力センサーが感じる圧力量が一定の値を下回り一定時間内にこの値が戻らなかったときに、この顧客は該当商品が購入手続きのためにレジまで持ち運んだと判断することを特徴とする顧客情報収集装置。

本発明によれば、商品を手にとった顧客が購入手続きのためにその商品をレジまで持ち運んだか否かは、商品の下に設置された圧力シートの圧力センサー商品が戻されて再度上がることが無かった場合、顧客はこの商品を棚から持ち去ってレジに運んだと判断される。このため、そのデータには信頼性が高く、商品を手に取った顧客の内、どの位の割合の顧客がこの商品を購入したかという重要な顧客情報を得ることができる。

（１４） （１）から（１３）のいずれか記載の顧客情報収集装置が複数台店舗に設置され、かつ、複数の店舗に設置され、それぞれがネットワークを介して接続され、すべての店舗の情報の収集分析を行う、顧客情報収集システム。

本発明によれば、顧客情報収集装置が複数の店舗に設置され、それぞれがネットワークを介して接続される。各顧客情報収集装置からは、設置された流通店舗名、店舗の中の位置、隣のゾーンの展示商品、棚の構造、該当商品が置かれている棚の位置、キャンペーン実施の有無、顧客情報収集の画面サイズ、販売員の有無、マネキンの有無、等のデータと合わせて、顧客情報を収集している日時、曜日、天候、等のデータも一緒に収集される。これらのデータの収集分析を行うため、該当商品に関する重要な顧客情報を得ることができる。

（１５） 商品に関するに情報を商品展示前の通路を通行中の顧客に示すステップと、この通行中の顧客の人数をカウントするステップと、顧客情報収集装置に付属する映像表示部の画面もしくは近接されて設置されている該当商品を視認したことを判断するステップと、前記視認した顧客の属性を推定するステップと、前記視認した顧客が前記商品情報収集装置に近接されて設置されている該当商品に近づくことを判断するステップと、該当商品に接近した顧客が該当商品を手に取ったかを判断するステップと、この商品を精算のための場所に持ち運んだかを判断するステップと、を含むことを特徴とする顧客情報収集方法。

本発明によれば、顧客情報収集装置により、商品展示前の通路を通行中の顧客の人数、商品情報提供部の画面を視認した顧客の人数、前期視認した顧客が前記商品情報提供部もしくは前記商品情報提供部に近接されて設置されている該当商品に近づく人数、商品情報提供部に近接されて設置されている商品に接近した顧客が前記設置されている該当商品を手に取に取る人数、この商品を精算のための場所に持ち運んだ購入人数、購入に至るのに要した顧客の該当商品の前での滞留時間、もしくは非購入に至るのに要した顧客の該当商品の前での滞留時間、という重要な顧客情報を得ることができる。

（１６） 前記視認した顧客に対して、映像表示部の画面の内容を、推定した属性に適合した内容の画面に変えて表示するステップを含むことを特徴とする顧客情報収集方法。

本発明によれば、顧客情報収集装置により、視認を判断した顧客に対して、映像表示部の画面の内容を、推定した属性に適合した内容の画面に変えた表示することにより、顧客の関心、判断基準等のより詳細な顧客情報を得ることができる。

（１７） 商品情報提供部に近接されて設置されている商品に接近した顧客に対して、映像表示部の画面の内容を、推定した属性に適合した内容の画面に変えて表示するステップを含むことを特徴とする顧客情報収集方法。

本発明によれば、顧客情報収集装置により、商品情報提供部に近接されて設置されている商品に接近した顧客した顧客に対して、映像表示部の画面の内容を、推定した属性に適合した内容の画面に変えた表示することにより、顧客の関心、判断基準等のより詳細な顧客情報を得ることができる。

（１８） 商品情報提供部に近接されて設置されている商品に接近した顧客に対して、映像表示部の画面の表面に設置されたタッチパネルにより顧客により選択された内容の画面に変えて表示するステップを含むことを特徴とする顧客情報収集方法。

本発明によれば、顧客情報収集装置により、商品情報提供部に近接されて設置されている商品に接近した顧客した顧客に対して、映像表示部の画面の表面に設置されたタッチパネルにより顧客により選択された内容の画面に変えて表示することにより、顧客の関心、判断基準、等のより詳細な顧客情報を得ることができる。

（１９） 顧客情報収集装置により、該当商品を手に取ったかと判断された顧客に対して、映像表示部の画面の内容を異なる内容の画面に変えて表示するステップを含むことを特徴とする顧客情報収集方法。

本発明によれば、顧客情報収集装置により、該当商品を手に取ったと判断された顧客に対して、映像表示部の画面の内容を、推定した属性に適合した内容の画面に変えた表示することにより、顧客の関心、判断基準、等のより詳細な顧客情報を得ることができる。

本発明の顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法は、店舗における顧客のうち該当商品等を購入した顧客のみならず、購入に至らなかった顧客を含めて、それらの顧客がどのような商品等情報に関心を持ち、どのような情報が購入決定に至ったかという、該当商品等を販売する上で重要な情報を信頼性高く得ることが出来る。

より具体的に本発明の効果を説明する。顧客情報収集装置は、映像表示部とスピーカーを有し、かつ顧客に説明するための商品等に関する情報がＰＣ部分の内部にある商品情報提供部にあらかじめ保存されている。そして、顧客が通路を通ると、これらの情報が映像表示部とスピーカーを介して顧客に対して情報提供される。そして、通路を通る顧客は、これらの商品等の情報に関して興味があると、該当商品もしくは情報提供している映像表示部の方を振り返る。この振り返る動作は、顧客の顔の映像を撮影することにより認識される。さらに、この商品に興味を有する顧客は、この商品や映像表示部に接近する。この接近は、カメラの映像から判断される方法、ドップラーセンサーによる方法、がある。さらに興味がある顧客は、商品を手にとってみる。この顧客の動きは、カメラの映像から判断される方法、赤外線センサーによる方法、マイクによる方法、圧力センサーによる方法がある。ここで、この商品の購入を決定した顧客は、この商品を棚に戻さずレジに運ぶ動作をする。この動きは、カメラの映像から判断される方法、赤外線センサーによる方法がある。また、顧客が単に通行しているとき、商品もしくは映像表示部とスピーカーから提供される商品等に関する情報に関心を示して振り向いたとき、顧客が商品に接近してきたとき、顧客が映像表示部に張り付けられたタッチパネルから入力にしたとき、それぞれ提供される内容が商品情報提供部によって変えられる。これらの一連のやりとりおよび顧客の該当商品前の滞留時間によって、購入した顧客がどのような商品等の情報に関心が高く購入を決めたか、また、逆に、購入しなかった顧客どのような商品等の情報に不満足で非購入を決めたか、顧客情報を詳細に収集することができる。

また、カメラで撮影された顧客の顔の特徴点、顔の輪郭から、顧客の性別、概略の年齢、といった顧客の属性が推定される。

これらの商品等を前にして顧客が示した顧客情報データ、属性データ、の情報を店舗の棚に設置された顧客情報収集装置が取得し、この顧客情報収集装置をネットを介して複数店舗間で接続し、すべての情報をサーバーに集める顧客情報システムが形成される。

サーバーに顧客情報を収集する際、上記顧客情報データ、属性データのみならず、天候、曜日、等の外的要因データを加えて、顧客情報収集装置が設置されている流通店舗名、店舗の中の位置、隣のゾーンの展示商品、棚の構造、該当商品が置かれている棚の位置、キャンペーン実施の有無、映像表示部の画面サイズ、販売員の有無、マネキンの有無等のデータがサーバーに集められる。

これらのデータによって、商品等の企画、ブランディング、ターゲッティング、パッケージコンセプト、プライシング、製品の改廃、在庫最適配置等の製品戦略、およびプロモーション企画、販促費の適正化、売り場企画、店舗・店舗ゾーンの評価の見直し等の販売戦略を立案することが可能となる顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法が提供される。

本発明からなる顧客情報収集装置が店舗の通路を通行中の顧客から顧客情報を収集している状況を説明する図で、１１は顧客、１２は顧客情報収集装置、１３は通路、１４は該当商品、１５は他の商品、１６は商品棚、１７はカメラ、１８は赤外線センサー、２２は映像表示部をそれぞれ示す。 本発明からなる顧客情報収集装置１２のハードウェア部の構成を示す図で、２１はＰＣ部、２２は映像表示部、２７はスピーカー、１７はカメラ、１８は赤外線センサー、２６はタッチスクリーン、２８はマイク、をそれぞれ示す。 本発明からなる顧客情報収集装置１２のソフトウェア部の構成を示す図で、これらのソフトウェア部はＰＣ部２１の中にインストールされている。これらのソフトウェア部は、３１は商品情報提供部、３２は通行顧客人数カウント部、３３は顧客視認判断部、３４は顧客属性推定部、３５は顧客接近判断部、３６は商品接触判断部、３７は商品購入判断部、を有する。 本発明からなる顧客情報収集装置１２が、店舗内通路を通る顧客の人数をカウントする部分を説明する図である。１１は顧客、４１は顧客情報収集装置のカメラで捕捉された映像画面を示す。 本発明からなる顧客情報収集装置１２が、店舗内通路を通る顧客のうち、該当商品１４もしくは顧客情報収集装置の映像表示部２２を振り向く顧客を認識する部分を説明する図である。５１は顧客の目の特徴点、５２は顧客の鼻の特徴点、５３は顧客の口の特徴点、５４は顧客の顔の輪郭の特徴点を示す。 本発明からなる顧客情報収集装置１２が、顧客情報収集装置１２の映像表示部２２を振り向く顧客のうち、顧客情報収集装置１２もしくは該当商品１４に近づく顧客を認識する部分を説明する図である。６１は近づいた顧客の目の特徴点、６２は近づいた顧客の鼻の特徴点、６３は近づいた顧客の口の特徴点、６４は近づいた顧客の顔の輪郭の特徴点を示す。 本発明からなる顧客情報収集装置１２が、顧客情報収集装置１２もしくは該当商品１４に近づいた顧客が該当商品１４を手に取ろうとしてところをカメラで捕捉された映像画面である。７１は該当商品１４に伸ばした顧客の手で、１１は顧客、１４は該当商品である。 本発明からなる顧客情報収集装置が、該当商品を手にとってみる顧客のうち、該当商品を購入することを決めた顧客を認識する部分を説明する図である。１１は顧客、１４は該当商品である。 本発明からなる顧客情報収集システムを示す構成図である。９１はネットワーク、９２は各店舗の顧客情報収集装置、９３はサーバーである。 本発明からなる顧客情報収集方法を説明するフローチャートである。 本発明からなる通行顧客人数カウント部３２のフローチャートである。 本発明からなる顧客視認判断部３３および顧客属性推定部３４、顧客接近判断部３５を説明するフローチャートである。 本発明からなる商品接触判断部３６、商品購入判断部３７を説明するフローチャートである。 本発明からなる商品購入判断部３７説明するフローチャートである。 本発明からなる顧客の特徴点抽出および利用部分のフローチャートである。

図１は、本実施例からなる顧客情報収集装置１２が店舗において顧客１１に対して顧客情報を収集している場面を示す概略図である。顧客１１が店舗の通路１３を歩いて通過中である。顧客１１は、該当商品１４、他の商品１５が展示されている商品棚１６の前を通過する。該当商品１４の隣には、本発明からなる顧客情報収集装置１２が設置されている。この装置顧客情報収集装置１２が、通行する顧客１１の該当商品１４についての情報を収集する。

顧客情報収集装置１２はハードウェア部とソフトウェア部からなり、ソフトウェア部はＰＣ部２１の内部の記憶装置に存在する。図２は、本実施例からなる顧客情報収集装置１２のハードウェア部の構成を示す図である。主な構成部分として、処理装置および記録装置を有するＰＣ部２１、映像表示部２２、スピーカー２７、カメラ１７、赤外線センサー１８、タッチスクリーン２６、マイク２８で構成される。

図３は顧客情報収集装置のＰＣ部２１に内蔵される、ソフトウェア部分を示す概略図である。本ソフトウェアは、商品情報提供部３１、通行顧客人数カウント部３２、顧客視認判断部３３、顧客属性推定部３４、顧客接近判断部３５、商品接触判断部３６、商品購入判断部３７、からなるソフトウェア部分を有する。

以下、本実施例からなる顧客情報収集装置１２が販売店の通路を歩く顧客１１から顧客１１が有する該当商品１４に対する情報を収集する手順を説明する。

図１で示すように、店舗の通路１３に顧客１１が通りかかると、商品情報提供部３１なるソフトウェアに従って、該当商品１４の商品情報が顧客情報収集装置１２の映像表示部２２およびスピーカー２７を通じて通路１３を通る顧客１１に対して提供される。顧客が通路を歩いている状態では、該当商品１４が商品棚１６に存在していることをアピールするための情報を流す。この情報には、この商品の特徴を示したり、価格情報、他社商品との比較情報を流したり、顧客が関心を持ちそうな情報が含まれる。

本実施例では、該当商品１４の商品情報が顧客情報収集装置１２の映像表示部２２およびスピーカー２７を通じて通路１３を通る顧客１１に対して提供されたが、映像表示部２２の映像情報もしくはスピーカー２７の音声情報のいずれか一方に限定して提供しても良い。

本実施例では、該当商品が商品棚に存在していることをアピールするための情報として、この商品の特徴を示したり、価格情報、他社商品との比較情報を流したり、顧客が関心をもちそうな情報を流したが、商品棚の構成、商品販売戦略に応じて、この情報の中身は変えることが可能である、特に内容について制限されない。

本実施例では、店舗の通路１３に顧客１１が通りかかると、商品情報提供部３１は該当商品１４の情報提供を開始したが、このタイミングはこれに限定されない。

次に、本実施例になる顧客情報収集装置１２は、通路１３を通過した顧客１１の人数をカウントする。通行顧客人数カウント部を説明する。図４は、通路１３を通行してきた顧客１１が該当商品１４が展示されている商品棚１６の前を通りかかるところを示している。図１１は、この場面で顧客情報収集装置１２の動作を規定するソフトウェアである通行顧客人数カウント部３２のフローチャートである。

図１１を用いて、通行顧客人数カウント部３２の動作を説明する。顧客情報収集装置１２のカメラ１７は、通路に向けて動画を撮影する。撮影されたフレーム映像を取り込み、時系列にフレーム間の差分検出を行う。もし、フレーム映像内に動くものが存在すると差分が発生し、差分が動いた対象物の輪郭を形成する。この実施例では、動くものは顧客１１以外に通常は存在しないので、この輪郭が検出された際に、顧客１１をカメラ１７で取り込む映像内に対象１として設定する。対象１が設定されると、時間計測が開始される。そして、対象Ａがカメラに対して正対しているか否かが判定される。正対判定は、図１２で説明するフローチャートに従って行われる。正対判定で正対していないと判定され、かつ対象Ａがフレーム内に留まらず、フレームの外に出ていったと判断されると、通過と判定され、カウンターが働き、通過人数が積算される。この際、本実施例では、通過時間も記録する。一方、正対判定で正対と判定された顧客、および正対はしないがフレーム内に留まっている顧客の人数と時間もそれぞれ記録される。

上記方法で、正対もせず、通過してしまった顧客は、該当商品１４に全く関心がない顧客と推定される。そして、これらのグループに属する顧客の人数と滞留時間が得られる。一方、カメラのフレーム内に留まっている顧客は、該当商品１４もしくは顧客情報収集装置から提供された商品情報にある程度関心を有していると推定される。そしてこのグループに属する顧客の人数および該当商品前で滞留している時間がそれぞれ記録される。

次に、顧客視認判断部３３を説明する。図５は、通路１３を通行してきた顧客１１が該当商品１４が展示されている商品棚１６の前を通りかかり、該当商品１４もしくは顧客情報収集装置１２の映像表示部２２およびスピーカー２７を通じて提供された商品情報に関心を示し、顧客１１が該当商品１４もしくは顧客情報収集装置１２の方を振り向いた場面を説明する図である。図１２は、この場面で顧客収集装置１２の動作を規定するソフトウェアである顧客視認判断部のフローチャートである。

図１２を用いて、顧客視認判断部３３の動作を説明する。顧客が該当商品に関心があるかどうかの判断は、顧客をカメラ１７で撮影し、撮影されたフレーム映像を再度取り込む。このフレーム映像の中で、顧客の顔の特徴点を抽出する。より詳細に説明すると、顧客１１が該当商品１４もしくは映像表示部２２に表示された商品情報提供部３１から提供された情報に関心をもって、振り向いたことは、カメラ１７によって撮影された顧客の顔のフレーム映像から判断される。まず、再度取り込まれたフレーム映像から、顔の特徴である目、鼻、口の検出を行う。ここで、検出ができない場合は、正対しなかった、すなわち関心が無かったと判断する。

図１５を用いて、顧客の特徴点を抽出しそのデータの利用について説明する。目、鼻、口が検出された場合、これらの目、鼻、口の形状データから顔ベクトルデータ人特徴抽出が行われる。そして、特徴抽出されたデータは人物１としてデータベースに顔ベクトルデータとして登録する。以降、人物1を特徴づける顔ベクトルデータは、その後の行動データとともに記録される。また、顔ベクトルデータは、性別、年齢の判定にも利用される。

顔ベクトルデータ人特徴抽出は、具体的には、目の特徴点５１として目の輪郭、鼻の特徴点５２のとして鼻の輪郭、および口の特徴点５３として口の端部を検出する。これら抽出された特徴点から、目が両目認識され、鼻の位置が顔の中心部に位置し、口全体が捕捉され、これらの特徴点が顔輪郭の中心にあるか否かで、顧客１１の顔が正対したか否かを判断する。正対したとみなされた顧客に対しては正対状態フラグを設定し、正対時間のカウントアップがスタートする。

顧客１１が、正対すなわち該当商品１４に関心を持ったと顧客情報収集装置１２が認識すると、商品情報提供部３１は、提供する情報を該当商品１４のより詳しい情報の提供に切り替える。また、それまで通過した顧客全体の中の視認率を算出して、その視認率に従って、適切な該当商品１４のより詳しい情報の提供に切り替えることも出来る。また、顧客の視認している時間によって、適切な該当商品１４のより詳しい情報の提供に切り替えることも出来る。

振り向いた顧客の顔の特徴点が抽出されたら、顧客属性推定部３４によって顧客の属性が推定される。男性と女性の区別は、髪型、顔の特徴点、服装などからデータベースに従って推定される。年齢は、顔の特徴点、顔の皮膚のしわ、姿勢、などからデータベースに従って推定される。

顧客情報収集装置１２が顧客１１の属性を推定すると、商品情報提供部３１は、提供する情報を顧客の属性に適した該当商品１４のより詳しい情報の提供に切り替える。

次に、顧客接近判断部を説明する。図６は、該当商品１４もしくは顧客情報収集装置１２の商品情報提供部３１から提供された商品情報に関心をもって振り向いた顧客１１が、商品もしくは顧客情報収集装置１２に向かって近づいてくるところをカメラ１７によって撮影した映像である。撮影された近づいた顧客の顔の輪郭の特徴点６４、近づいた顧客の目の特徴点６１、近づいた顧客の鼻の特徴点６２、近づいた顧客の口の特徴点６３を時系列に比較し、これらの特徴点の増大率が求められる。この増大率が一定値を超えたことをもって、商品情報提供部に近接されて設置されている商品に接近したと顧客接近判断部３５によって判断する。

図１２は、この場面で顧客情報収集装置１２の動作を規定するソフトウェアである顧客接近判断部３５のフローチャートである。正対状態フラグが設定された顧客１１に対して、再度フレーム映像を取り込む。この取り込まれた映像の中の顧客の顔の輪郭のほぼ中心に、目、鼻、口があるかを判断する。もしあれば、顧客１１は正対を続けていると判断する。そして、中心にない場合は、正対が終わったと判断する。次に、最初の正対時の目、鼻、口、顔輪郭が同比率で拡大が見られるかを判断する。この判断は、拡大比率が増加もしくは一定値を超えているか否かで行われる。そして、拡大が判断された場合、顧客１１は該当商品１４に興味を示し接近したと判定する。

上述した実施例では、請求項５のカメラによる映像で顧客接近判断が行われたが、請求項６の発明では、ドップラーセンサーを用いて顧客の接近が判断される。商品展示前の通路を通行中の顧客が通路の横に展示されている商品にさらに関心があるか否かは、ドップラーセンサーによってドップラー波照射エリア内に物体（手、腕）が入ってきたことを検出され、顧客が商品に接近したか否か判断されるため、そのデータには信頼性が高く、通路で視認したうちのどの位の割合の顧客が商品の方に近づいたかという重要な顧客情報を得ることができる。

また、本実施例では、情報収集装置１２に設置された赤外線センサー１８によって、感知される顧客が発する赤外線量を測定し、顧客接近を判断する。上記カメラによる顧客の輪郭増大率のデータと、赤外線量のデータを組み合わせて、顧客の接近を判断することも行われる。

顧客情報収集装置１２の顧客接近判断部３５が顧客１１が該当商品もしくは顧客情報収集装置１２に接近したと判断すると、商品情報提供部３１は、提供する情報を該当商品１４のより詳しい情報の提供にインターラクティブに切り替えることが出来る。また、顧客の接近に適合して、スピーカー２７から出る音量を変えることが出来る。

図７に示すように、商品情報提供部に近接されて設置されている商品に接近して来た顧客１１の次の行動として、該当商品１４を手に取り上げる行動がある。この行動の判断は、商品接触判断部に従って行われる。この判断結果は、この顧客１１が購入につながる強い関心を持っていることとして重要な行動を示すデータとなる。具体的には、顧客情報収集装置１２に付属したカメラ１７と赤外線センサー１８の両方もしくは片方のデータを用いて認識される。

本実施例では、赤外線センサー１８に顧客の手から発せられる赤外線を捕捉することによって行われる。この赤外線量が一定値をこえるとこの顧客の手が商品を手に取る位置まで近づいたと判断する。図１３は、この場面で顧客情報収集装置１２の動作を規定するソフトウェアである商品接触判断部３６のフローチャートである。接近が確認された人物１に対して、再度フレーム映像を取り込む。この取り込まれた映像の中に、人物１が検出されるかを確認し、検出された場合、赤外線センサーが人物１の手が発する赤外線を感知しているかを調べる。もし、感知されれば、人物１なる顧客１１は該当商品を手に取ったと判断する。

別の実施例では、商品の特徴を予め顧客情報装置に入力しておき、カメラ１７で撮影した顧客の映像情報の中にこの商品が映り込むことで顧客が手にとったと判断する。図８は、カメラ１７で捕捉された映像画面４１のなかで、顧客１１の手の中に、該当商品１４がとらえられている。

別の実施例では、顧客の手から発せられる赤外線量を赤外線センサー１８で測定し、かつ、カメラで撮影した顧客の映像情報の中にこの商品が映り込むことの両方を行い、両方の値から、顧客が手にとったと判断する。

別の実施例では、商品棚の商品の下に圧力センサーを有する圧力シートが敷かれている。この圧力センサーは、このシートの上にある一定以上の重量物が置かれると電気的特性が変わるものである。顧客が顧客情報収集装置に隣接されて設置されている商品に接近した顧客が、商品を手に取ると、圧力センサーは重量が減ったことを感知し、この反応をもって商品接触判断部３６が、商品を顧客が手にとったと判断する。

顧客１１が商品に接近し、もしくは商品を手に取ったタイミングに合わせて、顧客情報収集装置１２の商品情報提供部３１から提供される商品情報を、顧客の属性、顧客の関心に合わせてその内容をインターラクティブに変える。そして、顧客が知りたい情報を、映像表示部２２の表面に張り付けられたタッチスクリーン２６によって選択することが出来る。また、これまでの顧客の行動を学習して、その結果に合わせて提供する商品情報をインターラクティブに変えることが出来る。

図３に示すように、顧客による商品の購入の判断は商品購入判断部３７に従って顧客情報収集装置１２によって行われる。顧客が手に取った商品を購入する場合、この商品を買物籠やカートに乗せたり、そのまま手に取ってレジまで運ぶ。赤外線センサーの測定する顧客から発せられる赤外線の値が商品を手にすることで増加し、商品を持った手が赤外線センサーから遠ざかりこの赤外線量が減少し、そのまま赤外線量が増加しないとき、該当商品が、商品棚に戻らず顧客１１が購入のためレジに運んだと商品購入判断部３７が判断し、購入が判断される。

図１３の下部は、この場面で顧客情報収集装置１２の動作を規定するソフトウェアである商品購入判断部３７のフローチャートである。該当商品１４に接触が確認された人物１に対して、再度フレーム映像を取り込む。このフレーム映像の中に、人物１が検出されない場合。この人物１は手にした該当商品１４を持ち去る、すなわち、購入手続きのためにレジに該当商品１４をもち運び、購入したと判断する。

図１４は次の場面での顧客情報収集装置１２の動作を規定するソフトウェアである商品購入判断部３７の前半部分のフローチャートである。赤外線センサーが再び赤外線を検知した場合、人物１は該当商品１４をもとの商品棚に戻したと推定され、人物１は該当商品１４を購入しなかったと判断される。また、赤外線センサーの代わりにカメラで撮られた映像の中に再び人物１の手が商品棚に伸びたことを捉えた場合、人物１は該当商品１４を購入しなかったと判断される。一方、赤外線センサーが再び赤外線を検知することなく、かつ、人物１の顔の特徴である目、鼻、口が検出されない場合は、人物１は該当商品１４を商品棚に戻すことなく、該当商品をレジまで運んだと推定し、この場合、購入と判断する。

別の実施例では、前記顧客によって手にとられた商品をカメラ１７で撮影し、この商品が画面の外に移動されたことで、該当商品１４が購入手続きのためにレジまで持ち運んだと商品購入判断部３７で判断する。

別の実施例では、顧客による商品の購入の判断は、該当商品１４の下に敷かれた圧力シートを用いて、商品購入判断部３７に従って顧客情報収集装置によって行われる。手に取った商品を顧客が購入する場合、この商品を買物籠やカートに乗せたり、そのまま手に取ってレジまで運ぶ。該当商品１４の下に敷かれた圧力シートが有する圧力センサーが感じる圧力量が一定の値を下回り、一定時間内にこの値が戻らなかったときに、この顧客は該当商品１４が購入手続きのためにレジまで持ち運んだと商品購入判断部３７が判断する。

上記実施例では、顧客の行動を把握するのに、１台のカメラによったが、複数のカメラを用いても良い。また、得られた映像情報を、３次元処理して顧客の行動判断に用いることもできる。

上記実施例では、顧客の商品情報を選択する入力手段タッチスクリーン２６であったが、マイク２８を用いて音声入力によって顧客が選択入力を行ってもよい。

上記実施例では、顧客の行動を把握するのに、カメラ１７、マイク２８、赤外線センサー１８、スピーカー２７、映像表示部２２とＰＣ部２１は一体物であったが、別構成であってもよい。

図９は、本発明になる顧客情報調査システムの一実施例の全体構成を説明する図である。図２で示した各店舗の顧客情報収集装置９２が、ネットワーク９１を通じてサーバー９３に接続している。このサーバー９３は、同一店舗の他の顧客情報収集装置もしくは他の店舗の顧客情報収集装置９２に接続して、設置されたすべての顧客情報収集装置のデータを収集可能となっている。

このようにして得られた異なる店舗のデータごとの該当商品に対する顧客の情報は、必要に応じて、ＰＯＳデータや気候、月日時、曜日ごとに分け、さらに、外的要因データを加えて、これらの商品の企画、ブランディング、ターゲッティング、パッケージコンセプト、プライシング、商品の改廃、在庫最適配置等の商品戦略、およびプロモーション企画、販促費の適正化、売り場企画、店舗・店舗ゾーンの評価の見直し等の販売戦略を立案することが可能となる。

外的要因データとしては、流通店舗名、販売店の販売力、販売店における棚の広さ、流している提供情報、情報提供装置画面のサイズ、販売店内の棚の位置、キャンペーンの有無、紙ポップ等によるマーチャンダイズ状況、販売員の有無、推奨販売の有無などがある。

次に図１０を用いて、本発明の顧客情報収集方法の最適の実施例の動作の各ステップを説明する。

第１のステップは、商品情報提供部３１に基づき、通路に面した商品棚に設置された顧客情報収集装置の映像表示部もしくはスピーカーによって商品情報を提供する。該当商品の説明開始は、顧客が画面内に捕捉したタイミングとあわせてもよく、顧客がある一定以上の数通過する場合は、定型の説明を繰り返してもよい。

ップでは、顧客情報収集装置に付属したカメラで通路を撮影する。通路に通行人が通行し、顧客情報収集装置の前を通行すると、撮影しているカメラの画面に顧客が入り、映像情報を記録する。この記録の時系列での変化から、画面を通った通行人をカウントする。この通行人数は、通行顧客人数カウント部３２に基づき、データとして出力される。

第３のステップでは、映像表示部とスピーカーで行われた該当商品の説明に反応して、通路を通過しようとした顧客が映像表示部もしくは該当商品の方を振り向いたか否かを顧客視認判断部３３によって判断する。顧客が映像表示部もしくは商品の方を振り向いたか否かは、カメラで捕捉されたオブジェクトが一定時間画面内に留まっていた顧客の顔の特徴を識別し、この顔がカメラ方向を向いたか否かを判断する。この処理は、補足したオブジェクトの画像にから、目、鼻、口、顔の輪郭を検出し、その相対位置が正対相当になったかを判断して行う。

映像表示部とスピーカーで行われた該当商品の説明に反応せず、通路を通過した顧客のデータはここで出力される。このステップで、顧客が映像表示部のどの画像に反応して画面内に留まり、顔を向けたのか、もしくはスピーカーのどの音で反応して画面内に留まり、顔を向けたのかを判断する。さらに、このようにして、一定時間画面内に留まっていた顧客、もしくは、顧客の顔がカメラ方向を向いたか顧客を、この商品に関心を示した顧客と判断し、この顧客の反応と、顧客が関心を示した商品説明の内容と合わせて、サーバーに収集される。

第４のステップでは、顧客属性推定部３４により、カメラ１７が該当商品に近づいてきた拡大された顧客の姿を撮影したさい、この顧客の映像から、その特徴抽出がなされ、男女、子供、大人などの属性が判断される。これらの判断は、すでに蓄えられたデータベースとの比較で判断される。ここで、判断の用いられるデータベースは、日本人の全体の特徴をデータベース化した商用のデータベースが用いられるが、自ら構築したものでも良い。

第５のステップでは、顧客接近判断部３５により、行われる。第３のステップで説明に興味を有したと特定された顧客が、さらに通路から商品もしくは端末の方に近づくか否かを判断し、この顧客の接近に合わせて異なるコンテンツを提供する。

通路から商品もしくは端末の方に近づくか否かを判断は、顧客の顔がカメラもしくは商品の方を向いたと認識された顧客の輪郭画像が一定の大きさまで拡大したかで判断する。また、顧客情報収集装置１２に設置された赤外線センサー１８によって、感知される顧客が発する赤外線量を測定し、判断することもできる。上記カメラによる顧客の輪郭増大率のデータと、赤外線量のデータを組み合わせて、顧客の接近を判断することも行われる。

顧客が商品に近づいたと判断した顧客情報収集装置１２は、さらに詳細なコンテンツを映像表示部２２およびスピーカー２７に流す。

第６のステップは顧客接触判断部３６により、第５のステップで顧客情報収集装置１２もしくは該当商品１４に近づいてきた顧客のうち、顧客が商品を手にとるか否かの判断を行う。この判断は、カメラ１７と赤外線センサー１８の両方もしくは片方のデータを用いて認識される。

カメラ１７に撮影された映像からは、商品の特徴を予め顧客情報装置に入力しておき、該当商品が設置された場所から移動したと判断されたことを顧客が手に取ったと判断する。

また、顧客の手から発せられる赤外線量を赤外線センサー１８で測定し、この両が一定値を超えたとき、手にとったと判断することもできる。また、両方の値から、顧客が手にとったと判断することもできる。

顧客１１が商品に接近し、もしくは商品を手に取ったタイミングに合わせて、顧客情報収集装置１２の商品情報提供部に表示される情報をより詳細な情報に変えることができる。そして、顧客が知りたい情報を、表示部表面に張り付けられてタッチセンサーによって選択することが出来る。この際、コンテンツの内容は、あらかじめ決めたコンテンツを流してもよく、また顧客がタッチパネルで示された要望に合わせたコンテンツをインターラクティブに流してもよい。

第７のステップは商品購入判断部３７により、第６のステップで顧客の手に取られた商品が購入されたか否かを判断する。この判断は、カメラで捕捉された手に取られた商品がこのカメラの範囲の外に持ち出されたか否かを測定し、持ち出された場合購入のために顧客が運んだと判断する。また、顧客の手の赤外線を赤外線センサーで測定し、感知の有無で、商品の購入・非購入を判断する方法でもよい。

通常は、この処理のみで購入の判断が行われるが、より情報の精度を高めるために、レジにおけるＰＯＳのデータを入手して、判断してもよい。

第８のステップは、上記判断により、顧客のとった行動が下記の次の行動パターンに分類する。これらの行動パターンへの分類判断は、上記データをすべてサーバーに集め、行われる。
（１） 映像表示部情報やスピーカー情報を取得せず、商品を手にとり、購入手続きを行うために、レジに向かう。（最初から購入を決めていた顧客）
（２） 商品の存在を視認しるも、映像表示部の内容にはまったく関心を示さず商品に近寄ることもなく、そこを立ち去る。（購入の意思が最初からなく、関心もまったくない顧客）
（３） 商品の存在を視認し、映像表示部に示された商品情報を聞き始め、その後、商品を手にとるが、もとの棚に戻し、そこを立ち去る。（購入の意思は最初はないものの、関心はある。しかし、購入判断にはいたらない顧客）
（４） 商品の存在を視認し、映像表示部に示された商品情報を聞き始め、その後、商品を手にとり、購入手続きを行うために、レジに向かう。（購入の意思は最初はないものの、映像表示部に示された商品の説明により購入と決めた顧客）
（５） 商品の存在を視認し、映像表示部に示された商品情報を聞き始め、その後、商品を手にとり、さらに、タッチパネル６に接触し、より詳細な情報を入手し、そしてそのまま購入手続きを行うために、レジに向かう。（購入の意思は最初はないものの、映像表示部に示された商品の詳細な説明、自分が知りたかった情報を積極的に入手し、その後購入を決めた顧客）

本実施例の効果

本実施例による本発明によれば、アンケートを用いる従来の方法による顧客関心情報を、購入しなかった客を含めて情報を得ることが出来る。

本実施例による本発明によれば、アンケートを用いる従来の方法による課題であった、顧客の余計な時間を必要とすることもなく、そのためによる顧客の回答数が少なくなることもなく、顧客がアンケート回答時に本当の気持ちを変えてしまって回答するということのなく、顧客関心情報を得ることが出来る。

本実施例による本発明によれば、顧客の店舗における行動を人間が観察して、店舗の店員がなぜ顧客がその商品等を購入しないか推定する方法での課題である、店員の個性に依存することもなく信頼性の高い顧客判断関心情報が得られ、また情報の量を増やすことも店舗に設置する端末を増やすだけで容易に増加可能であり、大勢の人間を動員する必要もなく、安価な費用で可能となった。

また、商品の販売時情報を取得可能なＰＯＳレジスタと、商品購入時の顧客の姿をカメラによって撮影するシステムでは、購入した顧客の属性からなるデータは得ることができるが、購入しなかった顧客に関するデータを得ることが出来ないという課題があったが、本発明の実施例では、購入しなかった顧客がどの位存在していたか、その理由が何であったか、また、購入した顧客がどの程度購入決断に迷ったか、またどのような仕様に注目して購入を決めたか、などの顧客判断関心情報に関するデータを得ることが出来る。

また、顧客の店舗前や店舗内の商品フィールドにおける行動をカメラ等で撮影して、この映像情報から顧客の滞留時間を含むトラッキングデータを得て、これらのデータから、その商品の店舗における販売促進に活用しようとするシステムでは得られなかった、より質の高い情報である、顧客その商品等に対してなぜ購入判断したのか、もしくは非購入の判断をしたのか、また、顧客がその商品のどのような仕様や特徴に興味を有したのか、またどのような仕様や特徴が気に入らなかったのか、等のより質の高い顧客の判断関心情報を得ることが出来る。

１１ 顧客
１２ 顧客情報収集装置
１３ 通路
１４ 該当商品
１５ 他の商品
１６ 商品棚
１７ カメラ
１８ 赤外線センサー
２１ ＰＣ部（ＰＣ部分）
２２ 映像表示部
２６ タッチスクリーン
２７ スピーカー
２８ マイク
３１ 商品情報提供部
３２ 通行顧客人数カウント部
３３ 顧客視認判断部
３４ 顧客属性推定部
３５ 顧客接近判断部
３６ 商品接触判断部
３７ 商品購入判断部
４１ カメラで捕捉された映像画面
５１ 目の特徴点
５２ 鼻の特徴点
５３ 口の特徴点
５４ 顔の輪郭の特徴点
６１ 近づいた顧客の目の特徴点
６２ 近づいた顧客の鼻の特徴点
６３ 近づいた顧客の口の特徴点
６４ 近づいた顧客の顔の輪郭の特徴点
７１ 商品棚に伸ばした顧客の手
９１ ネットワーク
９２ 各店舗の顧客情報収集装置
９３ サーバー

Claims (19)

1. 店舗に設置された商品棚に商品と隣接して設置される顧客情報収集装置において、前記顧客情報収集装置の一部であるＰＣ部分に、顧客に対して提供する商品の情報を作成する商品情報提供部と、商品棚の前の通路を通行中の顧客の人数のカウントをする通行顧客人数カウント部、商品棚の前の通路を通行中の顧客が前記顧客情報収集装置の映像表示部の画面を視認したことを判断する顧客視認判断部と、前期視認した顧客の属性を推定する顧客属性推定部と、前期視認した顧客が前記顧客情報収集装置もしくは顧客情報収集装置に隣接されて設置されている該当商品に近づくことを判断する顧客接近判断部と、接近した顧客が前記設置されている該当商品を手に取ったかを判断する商品接触判断部と、この商品を精算のための場所に持ち運んだかを判断する商品購入判断部と、からなるソフトウェアを含み、前記商品情報提供部から提供される情報を映し出す映像表示部、ＰＣ部分に映像を取り込むカメラ、顧客の手を認識するセンサーを構成要素として含む顧客情報収集装置。
2. 前記商品情報提供部が、前記顧客視認判断部の結果、前記顧客属性推定部の結果、前記顧客接近判断部の結果、前記商品接触判断部の結果の少なくともいずれか一つの結果に対応して、提供する内容をインターラクティブに変化させることを特徴とする請求項１記載の顧客情報収集装置。
3. 前記商品情報提供部により提供された情報を映し出す映像表示部の画面を顧客が視認したかを判断する顧客視認判断部が、前記カメラによって撮影された映像情報から顧客の顔の特徴点を抽出する特徴点抽出部と、この特徴点の動きからこの顧客が商品の方を向いたかを判断する顧客顔面正対判断部と、を含むことを特徴とする請求項１記載の顧客情報収集装置。
4. 前記顧客視認判断部で視認した顧客の抽出された顔の特徴点および顧客の顔の輪郭形状から、顧客の性別、年齢層を推定する顧客属性推定部を含むことを特徴とする請求項１記載の顧客情報収集装置。
5. 前記顧客接近判断部は、前記カメラによって撮影された映像情報から捕捉された顧客の輪郭形状が当初の形状より一定値を超えたことによって顧客が接近したと判断することを特徴とする請求項１記載の顧客情報収集装置。
6. 前記顧客情報収集装置は映像表示部の周辺部にドップラーセンサーを有し、前記顧客接近判断部は、ドップラーセンサーによって検出されるドップラー量が一定値を超えたことによって接近したと判断することを特徴とする請求項１記載の顧客情報収集装置。
7. 前記商品接触判断部は、前記映像表示部の周辺部に付属した赤外線センサーにより、この赤外線センサーによって検出される赤外線量が一定の値を超えたときに、この顧客の手と該当する商品が接触したと判断することを特徴とする請求項１記載の顧客情報収集装置。
8. 前記商品接触判断部は、前記カメラによって撮影された映像情報から捕捉された顧客の手の特徴点を抽出し、この顧客の手と該当する商品が接触したと判断することを特徴とする請求項１記載の顧客情報収集装置。
9. 前記顧客情報収集装置は映像表示部の周辺部にマイクを有し、前記商品接触判断部は、このマイクに顧客が商品を接触した際の音が一定の値を超えたときに、この顧客の手と該当する商品が接触したと判断することを特徴とする請求項１記載の顧客情報収集装置。
10. 前記顧客情報収集装置は商品棚に置かれた商品の下に設置された圧力をセンシングする圧力シートと接続され、前記商品接触判断部は、この圧力シートが感じる圧力量が一定の値を下回ったときに、この顧客の手と該当する商品が接触したと判断することを特徴とする請求項１記載の顧客情報収集装置。
11. 前記商品購入判断部は、顧客の手と商品が接触したと判断した赤外線センサーの値が再度上がることが無かった場合に、該当商品を顧客が購入手続きのためにレジまで持ち運んだと判断することを特徴とする請求項７記載の顧客情報収集装置。
12. 前記商品購入判断部は、顧客によって手にとられた商品を前記カメラで撮影し、この商品が画面の外に移動されたことで、該当商品が購入手続きのためにレジまで持ち運んだと判断することを特徴とする請求項１記載の顧客情報収集装置。
13. 前記商品購入判断部は、前記商品の下に敷かれた圧力シートが有する圧力センサーが感じる圧力量が一定の値を下回り一定時間内にこの値が戻らなかったときに、この顧客は該当商品が購入手続きのためにレジまで持ち運んだと判断することを特徴とする請求項１０記載の顧客情報収集装置。
14. 請求項１から１３のいずれか記載の請求項１記載の顧客情報収集装置が複数台店舗に設置され、かつ、複数の店舗に設置され、それぞれがネットワークを介して接続され、すべての店舗の情報の収集分析を行う、顧客情報収集システム。
15. 顧客情報収集装置に付属する映像表示部によって商品に関するに情報を商品展示前の通路を通行中の顧客に示すステップと、この通行中の顧客の人数をカウントするステップと、顧客情報収集装置に付属する映像表示部の画面もしくは近接されて設置されている該当商品を視認したことを判断するステップと、前記視認した顧客の属性を推定するステップと、前記視認した顧客が前記商品情報収集装置に近接されて設置されている該当商品に近づくことを判断するステップと、該当商品に接近した顧客が該当商品を手に取ったかを判断するステップと、この商品を精算のための場所に持ち運んだかを判断するステップと、を含むことを特徴とする顧客情報収集方法。
16. 前記視認した顧客に対して、映像表示部の画面の内容を前記推定した属性に適合した内容の画面に変えて表示するステップを含むことを特徴とする請求項１５記載の顧客情報収集方法。
17. 前記接近した顧客に対して、映像表示部の画面の内容を前記推定した属性に適合した内容の画面に変えて表示するステップを含むことを特徴とする請求項１５記載の顧客情報収集方法。
18. 前記接近した顧客に対して、映像表示部の画面の表面に設置されたタッチパネルにより顧客により選択された内容の画面に変えて表示するステップを含むことを特徴とする請求項１５記載の顧客情報収集方法。
19. 該当商品を手に取ったと判断された顧客に対して、映像表示部の画面の内容を異なる内容の画面に変えて表示するステップを含むことを特徴とする請求項１５記載の顧客情報収集方法。

Images