JP3800257B2 - 注目情報計測方法及び装置並びにそれを用いた各種システム - Google Patents
注目情報計測方法及び装置並びにそれを用いた各種システム Download PDFInfo
- Publication number
- JP3800257B2 JP3800257B2 JP21909996A JP21909996A JP3800257B2 JP 3800257 B2 JP3800257 B2 JP 3800257B2 JP 21909996 A JP21909996 A JP 21909996A JP 21909996 A JP21909996 A JP 21909996A JP 3800257 B2 JP3800257 B2 JP 3800257B2
- Authority
- JP
- Japan
- Prior art keywords
- attention
- person
- data
- measurement range
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Description
【発明の属する技術分野】
本発明は、ある領域を通過した人の中で、陳列している商品等の注目対象に対して注目した人間を検出したり、注目の度合いを求めることのできる注目情報計測方法及び装置並びにそれを用いた各種システムに関するものである。
【0002】
【従来の技術】
従来、陳列棚並びにショーケース等におかれた商品や、展示品・広告等に対する注目度や集客力を計測しようとした場合には、その商品等の注目度を求めるエリアを直接または監視カメラを介して間接的に見ることのできる場所に監視員をを配置する。そして、その監視員が上記エリア内を常時監視し、商品の前に立ち止まって見ている人間や、その商品を手に持ってみている人間の有無等を判断し、係る行為を行っている人間がいた場合には、その商品に対して注目していると判断し、注目している人数に1加算するようにしている。
【0003】
また、自動的に注目の有無を計測する方法としては、通路や出入口を通行する人数を計測するためのセンサを設置し、注目対象の商品の前を通行した人数や、施設内の滞在者数を求め、それらの人数が多いと、注目している人も多いと推定する方法がある。
【0004】
【発明が解決しようとする課題】
しかしながら、上記した従来のものでは、次のような問題点があった。すなわち、人手でカウントする方法では継続的な計測が困難である。また、注目している人か否かを判断する際の基準がそれぞれの計測者で統一できないばかりか、同じ計測者でも時間とともに基準が変動することがあり、安定した計測結果が得られない。
【0005】
一方、通行人数や滞在者数によって注目度や集客力に代用する方法では、注目度・集客力を計測した対象の周辺を単に通過しただけの人と、立ち止まって広告に注目したり、商品を手にとったりした人との区別ができず、正確な判断が行えなかった。
【0006】
本発明は、上記した背景に鑑みてなされたもので、その目的とするところは、上記した問題を解決し、陳列棚・ショーケース・展示物・広告等を計測対象(以後、注目対象という)として、その注目対象に注目しているか否かの判断や、注目している度合い(注目度)を求めることを画像処理に基づいて自動的に行うことができ、さらに、左右前後方向の人間の重なりや、日照変動・影等に影響されずに確実に注目した人間を抽出して所定の注目情報を得ることができ、また設置場所の制約の少ない注目情報計測方法及び装置並びにそれを用いた各種システムを提供することにある。さらに、上記したいずれかの目的を達成しつつ、販売管理等に適した情報を得ることのできる注目情報計測方法及び装置並びにそれを用いた各種システムを提供することも目的としている。
【0007】
【課題を解決するための手段】
上記した目的を達成するために、本発明に係る注目情報計測装置では、計測範囲の映像を取り込むための撮像手段と、前記撮像手段により撮像された画像から計測範囲内の人間を抽出する抽出手段と、前記抽出手段により抽出された人間を、前記撮像手段にて異なる時間に撮像された前記計測範囲の画像を用いて追跡する追跡手段と、前記追跡手段により追跡された個々の人間の前記計測範囲内の滞在時間を求める滞在時間計測手段と、その滞在時間計測手段により求めた滞在時間に基づいて前記抽出された人間が計測範囲周辺に注目したのか否かを判定する判定手段を備えて構成した(請求項1)。なお、実施の形態では、滞在時間計測手段と、判定手段がともに判定部7で実現されている。
【0008】
このように、本発明では、第1の実施の形態で説明するように、テレビカメラ等の撮像手段によって計測対象周辺を撮像し、撮像された画像から人間を抽出し、抽出したそれぞれの人間を追跡し、計測範囲周辺での個別の人間の動き(以下、人の動線という)を抽出し、計測範囲内でのそれぞれの人の滞在時間(実施の形態では移動経路も)がわかる構成とした。
【0009】
その結果、滞在時間が長い場合には、その計測範囲内のどこかで立ち止まったり、通常の単に通過する際の移動・歩行速度よりもゆっくりと移動したり、計測範囲内をうろうろしていたと推定でき、その計測範囲内及びまたはその周辺のどこかに注目していたと判定できる。よって、滞在時間に基づいて注目した人間か否かを判別できる。
【0010】
なお、追跡手段により、それぞれの人間が計測範囲内をどのように移動したかを把握することができるため、計測範囲内での移動経路情報を加味することにより、より精度良く注目しているか否かの判定が行え、さらに、より詳細な情報を得ることも可能となる。
【0011】
また、好ましくは、前記抽出した人間が計測範囲周辺に注目したと判定した場合に、その人間が計測エリアに存在している画像を蓄積する画像蓄積手段をさらに備えて構成することである(請求項2)。係る構成にすると、第3の実施の形態で説明するように、常時人が監視していなくても、注目した人間を画像として自動的に蓄積されるので、管理者等がその蓄積されたデータを後で表示してチェックすることで、注目した人間のデータ(年齢層・男女別・服装の傾向等)をより詳しく分析することができるようになる。
【0012】
さらに好ましくは、前記計測範囲を撮像する撮像手段が、光軸を平行にした複数の撮像手段からなり、前記抽出手段が、前記複数の撮像手段により同一のタイミングで得られた複数画像間の対応付けによる空間座標データを利用して人間を抽出するように構成することである(請求項3)。
【0013】
すなわち、第2の実施の形態で説明するように、光軸がほぼ平行な複数の撮像手段(実施の形態では、水平に配置しているが、光軸がほぼ平行であれば、垂直に並べても、さらには斜め方向に並べても良い)を用い、同一のタイミングで同一の測定対象物(人間)を撮像して得られた各画像上での座標は異なる。そして、係る異なりである視差は、撮像面から被撮像物(撮像した測定対象物)までの距離が近いほど大きくなり、視差とレンズの焦点距離・撮像素子の大きさ・撮像体の間隔がわかれば被撮像物までの距離が計算でき、さらに撮像手段の設置高さ・設置角度がわかれば被撮像物の空間座標値(空間座標データ)が求められる。すなわち、1枚の画像上で重なっている場合であっても、空間座標値を求めることにより、それが、本当に同一人物であるか、或いは、たまたま重なって見えるが奥行き方向に離れた別の人物かを容易に分離特定できる。
【0014】
このように、人間の通過人数を計測するに際し、複数の撮像手段で撮像して得られた複数の画像間の対応付けによって得られる空間座標データを利用することにより、
▲1▼照明や日照の変動の影響によって計測精度が低下することが無い;
▲2▼高さがわかるので影の影響を受けて計測精度が低下することが無い;
▲3▼計測範囲を撮像手段の設置位置の真下以外に設定した場合(所定の俯角を持たせる)に、前後左右方向に人間が重なったとしても個々の人間を精度良く分離することができる;
等の効果を得るので、より正確な注目情報を取得することができる。
【0015】
また、前記注目した人間に関する情報を積算し、前記計測範囲周辺に対する注目度を求める手段をさらに備えると、より好ましい(請求項4)。そして、この注目度を求める手段も、実施の形態では、判定部7が実現している。そして、前記注目度としては、例えば前記注目した人間の数の総和により規定したり(請求項5)、前記注目した人間の前記計測範囲内の滞在時間の総和により規定したり(請求項6)、さらには、前記注目した人間の前記計測範囲内における停止した時間の総和により規定する(請求項7)ことができる。これが、第1の実施の形態における図6,図7に対応している。
【0016】
また、抽出された人間の画像から視線方向を判定する視線方向判定手段をさらに備え、前記視線方向判定手段により判定された視線の方向によって、前記抽出された人間が計測範囲周辺のどの方向に注目したのかを判定するようにするとなおよい(請求項8)。その場合に、具体的な前記視線方向判定手段の処理機能としては、例えば与えられた画像データ中に存在する人間の頭部の部分を抽出し、画像認識処理を行って頭の向きを認識することにより顔の方向を特定し、その顔の方向を視線方向とするようにしてもよく(請求項9)、或いは、前記抽出された人間の移動軌跡を取得し、その移動方向を視線方向とするようにしてもよい(請求項10)。係る構成にすると、第4の実施の形態に説明するように、範囲を限定することができ、より詳細な注目度評価が可能になる。
【0017】
一方、抽出・追跡した人間から特定の人間を排除する排除手段をさらに設けるとよい(請求項11)。つまり、係る構成にすると店員,掃除係等の特定人物を注目した人間から除外することができるので、本来の注目度を精度良く測定することができるので好ましい。これが、第5の実施の形態に対応している。
【0018】
また、本発明に係る注目情報計測方法では、計測範囲を撮像し得られた画像からその計測範囲内に存在する人間を抽出し、時系列的に前記計測範囲を撮像して得られた複数の画像を用いて全抽出した人間を追跡し、その追跡した個々の人間が前記計測範囲内に滞在している滞在時間を求め、その滞在時間が、一定の基準より長い時に前記抽出された人間が計測範囲周辺に注目していると判定するようにした(請求項12)。すなわち、本例では、簡単な画像処理により、注目した人間を抽出できる。その結果、所定の注目度情報も精度良く取得できる。
【0019】
一方、本発明に係る注目度解析システムでは、請求項4〜11のいずれかに記載の少なくとも注目度を求めることのできる注目情報計測装置と、その注目情報計測装置から出力される少なくとも注目度のデータを蓄積する蓄積手段と、その蓄積されたデータを解析する解析手段とを備えて構成した(請求項13)。係る構成にすると、第6の実施の形態で詳しく説明しているように、注目度を時間ごとに蓄積していくことで、時間ごとの変化・日々の変化・季節による変化・長期的な傾向等を簡単・正確に把握でき、販売促進・品揃え等を容易に定量的・客観的に評価することができる。
【0020】
また、注目度が変動する要因となる様々なデータの変動要因データを入力する手段をさらに備え、前記変動要因データを、前記注目情報計測装置から出力される注目度とともに前記蓄積手段に蓄積するようにしてもよい(請求項14)。係る構成にすると、第7の実施の形態で説明するように、天候や地域のイベント情報等を入力し、注目度とあわせて蓄積していくことで天候や地域のイベントの注目度への影響を正確に把握することができる。ここで、変動要因データとは、来店する人の数に影響を与えるもので、例えば、温度・湿度・雨量等の天候情報や、祭り・遠足・修学旅行・試験等の地域のイベント情報や、広告を出す等の販促の情報等がある。
【0021】
さらにまた、蓄積・解析されたデータに基づいて注目度の予測を行う注目度予測手段をさらに備えて構成するとより好ましい(請求項15)。係る構成にすると、第8の実施の形態で詳しく説明しているように、注目度(特に注目者数)を予測できることにより、店員・警備員・掃除係等の配置計画、仕入れ等の検討に活用することができ、店舗・ホール等を効率よく運営することができる。
【0022】
また、本発明に係る経営管理システムでは、請求項13〜15に記載の注目度解析システムに、さらに売上げデータを入力する売上げデータ入力手段を備え、前記解析手段で売上げデータと注目度のデータの関連を解析するように構成した(請求項16)。係る構成にすると、第9の実施の形態で説明するように、売上げのデータを例えばPOS等から入力し、注目度と関連付けて検討することで「注目度が高くても売上げが上がらない」、「注目度が少なくても売上げが上がる」というようなデータが客観的に正確かつ短時間で容易に把握することができ、品揃えやレイアウト等の店舗運営に有効活用することができる。
【0023】
さらに本発明に係る経営管理システムでは、請求項13または14に記載の注目度解析システムと、蓄積・解析されたデータに基づいて注目度を予測する注目度予測手段と、売上げデータを入力する売上げデータ入力手段と、予測された入場者数と蓄積された過去の入場者数と売上げデータから売上げを予測する売上予測手段とをさらに備えて構成した(請求項17)。係る構成にすると、第10の実施の形態で説明するように、過去の注目度の変動と売上げの変動、その他の情報(天候・イベント等)から売上げを予測することができ、店舗・ホール等を効率よく運営することができる。
【0024】
また、上記構成に在庫データを入力する在庫データ入力手段と、前記売上予測手段で予測された売上げと在庫データから仕入品目,仕入量の推奨値を決定する仕入支援手段をさらに備えて構成した(請求項18)。係る構成にすると、第11の実施の形態で説明するように、在庫を持つ小売店のような場合には、売上げ予測に在庫データを合わせて活用することで店員・警備員等の配置計画だけではなく、仕入の計画においても自動化もしくは半自動化の後アドバイスを行うシステムとすることができ店舗運営を更に効率よく行うことができる。
【0025】
*用語の定義
ここで、「注目情報」とは、請求項1等に規定するように、判定対象の人間が、ある注目対象に対して「注目しているか否か」の情報と、「注目度」の両者を含む。そして、注目度は、ある注目対象に対してどれくらい注目しているかの度合いを表すもので、請求項5〜7に示すように、注目した人数(注目者数)や総時間等により規定できる。さらに、それらの情報を適宜組み合わせて規定してももちろん良い。
【0026】
【発明の実施の形態】
図1は本発明の第1の実施の形態の構成図を示している。同図に示すように、撮像手段たるテレビカメラ1から出力されるビデオ信号をA/D変換器2を介してバスに接続している。このバスには、テレビカメラ1で撮像した画像データ中に存在する人間を抽出する抽出部5と、連続して与えられる画像データに基づいて、上記抽出部5で抽出した人間を追跡する追跡部6と、抽出した人間が、所定の注目対象を注目しているか否かを判定し、注目している人間の場合にはその注目人数等の注目度を求めることのできる判定部7が接続されている。そして、その判定結果等を出力する出力部8もさらに接続されている。
【0027】
次に各部について説明する。テレビカメラ1は、本例では1個のカメラを用いており、注目対象周辺の人が通行する領域を撮像できるように、天井・壁等に設置して計測範囲の画像を撮像するようにしている。そして、隣接する人間同士を分離しやすくするため、計測範囲の真上にカメラを設置し、その真下を撮像するようにしている。これにより、例えば図2に示すように、撮像して得られた画像は、平面図のようになる。そして、テレビカメラ1で撮像された画像データは、A/D変換器2でディジタル画像データに変換後、抽出部5を構成する画像メモリ5a内に格納される。
【0028】
抽出部5は、撮像した画像データ等を格納する画像メモリ5aと、その画像メモリ5aに格納された画像データ中から、個々の人間の部分を相互に分離し抽出する分離部5cとを備えている。そして、この撮像された画像から人間を抽出する抽出部5の機能としては、例えば図2(A)に示すように人間がいないときの背景画像を基本画像として画像メモリ5aに格納しておく。そして、計測中にはテレビカメラ1で撮像した同図(B)に示すような画像(撮像画像)が、画像メモリ5aに順次格納されてくるので、分離部5cでは、画像メモリ5aに格納された基本画像と撮像画像とを読み出すとともに、両者の差分(背景差分)を求める。これにより例えば同図(C)に示す差分画像を得る。そして、その差が大きい部分を変化領域として抽出し、変化領域の大きさからその領域が一人か複数人かの判定をしてそれぞれの人の位置を決定する。
【0029】
つまり、図示の場合には、P1は、独立しているため一人の人間と判定する。また、P2とP3は重なっているため、1人なのか複数人なのかを判別する必要があるが、本例では、大きさに基づいて判別しているため、図示の例では、2人分の面積があるので、2人(P2,P3)いるとし、それらを分離抽出するようになる。なお、このように面積に基づいて分離するようにしても、その後に追跡部6で追跡処理するため、最後まで形状等を変えずに移動した場合には、結局1人であったと判定し、注目人数に加算する場合に1加算するようにすれば問題がない。そして、個々の人間の位置情報を追跡部6に送るようになっている。
【0030】
次に、追跡部6について説明する。ある時刻T1に撮像した画像データが、図3(A)のようになっている場合に、上記したように抽出部5で個々の人間を分離抽出するので、その抽出した人間P1を含む所定領域Rを設定し、その領域R内の画像データを切り出してモデル画像として登録する。そして、このモデル画像の登録は、すべての人間P2,P3について行う。なお、領域Rの大きさは、撮像された人間の画像上での大きさはある程度わかっているので、係る大きさに合わせて設定する。
【0031】
そして、次の時刻T2に撮像した画像データに対し、探索領域を設定し、その探索領域内を操作してモデル画像と最も違いの少ない領域を時刻T2における移動後の人間の位置として判定する。すなわち、時刻T2の画像データが図3(B)に示すようになっているとすると、時刻T1の時に存在していた位置を含み、人間の移動速度を考慮して比較的大きめに探索領域R′を設定する。そして、その探索領域R′に対して走査し、モデル画像と同一・類似する領域を探索する。この探索の手法としては、モデル画像と探索対象画像との画素ごとの差の絶対値の和を用いることが一般的に行われるが、画素ごとの差の自乗和や、正規化相互相関を用いても同じような結果が得られる。このように探索領域R′を走査することにより、探索時間を短くするとともに、精度の向上が図れる。
【0032】
また、追跡部6の機能としては、上記したものに限らず、例えば、以下に示す手法を採っても良い。すなわち、ある時刻T1に撮像した画像データに基づいて抽出部5で抽出された結果(各人間の存在位置)が、図4(A)中星印で示すようになっており、次の時刻T2における同様の抽出結果が同図(B)中の丸印のようになっている場合に、同図(B)中矢印で示すように、時刻T1の時の各代表値(星印)と対応する(移動先の)時刻T2の時の各代表値(丸印)とを関連付けるようにしている。
【0033】
そして、係る処理を行うための追跡部6の機能としては、前回抽出位置と最も近いものを関連付け、軌跡として抽出する。また前回或いは前回までの追跡結果を用いて移動方向・速度を推定し関連付けの精度向上を図ることも考えられる。そして、サンプリング時間を短く(人間の移動速度に比べて十分早く)することにより、上記のような簡単な処理でもって、誤動作を可及的に抑制できる。
【0034】
そして、一定距離以内で移動前後の関係を見つけられない場合は、計測範囲から退出した・計測範囲に進入してきたと考える。また移動前後の関係を決定するときに時刻T1以前の移動情報(方向・速度)から関係付けを補正することも考えられる。
【0035】
上記した各種の手法により求めた各人間に対する移動軌跡を所定の記憶部に格納するようにする。なお、この移動軌跡に関する記憶するデータとしては、その移動軌跡をすべて記憶するようにしてももちろん良いが、本例では、後述する判定部7における判定機能との関係で、移動軌跡(動線)の始点と終点の座標を記憶保持するようにしている。これにより、記憶容量が削減でき、メモリの使用効率が増すばかりでなく、判定処理も容易に行える。さらに、本例では、内蔵する時計に基づいて、始点と終点のそれぞれの時刻データも関連づけて格納するようにしている。
【0036】
次に、判定部6の機能について説明する。まず、図5を用いて注目判定を説明する。通路と注目対象が同図に示されたような位置関係にある場合に、計測範囲を破線に囲まれた領域と設定し、その中を通行する人間をそれぞれ追跡して抽出した動線と、通過中に一定時間以上同じ位置にいた場合を図中星印で表している。この場合は動線A,Bの人間については注目対象に注目したと考え、動線Cの人間については単に通過しただけと考える。
【0037】
そして、本例では、上記した原理に基づき、判定部7として図6に示すようなフローチャートを実行する機能を設けた。すなわち、まず追跡部6で得られた動線データを取得する(ST1)。この取得する動線データの具体的な内容としては、始点座標とその時刻及び終点座標とその時刻である。
【0038】
次に、始点座標及び終点座標のそれぞれが計測範囲外の領域に存在しているか否かを判断し(ST2)、いずれか一方或いは双方が計測範囲内に存在する場合には、エラーとし、判定対象の動線から除外する。一方、ステップ2の分岐判断でYesとなった場合には、判定対象の動線(人間)となるので、ステップ3に進み、終点座標の時刻と始点座標の時刻との差を求める。つまり、その差が、計測範囲内に存在していた時間tとなる。
【0039】
そして、その時間tが基準時間T以上か否かを判断し、T以上の時には、一定時間以上計測範囲内に滞在したため、その途中で注目対象の前で立ち止まったことがある(図5中星印)と推定できるので、注目した人の動線と認定し、注目人数を1加算する(ST4,5)。すなわち、このステップ5の判断を行うことにより、注目しているか否かの判断を行うことになる。
【0040】
一方、滞在時間tがTに満たない場合には、計測範囲を素通りしただけと考えられるので、通過人数を1加算するようにした(ST6)。なお、ステップ6で、通過人数を求めるようにしたのは、注目した人と注目しなかった人の比率等を求めたりする等の解析を行えるようにするためである。よって、必ずしもステップ6は設ける必要はなく、ステップ4の分岐判断でNoとなったならば、そのまま終了するようにしてももちろん良い。
【0041】
なお、図示したフローチャートでは、人数を加算した後終了となっているが、これは、1つの動線に対する判定処理が終了したことを意味し、実際には抽出される動線データに対し、順次フローチャートに示す処理を実行するようになる。そして、当然のことながら、次の動線に対する判定処理に移行する際に、注目人数等はクリアしない。
【0042】
そして、ステップ5で求めた注目人数が多いほど、注目対象に対する注目度は高いと判定できる。つまり、本例では、注目度の程度を注目人数に置き換えるようにしている。
【0043】
また、判定部7の別の機能としては、図7に示すようなフローチャートを実行するようにしても良い。つまり、図6と図7を比較すると明らかなように、ステップ1〜ステップ4までの処理は同じで、ステップ4の分岐判断でYesになった場合に注目対象に注目している人間であると判断するまでは同じである。そして、本例では、注目していると判定後、その注目度を求める処理が異なる。つまり、ステップ7に示すように、一定時間T以上計測エリア内に滞在した人間の滞在時間の累計t0を求め、その累計(滞在総時間)t0が大きいほど注目度が高いと判断するようにしている。
【0044】
そして、図6,図7のいずれの場合も、本例における判定部7は、注目対象に注目している人間か否かを判定する判定手段と、どれくらい注目しているかの注目度を求める手段の2つの機能を兼用している。
【0045】
また、注目度を求めるに際し、例えば図6,図7を合体させ、例えばステップ7で求めた総時間t0をステップ5で求めた注目人数で割ることにより、1人あたりの注目時間を求めることができ、係る値を注目度とすることもできる。
【0046】
さらにまた、具体的な図示は省略するが、追跡部6において抽出する動線データとして、上記した例では始点と終点に関するものであったが、本発明はこれに限ることはなく、抽出部5で抽出した同一の人間が移動した際の各座標とその時刻を対にしたものを関連づけて記憶保持するようにしてもよい。その場合に、判定部7では、連続した移動軌跡とその各部での時刻データに基づいて、所定の場所に停止している時間が一定以上の場合に注目対象を注目している人間と判定するようにすることもできる。そして、注目度は、その注目した人の人数であったり、停止した時間の総和等により求めることができる。
【0047】
さらに、出力部8は、モニタ,プリンタ等で構成され、上記判定部7で最終的に求めた注目情報(注目人数等の注目度)を出力するようになっている。また、必要に応じて、ビデオカメラ1で撮像した画像や、画像メモリに格納された画像データさらには、移動軌跡等各種の中間処理での画像も表示可能とすることができるようにしている。
【0048】
図8は、本発明に係る注目情報計測方法の実施の形態の一例を示している。本例は、上記した図1に示す装置を用いて実施した例である。まず、1つのテレビカメラを用いて計測範囲を撮像し、画像データを取得する(ST11)。そして、その得られた画像データに基づいて、抽出部5にて画像データ中に存在する人間の部分を抽出するとともに、個々の人間同士の分離を行う(ST12)。
【0049】
次に、撮像して得られた画像から抽出された個々の人間の移動状況を追跡する(ST25)。そして、この追跡処理は、それぞれの人間に対して画像中に出現してからいなくなるまで行われ、始点の座標と終点の座標及びそれらの時刻を関連づけて格納する。この処理が、追跡部6で行われる。
【0050】
判定部7にて、各人間の移動した軌跡の始点と終点の座標及び時刻に基づいて計測範囲に一定の時間以上滞在していたか否かを判断し、滞在している場合には注目対象に注目していると判定する(ST14)。さらに、注目している人間の人数を計数し、その注目対象に対する注目度を求める(ST15)。なお、注目度の算出は、人数の積算に限らず、注目人間の滞在時間の総和などの他、各種の情報に基づいて評価・計測できる。
【0051】
図9は、本発明の第2の実施の形態を示している。本実施の形態では、まず、撮像手段としてのテレビカメラを、図10に示すように2個設けた点で第1の実施の形態と相違する。そして、それら2個のカメラ1a,1bから得られるステレオ画像に基づいて、人間を抽出するようにしたため、抽出部5の構成も第1の実施の形態と相違する。そこで、その相違点のみ詳述すると、以下のようになっている。
【0052】
テレビカメラ1は、実際には図10に示すように、光軸をほぼ平行にした焦点距離fがほぼ同じの2つのカメラ1a,1bを備え、係る両カメラ1a,1bを、陳列棚等の注目対象を含む領域の上方に真下もしくは一定の俯角を持たせて設置する。そして、両カメラ1a,1bは同期信号により同期がとられ、同一のタイミングで計測領域を撮像するようにしている。そして、各カメラ1a,1bで撮像して得られた映像信号が、A/D変換器2,バスを介して抽出部5内の画像メモリ5aに格納されるようになっている。
【0053】
両カメラ1a,1bを水平に並べた(カメラ1aが左側)とした場合に、あるタイミングで両カメラ1a,1bで同一物を撮像したとする。すると、図11に示すように、物体のある頂点P(x,y,z:実空間上での三次元座標(空間座標)位置)は、一方のカメラ1a(L)で撮像した画像上では、座標PL 上に位置し、他方のカメラ1b(R)で撮像した画像上では、座標PR 上に位置する。図から明らかなように、両カメラで撮像した同一物に対する画像上の座標は異なり、係る異なりを視差という。そして、この視差は、撮像面(図中L,Rの位置)から被撮像物の点Pが近いほど大きくなり、視差とレンズの焦点距離・撮像素子の大きさ・撮像体の間隔がわかれば点Pまでの距離が計算でき、さらに撮像体の設置高さ・設置角度がわかれば点Pの空間座標値が求められる。
【0054】
そこで、抽出部5では、画像メモリ5aに格納された2つのカメラ1a,1bで撮像して得られた2枚の画像データに基づいて、画像データ中に存在する各点の空間座標を求めるとともに、求めた各点を個々の人間を構成するもの同士をまとめることにより、人間同士を分離するとともに人間の存在位置を求めるようになっている。
【0055】
特徴点抽出部5bでは、(1)まず、対応付けを行う2枚の画像データに対し、それぞれ所定の特徴量抽出処理を用いて、人間の候補点となる特徴点を抽出する。(2)次いで、2枚の画像データでそれぞれ抽出された特徴点(実際には、その周辺画素を含む画像パターン)同士を比較し、類似するものを同一の場所(図11でいう点P)を撮像したものとして対応付ける。このように、特徴点抽出部5bは、上記した(1)と(2)の2つの処理を行うようになっており、各処理のより具体的な手法としては、以下のようになっている。
【0056】
**特徴点抽出処理
この抽出処理は、例えば、画像中の任意の範囲(4×4画素,8×8画素の局所領域等)でエッジ強度が強い点、背景(あらかじめ記憶されてある通行者がいないときの画像)との違いが大きい点、任意の時間間隔で撮像された複数の画像の差分の大きい点等を抽出する。この抽出方法は、上記した3つをすべて使用する必要がないのはもちろんで、1または複数の任意の特徴量抽出方式を選択して使用すれば良く、また、上記以外の他の方法を用いてももちろん良い。
【0057】
**対応付け処理
対応付けを行う手法としては、一方の画像データを基準とし、他方の画像データ中に対応するものがあるか否かを判断するようにしてる。つまり、一方の画像に着目し、その画像中で前工程で抽出した特徴点を含みその周辺の任意の範囲(特徴点決定のための範囲と同じことが多い)の画像を基準画像として切り出し、他方の画像中で基準画像と最も違いの少ないところを抽出し、そこを対応点とする。そして、係る違いの少ない所を抽出するための手法としては、基準画像と対象画像の差分絶対値の和・差分の自乗和・正規化相互相関等を利用することができる。
【0058】
さらに、本例のように、2つのカメラ1a,1bを水平に並べた場合には、図11に示すように、同一の点Pを撮像して得られる画像上の座標PL ,PR の座標値のうち、カメラの配置方向と直交する縦方向の座標(XL とXR )はほぼ同じになる。よって、基準画像と比較する対応画像のサーチ対象を、基準画像のX座標値と同一あるはその近傍の領域とし、係る範囲について基準画像との比較を行うようにしても良い。係る構成にすると、より正確かつ短時間で対応付けを行うことができる。
【0059】
上記した特徴点抽出・対応付け処理により、検出対象の人間を構成する部分の特徴点抽出及び対応付けが行われるが、人数を計測するためには、最終的に1人の人間について1つの特徴点(存在位置)を抽出・決定する必要がある。そこで、抽出された複数の特徴点は、同一の人間に対してのものか、別の人間に対してのものかを判別する必要がある。係る処理を行うのが、分離部5cである。
【0060】
分離部5cは、2枚の画像間で対応付けされた2つの特徴点の各画像中の座標値等に基づいて、3次元の空間座標を求める。つまり、ステレオ画像による3次元計測により特徴点の3次元座標を求める。
【0061】
そして、カメラ1a,1bに対し奥行き方向(Z方向)と横方向(X方向)を座標軸系とした二次平面上(上方から見た平面図)に、求めた各特徴点をプロットする。この時、人間を抽出することから、高さ方向(Y軸方向)については、分類分けをするとともに、一定の高さ以上のものを抽出するようにした。すなわち、抽出した特徴点のY軸座標が極端に低い物体は人間でない可能性が高いため、Y座標が所定の高さ以上のもに限ることにより、不要な人間でないデータを抽出してしまう可能性を可及的に抑制するようにしている。
【0062】
そして、上記したプロットの一例を示すと、図12のようになる。人間の場合には、頭部が最も高いとともに、平面図で示すと係る頭部は中央に来る。よって、図示するように複数の特徴点がある範囲に纏まって存在するとともに、その一塊の特徴点の中で中央に位置する特徴点の高さが最も高い分類に属することがわかる。なお、本例では、1.5m以上はすべて抽出するようしているが、例えば上限を適宜の値に設定し、それ以上の高さを有する特徴点は、プロットから除外するようにしても良い。
【0063】
次いで、求めた空間座標上の各特徴点に対し、クラスタリング処理を行い、同一の人間に基づいて抽出された特徴点を1つのクラスタとして、他の特徴点と分離し、一纏めとする。つまり、クラスタリングは各データ間の距離を計算し、距離の小さいものから一つのクラスタに統合していき、全てのデータについてそれ以上統合が発生しなくなれば終了し、それぞれのクラスタの位置を人の存在位置とし、そのクラスタの数を計測範囲内に存在する人数とする。
【0064】
各データ間の距離を評価する方法としては、図13のように座標値を採るとすると、
【0065】
【数1】
そして、すでに形成されたクラスタと、判定対象のデータの統合を行う(データをクラスタの仲間に入れる)かどうかを決定する方法は、以下のようにすることができる。すなわち、図14に示すように、すでに存在するあるクラスタ(Pa,Pb,Pc,Pd)と、一つの計測点(Px)との間で前記の距離を算出する際に、予め定めた以下のいずれかの距離を求め、その距離が一定以下の場合には、クラスタに加え、一定より離れている場合に別のクラスタと認定し、判定対象としたクラスタには加えないようにする。
【0066】
【数2】
上記のようにして、一定の基準以下の距離にある特徴点同士を一纏めにしてクラスタリングを行ったなら、その中の代表点を一つ選択し、人間の存在位置座標とする。この代表点の選択方法は、例えばY座標値が最も高い特徴点(頭部部分)を選んだり、複数の特徴点の中の重心や中心の座標値、或いは、1つのクラスタに属する複数の特徴点のうちの任意の一つを選択する等、種々の方式に基づいて代表点を選択すればよい。そして、少なくともその様にして得られた各代表点データを所定のメモリ内に格納するようになっている。
【0067】
なお、上記のようにして各人間の代表位置が抽出されたならば、それを追跡部6に与え、所定の追跡処理を行う。そして、追跡部6での追跡処理は、本例では、すでに個々の人間に分離され、その代表位置がわかっているので、座標同士を比較する図4の方式を採用するとよい。なおまた、上記のように個々の人間の存在位置を抽出するまでが、第1の実施の形態と相違するため、その後の追跡部6及び判定部7の機能は、上記した第1の実施の形態のものと同様に行うことができる。よって、その各部の詳細な説明は省略する。
【0068】
図15は、本発明に係る注目情報計測方法の実施の形態の他の例を示している。本例は、上記した図9に示す第2の実施の形態の装置を用いて実施した例である。まず、同期駆動する2つのカメラを用いて計測範囲を同一タイミングで撮像し、ステレオ画像データを取得する(ST21)。
【0069】
そして、その得られた2枚の画像データに基づいて、抽出部5にて各画素の特徴点の抽出及び抽出した特徴点同士の対応付けを行う(ST22)。さらに、対応付けした2つの画像に存在する特徴点の座標に基づいて、空間座標系での座標値を求め(ST23)、さらに、人間の分離を行う(ST24)。つまり、空間座標系における座標値の近い特徴点同士を同一のクラスタに纏めることにより、個々の人間同士に分離するとともに、個々のクラスタ毎に代表の座標値をつける。そして、このステップ22〜24までの処理を、抽出部5で行う。
【0070】
次に、撮像して得られ、各フレーム毎に上記した空間座標系での特徴点(人間)の位置を求めたものを蓄積し、個々の人間の移動状況を追跡する(ST25)。そして、この追跡処理は、それぞれの人間に対して画像中に出現してからいなくなるまで行われ、始点の座標と終点の座標を対にして格納する。また、この時各座標が得られたときの時刻も関連づけて合わせて格納する。この処理が、追跡部6で行われる。
【0071】
判定部7にて、各人間の移動した軌跡(動線)の始点と終点の座標及び時刻に基づいて計測範囲に一定の時間以上滞在していたか否かを判断し、滞在している場合には注目対象に注目していると判定する(ST26)。さらに、注目している人間の人数を計数し、その注目対象に対する注目度を求める(ST27)。なお、注目度の算出は、人数の積算に限らず、注目人間の滞在時間の総和などの他、各種の情報に基づいて評価・計測できる。
【0072】
本例では、2つのカメラ1a,1bを用いて撮像し取得したステレオ画像に基づいて特徴点の空間座標値を求め、その空間座標値に基づいてクラスタリングして個々の人間に分離するようにしたため、たとえ奥行き方向(Z軸方向)で重なっている人間が存在していても、それらを分離できるので、正確に人間を抽出し、注目情報を得るための各種の判定処理を行うことができる。
【0073】
さらには、ステレオ画像処理を利用しているので日照変動や降雨時の水たまり等の影響を受けにくく、計測範囲から斜め方向にカメラを設置することで天井のない領域に対しても判定ラインを設定することが可能になり、設置条件を緩和することができる。
【0074】
また、上記した実施の形態では、ビデオカメラ1として2個のカメラ1a,1bを用いた例を示したが、本発明はこれに限ることはなく、3個以上のカメラを用いてももちろん良い。すなわち、例えば図16(A)に示すように3個のカメラ1a〜1cを用いた場合には、仮に点線で示すようにカメラ1aの撮像領域内に障害物11があると、対象物Pをカメラ1aで撮像できないので、上記した2個のカメラを用いる方式では、視差を求めることができず、人間を抽出できない。しかし、係る場合であっても、別の2つのカメラ1bと1cで対象物Pを撮像できるので、係る撮像された画像データから視差を求め、空間座標系での座標値を求めることができる。このように、死角が少なくなるので、より正確な計測が行えるようになる。
【0075】
さらには、3つの画像の相関を採ることにより、空間座標値を求めることもできる。また、同図(B)に示すように、例えば任意の2つからなるカメラを複数組(カメラ1aと1b,カメラ1bと1c)選択し、一方のカメラ組(1aと1b)で撮像したステレオ画像に基づいて特徴点P′の空間座標位置を特定するとともに、他方のカメラ組(1bと1c)で撮像したステレオ画像に基づいて特徴点P′を求め、それぞれ求めた2つの座標値に基づいて空間座標値を求めるようにしてももちろん良い。そして、上記したように障害物による死角のみならず、追跡処理中に追跡不能となるおそれがあるが、2組のステレオ画像に基づいて特徴点の空間座標値を求めるようにすると、係る追跡不能となる可能性が可及的に抑制され、より精度の良い計測ができる。また、逆に2組のカメラ対から得られるステレオ画像からともに同一(近い)位置に空間座標値が抽出されたときに本物と判定するようにしても良い。
【0076】
図17は、本発明の第3の実施の形態を示している。本装置が設置されて注目情報を取得する箇所としては、例えば、コンビニエンスストアその他の各種商品を販売する小売店等がある。すると、係る小売店等では、一般に図18に示すように通路9の両側にそれぞれ陳列棚10a,10bが設置され、各陳列棚に別々の商品(商品A,商品B)が陳列されていることが多い(通路9に、両商品A,Bが面している)。従って、上記した第1,第2の実施の形態に基づく注目度計測では、計測範囲に滞在した時間が一定時間の場合に、商品Aまたは商品Bの少なくとも一方に着目したことは検出できるものの、商品Aと商品Bのどちらに注目したのかを弁別することはできない。
【0077】
そこで、本実施の形態では、動線A〜Cのそれぞれの人がどちらの商品に注目したのかを分離して計測することができるようにしている。つまり、図17に示すように、バスに対し、視線方向判定部11を設けており、抽出部5で分離抽出された人間が、どちらの方向を向いているかを判断できるようにしている。これにより、例えば、判定部7における判定処理の際に、商品Aに注目しているか商品Bに注目しているかを弁別し、それぞれを分けて積算処理等することにより、商品A注目度と、商品B注目度を別々に計測できるようになり、計測結果の情報価値を高めることができる。
【0078】
そして、具体的には、視線方向判定部11は、頭部抽出部1aと、視線方向推定部11bとを備えて構成(厳密には、画像メモリ5aも含む)できる。つまり、人間の場合には、頭部部分に着目すると、その後側は髪の毛が存在するため全体的に黒くなり、前側に存在する顔は、後側に比べて全体的に明るくなるとともに、目・口等の特徴がある。そして、顔の向いている方向にある商品を見ていると推定できる。
【0079】
そこで、係る原理に基づき、頭部抽出部11aでは、人間の位置を特定した後、各特徴点の空間座標系のY座標値を取得し、その人間に分類された特徴点データの中でもっとも高い座標を持つあたりを頭部と推定し、例えば一方のカメラで撮像した画像データの頭部に対応する座標の周辺の所定の大きさの領域内に存在する画像データを抽出し、視線方向推定部11bに与えるようになっている。
【0080】
視線方向推定部11bは、与えられた画像データに対し、所定の画像認識処理を行い、処理対象の人間が、カメラの方を向いているか反対側を向いているかを判断する。つまり、全体的に暗い場合には、髪の毛を撮像しており、カメラと反対側を向いていると判定し、処理対象の画像が、全体的に明るいとともに目・口等の特徴が得られる場合には、カメラの方を向いていると判定し、これにより視線方向を推定・決定する。すなわち、図18に示すように、テレビカメラ1にて商品Bが設置された陳列棚10bの後方より、陳列棚10a側を撮像している場合に、カメラの方を向いていると判定した場合には、商品Bを注目しており、カメラと反対側を向いていると判定した場合には商品Aを注目していると推定し、その結果を判定部7に送るようになる。
【0081】
なお、上記した例では、人間を抽出するためのカメラと、人間の視線方向を判定するための画像を得るためのカメラを共通化したが、それらを別々のカメラで行うようにしてももちろん良い。
【0082】
また、そのように画像処理により顔の向きを判定することにより視線方向を決定するのではなく、抽出された動線から移動方向の前方を視線方向と考えて処理を行うようにしてもよい。つまり、一例を示すと、図18に示す動線Cの場合には、その移動軌跡を見ると、陳列棚10a側に近づくように進んでいるので、商品Aを注目していると判定するようになる。なお、その他の構成並びに作用効果は、上記した実施の形態と同様であるので、その詳細な説明を省略する。
【0083】
図19は、本発明の第4の実施の形態を示している。本実施の形態では、上記した第2の実施の形態を基本とし、さらに特定人物の排除機能を設けている。つまり、同図に示すように、バスに対し、排除部15を設けており、抽出部5で分離抽出された人間のうち、所定の条件に合致する場合には、注目している人間と判定せず、注目人数等の注目度に関する値に加えないようにしている。これにより、例えば、店員が商品を陳列棚に置いたり、掃除等をすることにより、一定の時間以上計測範囲に滞在しても、注目していると判定しないことで、真の来客者に基づく注目人数等の注目情報を求めることができ、計測結果の情報価値を高めることができる。
【0084】
そして、具体的には、例えば予め排除対象者には、目印になるものを着用させておき、人間を分離した場合に、その人間が存在する画像領域部分に対して所定の画像認識処理を行い、上記目印を有しているか否かの判断を行い、有している場合には、排除対象者と認定して人数の加算はしないようにする。そして、目印になるものとしては、例えば、特定の色柄の帽子やユニホーム等を選定することができる。
【0085】
そして、係る処理を行うための排除部15として頭部抽出部15aと、排除対象判定部15bを備えている。本例では、例えば排除対象者に対しては、黄色い帽子を着用させておく。係る前提において、頭部抽出部15aでは、人間の位置を特定した後、各特徴点の空間座標系のY座標値を取得し、その人間に分類された特徴点データの中でもっとも高い座標を持つあたりを頭部と推定し、例えば一方のカメラで撮像した画像データの頭部に対応する座標の周辺の所定の大きさの領域内に存在する画像データを抽出し、排除対象判定部15bに与えるようになっている。
【0086】
排除対象判定部15bは、与えられた画像データに対し、所定の画像認識処理を行い、排除対象となる目印がその画像データ(領域)に観測できた場合は排除フラグをONして追跡の結果得られる動線データに付加するようになっている。一例を示すと、目印が黄色い帽子なため、黄色い画素を抽出し、その大きさ・面積・形状等の特徴量を抽出し、目印の基準データと比較することにより、その適否を判定できる。なお、判定処理自体は、従来公知の各種の認識処理を利用できる。
【0087】
そして、本例の処理の一例を示すと図20に示すフローチャートのようになる。つまり、上記した第1の実施の形態と同様の処理を行い、抽出部5で人間の分離を行う(ST31)。次いで、排除部15を動作させ、クラスタリングされた個々の人間を構成する特徴点の空間座標を取得し、目印となる頭部部分の座標を求め、画像メモリ5aにアクセスして頭部周辺の画像データを取得する。そして、目印が存在するか否かを判断することにより、排除対象の人間か否かを判断する(ST32)。
【0088】
そして、排除対象となる目印が検出できない場合には、排除対処の人間ではないので、ステップ34,35を順次実行し注目度判定基準を満たしているか否かを判断する。そして、排除対象でない場合には、ステップ36の分岐判断はNoとなるので、ステップ37に進み注目人数を加算する。
【0089】
一方、ステップ32で排除対象と判定された場合には、排除フラグをONして追跡の結果得られる動線データに付加する(ST33)。そしてそのまま追跡処理及び注目判定処理を行うが、追跡が終了したあと排除フラグがONであればステップ36の分岐判断でYesとなるので、ステップ37はスキップされて注目人数には加算されない。
【0090】
なお、その他の構成並びに作用効果は、上記した第2の実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。また、注目人数計測処理(ST37)に替えて、注目人間の滞在時間など他の注目情報を求めるようにしても良いのはもちろんである。さらには、第1の実施の形態(カメラを1個用いたもの)や、第3の実施の形態(注目商品を特定するもの)に対して本実施の形態のように排除機能を設けても良いのはもちろんである(以下の各実施の形態でも同じ)。
【0091】
なおまた、本例では、追跡及び注目の判定は、排除対象か否かに関係なく行うようにし、最終的に人数を加算する際に排除するようにしたが、本発明はこれに限ることはなく、排除対象の人間とわかった時点で、以後の追跡を行わないようにしてももちろん良い。
【0092】
また、別の方式としては、例えば入退場チェック用のカードリーダーを設置しておき、排除したい人間は通行するときにカードをリーダーに通すようにしてもよい。そして、判定部では、カードが入力された場合には、注目度を満たしていても通過人数に加算しないようにする。なお、カードは非接触式でも同じ効果が得られる。
【0093】
図21は、本発明の第5の実施の形態を示している。そして、図22は本実施の形態のデータの流れを示している。本実施の形態では、図9に示す第2の実施の形態を基本とし、さらにバスに対してハードディスク、ビデオテープ等を用いた画像蓄積部14を接続している。さらに、その画像蓄積部14に蓄積された任意の画像データを呼び出し、画像表示手段たる出力部(モニタ)8に出力表示可能としている。
【0094】
そして、上記した画像蓄積部14に格納するデータは、判定部7の判定結果が、「注目している」場合に、その注目した人間が撮像されている画像データとしている。この時、撮像した画像データ全体を蓄積しても良く、或いは、注目人間の部分を切り出して格納するようにしても良い。
【0095】
係る構成にすることにより、管理者等が蓄積されたデータを表示してチェックすることで、注目対象に注目した人間のデータ(年齢層・男女別・服装の傾向等)をより詳しく分析することが可能となる。しかも、係る注目した人間のデータを店員が継続して逐次監視している必要がなく、自動的に蓄積されるので、効率が良く、しかも、記録し忘れたり、他の仕事をしていて注目していた人間を見落とすおそれもなく、正確なデータを蓄積できる。なお、図24中左側の縦のライン(データの流れ)は、第2の実施の形態と同様であるので、その詳細な説明を省略する(以下、同様)。
【0096】
図23は、本発明の第6の実施の形態を示している。そして、図24は本実施の形態のデータの流れを示している。本実施の形態では、図9に示す第2の実施の形態を基本とし、さらにバスに対してハードディスク、光磁気ディスク等を用いたデータ蓄積部16と、そのデータ蓄積部16に蓄積されたデータに基づいて所定の解析を行うデータ解析部17とを接続している。
【0097】
そして、データ蓄積部16には、単位時間あたりの注目者数やそれぞれの滞在時間、通過人数と計測時刻などを記録しておく。すなわち、上記したステレオ画像に基づく人間の分離を行い、注目対象を注目している人間の有無及び注目度などの注目情報を判定部7で求める。
【0098】
ここで本例では、判定部7から出力される「注目者数(注目人数)等の注目情報」を出力部8とともに、データ蓄積部16にも与えるようになっている。そして、データ蓄積部16では、与えられた注目情報をコンピュータが内蔵するタイマ・時計の時刻データやカレンダー情報とともに併せて記憶する。
【0099】
また、データ解析部17では、データ蓄積部16に格納されたデータに基づいて、例えば、一日の注目人数等の注目度の時間分布や、曜日・祝日(休日)や季節等の一定の期間ごとの注目者数の推移を求め、その解析結果を出力部8に送り、モニタ表示或いはプリンタアウト等するようになっている。また、その解析結果をさらに記憶装置に格納するようにしても良い。そして、係るデータ解析部17は、一定のタイミングで定期的に行うようにしても良く、或いは外部からの指示に基づいて不定期的に行うようにしても良く、もちろん両者を併用しても良い。そして、外部からの指示は、例えば図示省略のキーボード・マウス等の入力装置を介して行われる。
【0100】
係る構成にすると、例えば曜日や時間帯で各注目対象に対する注目度が大きい時期等を統計的に調べることができ、その後の販売計画・販売戦略に有効なデータが得られる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【0101】
図25は、本発明の第7の実施の形態の構成図を示している。そして、図26が、そのデータの流れ図を示している。本実施の形態では、上記した第6の実施の形態を基本とし、さらに、注目者数等の注目度情報(以下、単に「注目者数」と称するが、滞在総時間等他の注目度の算出・計測処理を行ってももちろん良い)が変動する要因となる様々なデータを入力する変動要因入力部18をバスに接続している。
【0102】
そして、データ蓄積部16には、判定部7より与えられる注目者数と、内蔵時計等から得られる時刻・カレンダー情報とともに、変動要因データも関連付けてデータ蓄積部16に格納するようになっている。
【0103】
ここで、変動要因とは、注目する人の数等に影響を与えるもので、例えば、温度・湿度・雨量等の天候情報や、祭り・遠足・修学旅行・試験等の地域のイベント情報や、広告を出す等の販促の情報等がある。そして、係るデータは、操作員の手動或いはセンサやデータベースからのオンラインを用いた自動で入力することができる。つまり、変動要因入力部18は、キーボード等の操作員が手動によりデータを入力するための装置であったり、各種センサ出力や、他のデータベースから伝送されてくるデータを受信する装置であったりする。
【0104】
そして、変動要因データの入力例としては、図27(A)に示すように、日時ごとに天候,湿度(及びまたは温度),販促状況並びに地域情報等を入力することができ、この例では、すべてキーボード等の入力装置を用いて操作員が手動により入力するようにしている。また、例えば湿度等は、湿度計(センサ)から出力を、一定の時刻が来た場合に自動的に取得するようにしても良い。
【0105】
本形態におけるデータ解析部17は、上記した第6の実施の形態と同様に、データ蓄積部16に格納されたデータを、所定の基準で集計等して出力部8に出力するものである。そして、本例では、注目者数の情報に加えて、変動要因もデータ蓄積されているので、曜日による平均注目者数等を求めるとともに、各日時の注目者数と平均注目者数を比較し、その差が一定以上のものを抽出し、その差を変動要因とともに併せて出力するようになっている。また、操作員からの指示に基づいて変動要因との関係を解析できるようにもなっている。すなわち、雨との相関を求めたい場合には、「雨」をキーに解析し、雨の時の注目者数と平均値を比較することもできる。
【0106】
出力の一例を示すと、図27(B)のようになる。つまり、この例では、平日(月曜〜木曜)と、金曜,土曜,日曜というように、曜日ごとでしかも一定の時間帯ごとに注目者数の平均値を求め、それを表にして出力している。そして、解析した結果、雨の時が15%程度人数が少ないことがわかったため、それも欄外に出力表示している。
【0107】
なお、上記した平均値との「差」は、単純に人数の差(偏差)のみならず、図示した例のように比率等もある。これによって変動要因と注目者数の関係が把握できる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【0108】
図28は本発明の第8の実施の形態を示す構成図であり、図29はそのデータの流れを示している。本実施の形態では、上記した第7の実施の形態を基本とし、さらに、注目者数予測部19をバスに接続し、データ蓄積部16に格納した過去の注目者数に基づいて、注目者数の予測をするようになっている。
【0109】
すなわち、注目者数予測部19の機能を説明すると、例えばデータ蓄積部16にアクセスし、過去数週間の同じ曜日(時間帯)の注目者数の平均値を求め、それを予測注目者数として出力するように構成する。また、過去数か月のデータから上旬/中旬/下旬別にそれぞれの曜日別平均を求め、予測する日時が月の上旬,中旬,下旬のいずれに属する曜日からを判断し、該当する曜日の平均を予測注目者数として出力するようにすると、より正確な予測が行える。
【0110】
さらにまた、過去のデータから変動要因が注目者数に与える影響を解析し、変動要因の予報・予定を反映させることで注目者数の予測精度を向上することができる。すなわち、例えば、天気予報等により予測する日時の天気を調べたり、販促・地域情報として特別なものがある場合にはそれらに該当する過去のデータを抽出し、その平均を求めることにより予測注目者数を求めることができる。さらには、該当するデータ数が少ない場合には、例えば雨の日は、15%減少することが求められると、天候に関係なく該当する曜日の平均人数を求め、その値に15%減したものを予測注目者数とするようにしても良い。
【0111】
さらに、各曜日ごとに平均値を求めるに際し、その偏差・標準偏差等を求めておき、予測注目者数を求める際に、その人数と誤差の範囲を併せて出力表示するようにしても良い等、種々の予測方式を採ることができる。そして、その予測結果の表示態様の一例としては、例えば図30に示すようなものとすることができる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【0112】
図31は、本発明の第9の実施の形態の構成図を示しており、図32はそのデータの流れを示している。すなわち、本実施の形態では、上記した第8の実施の形態の構成に、さらに、売上データを入力するための売上データ入力部20をバスに接続している。そして、売上データ入力部20は、例えばPOSに格納された売上データを転送して入力するようにしている。この売上データの入力例を示すと、図33のように、各品物別に、しかも時間帯ごとに売上個数を入力するようにしている。そして、各品物は、いずれも注目対象のものである。そして、通常一つの陳列棚に、弁当,おにぎり,パン等が一緒に陳列されていることが多く、各品物ごとに売上を出すことにより、注目者数に応じてどの様な比率で各品物が売れたかを知ることができる。つまり、図18に示した注目商品である商品Aは、必ずしも1種類とは限らず、本例のように複数種類の場合もある。
【0113】
そして、図32を見るとわかるように、判定部7で求めた注目者数と、変動要因入力部18から与えられる変動要因データとともに、売上データ入力部20から与えられる売上データをそれぞれ関連付けてデータ蓄積部16に蓄積するようになっている。
【0114】
一方、データ解析部17では、売上げデータと注目者数の関連を解析することにより、注目者数一日あたりの売上高や、注目者1人の一時間あたりの売上高等を求め、出力するようになっている。これにより、POSによる売上管理からは得られなかったデータを収集することができる。すなわち、一例を挙げると一日ごと・時間ごと・フロアごと等の切り訳で「注目者数に比べて売上げが多い・少ない」というような情報が得られる。そしてその情報に基づいて広告・品揃え・陳列等の問題や効果を定量的に把握することができる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。また、図31に示した例では、注目者数予測部19をバスに接続しているが、売上データと注目者数その関係を解析するという本実施の形態では、係る予測部19を設けなくても良い。
【0115】
図34は、本発明の第10の実施の形態の構成図を示しており、図35はそのデータの流れを示している。本実施の形態では、上記した第9の実施の形態(注目者数予測部19付)を基本とし、さらに、売上予測部21をバスに接続している。
【0116】
この売上予測部21は、図35から明らかなように、データ蓄積部16に蓄積された過去の注目者数と、過去の売上データを取得し、さらに、注目者数予測部19より売上予測を行う日時に関する予測注目者数を取得する。そして、過去の注目者数と売上データから、注目者数1人(或いは単位人数)に対する各商品の売上個数を求め、その値に売上予測をする日時の予想注目者数を掛けることにより、各商品の予想販売数を求める。そして、その様にして求めた予想販売数を、例えば図36に示すような形式で出力部8に出力するようにしている。
【0117】
なお、係る予測をより正確に行うためには、予想注目者数を求める際に、変動要因データを有効に活用することである。これにより、予想販売数に応じた仕入量の決定や係員・店員の配置等を適切に行うことができる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【0118】
図37は、本発明の第11の実施の形態の構成図を示しており、図38はそのデータの流れを示している。本実施の形態では、上記した第10の実施の形態を基本とし、さらに、在庫データ入力部22及び仕入支援部23をバスに接続している。つまり、在庫データ入力部22は、売上データ入力部20と同様に、例えばPOS等に登録されている在庫データを転送し入力するようにしている。この在庫データの入力例を示すと、図39のように、各品物別に、しかも時間帯ごとに売上個数を入力するようにしている。そして、図33と比較すると明らかなように、対応する商品が販売される都度、リアルタイムで在庫データにも反映され、その在庫数が減少するようになっている。また、商品の搬入があると、当然のことながらその商品の在庫数が加算される。
【0119】
また、仕入支援部23は、上記在庫データ入力部22から与えられる現在の所定の商品の在庫数と、売上予測部21から与えられる商品の今後の予測売上数(予測売上数の算出処理は、第10の実施の形態と同様)に基づいて、各商品の搬入時の納入個数を求める。これにより、次の商品納入時までにできるだけ在庫が少なくなるとともに、在庫切れにはならないように納入個数を設定することにより、効率の良い商品の仕入れができ、賞味期限等がある商品を無駄に廃棄処分にしたり、逆に品切れになって来客者に迷惑を掛けることがなくなる。また、賞味期限等がない商品の場合であっても必要以上の在庫を抱えることによる保管コストの増加をできるだけ低減することができる。よって、効率の良い商品管理ができる。
【0120】
そして、例えば図40に示すように、各回の納入時に必要な商品の納入個数を関連付けて出力するようになる。なお、図中「−」は、その納入の際には、その商品が納入されないことを意味する。
【0121】
そして、図40に示したように表形式で作成したのを、モニタ出力或いはプリントアウトすることにより、発注援助データとなり、仕入れ担当者に対するアドバイス・注意を行うことができる。さらには、係るデータをそのまま発注データとし、今後の仕入を自動的に求めるとともに、自動発注するようにしても良い。さらに、各商品の在庫がなくなる時期も予測できるので、それに対する対応も容易に行える。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【0122】
なお、本発明は、上記した各実施の形態に示したものに限られるものではなく、任意の実施の形態同士を適宜組み合わせて実施してももちろん良い。
【0123】
【発明の効果】
以上のように、本発明に係る注目情報計測方法及び装置では、計測範囲を撮像して得られた画像中に存在する人間を抽出するとともに追跡し、計測範囲内に滞在していた滞在時間を求め、その滞在時間に基づいて注目しているか否かの判定を行うようにしたため、画像処理に基づく簡単な判定処理によって、陳列棚・ショーケース・展示物・広告等を計測対象(以後、注目対象という)として、その注目対象に注目しているか否かの判断や、注目している度合い(注目度)を求めることを自動的に行うことができる。
【0124】
特に、請求項3のように規定すると、光軸が概ね平行に設置された複数の撮像手段によって計測範囲を同期させて同一タイミングで撮像し、その撮像された画像間の対応付けによって得られる空間座標データを利用するようにしたため、たとえ奥行き方向で人間が重なっているような場合であっても、確実に個々の人間同士を分離することができ、人間の分離・追跡を行い注目しているか否かの判定等の注目情報を精度良く計測することができる。つまり、左右前後方向の人間の重なりや、日照変動・影等に影響されずに確実に人数を計測することができる。また、任意の俯角で計測領域を撮像すれば良いので、天井の有無や天井の高さに関係なく設置場所の制約が少なくできる。
【0125】
また、請求項2のように構成すると、注目した人間についての情報をより詳しく解析することができる。さらに、請求項8〜10のように構成すると、注目された商品等の注目対象(計測範囲内のどの場所)をより精度よく特定できる。さらにまた、請求項11のように構成すると、店員などの特定の人間を排除できるので、より高精度な真の注目情報を得ることができる。さらにまた、請求項13〜18のように構成すると、注目情報(注目度)を正確に求めることができ、それに基づいて各種の予測等が正確に行え、販売管理,店舗運営,在庫管理,仕入管理等の各種管理を効率よく行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示す図である。
【図2】その抽出部の作用を説明する図である。
【図3】追跡部の作用を説明する図である。
【図4】追跡部の作用を説明する図である。
【図5】判定部の作用を説明する図である。
【図6】判定部の機能を説明するフローチャートである。
【図7】判定部の別の機能を説明するフローチャートである。
【図8】本発明方法の実施の形態の一例を示すフローチャートである。
【図9】本発明の第2の実施の形態を示す図である。
【図10】撮像手段たるカメラの一例を示す図である。
【図11】2つのカメラから撮像点の空間座標を求める原理を説明する図である。
【図12】抽出部の作用を説明する図である。
【図13】分離部の作用を説明する図である。
【図14】分離部の作用を説明する図である。
【図15】本発明方法の実施の形態の他の例を示すフローチャートである。
【図16】撮像部の変形例を示す図である。
【図17】本発明の第3の実施の形態を示す図である。
【図18】視線方向判定部の作用を説明する図である。
【図19】本発明の第4の実施の形態を示す図である。
【図20】排除部の機能を説明するフローチャートである。
【図21】本発明の第5の実施の形態を示す図である。
【図22】そのデータの流れを示す図である。
【図23】本発明の第6の実施の形態を示す図である。
【図24】そのデータの流れを示す図である。
【図25】本発明の第7の実施の形態を示す図である。
【図26】そのデータの流れを示す図である。
【図27】(A)は変動要因データの入力例を示す図である。(B)は解析結果の一例を示す図である。
【図28】本発明の第8の実施の形態を示す図である。
【図29】そのデータの流れを示す図である。
【図30】人数予測結果の一例を示す図である。
【図31】本発明の第9の実施の形態を示す図である。
【図32】そのデータの流れを示す図である。
【図33】売上データの入力の一例を示す図である。
【図34】本発明の第10の実施の形態を示す図である。
【図35】そのデータの流れを示す図である。
【図36】売上予測結果の一例を示す図である。
【図37】本発明の第11の実施の形態を示す図である。
【図38】そのデータの流れを示す図である。
【図39】在庫データの入力の一例を示す図である。
【図40】発注データの一例を示す図である。
【符号の説明】
1 テレビカメラ(撮像手段)
5 抽出部
6 追跡部
7 判定部(滞在時間計測手段,判定手段,注目度を求める手段)
8 出力部
11 視線方向判定部
14 画像蓄積部
15 排除部
16 データ蓄積部
17 データ解析部
18 変動要因入力部
19 注目者数予測部
20 売上データ入力部
21 売上予測部
22 在庫データ入力部
23 仕入支援部
Claims (18)
- 計測範囲の映像を取り込むための撮像手段と、
前記撮像手段により撮像された画像から計測範囲内の人間を抽出する抽出手段と、
前記抽出手段により抽出された人間を、前記撮像手段にて異なる時間に撮像された前記計測範囲の画像を用いて追跡する追跡手段と、
前記追跡手段により追跡された個々の人間の前記計測範囲内の滞在時間を求める滞在時間計測手段と、
その滞在時間計測手段により求めた滞在時間に基づいて前記抽出された人間が計測範囲周辺に注目したのか否かを判定する判定手段を備えたことを特徴とする注目情報計測装置。 - 前記抽出した人間が計測範囲周辺に注目したと判定した場合に、その人間を含む画像を蓄積する画像蓄積手段をさらに備えたことを特徴とする請求項1に記載の注目情報計測装置。
- 前記計測範囲を撮像する撮像手段が、光軸を平行にした複数の撮像手段からなり、
前記抽出手段が、前記複数の撮像手段により同一のタイミングで得られた複数画像間の対応付けによる空間座標データを利用して人間を抽出するようにしたことを特徴とする請求項1または2に記載の注目情報計測装置。 - 前記注目した人間に関する情報を積算し、前記計測範囲周辺に対する注目度を求める手段をさらに備えたことを特徴とする請求項1〜3のいずれか1項に記載の注目情報計測装置。
- 前記注目度が、前記注目した人間の数の総和であることを特徴とする請求項4に記載の注目情報計測装置。
- 前記注目度が、前記注目した人間の前記計測範囲内の滞在時間の総和であることを特徴とする請求項4に記載の注目情報計測装置。
- 前記注目度が、前記注目した人間の前記計測範囲内で停止した時間の総和であることを特徴とする請求項4に記載の注目情報計測装置。
- 抽出された人間の画像から視線方向を判定する視線方向判定手段をさらに備え、
前記視線方向判定手段により判定された視線の方向によって、前記抽出された人間が計測範囲周辺のどの方向を注目したのかを判定するようにしたことを特徴とする請求項1〜4のいずれか1項に記載の注目情報計測装置。 - 前記視線方向判定手段が、
与えられた画像データ中に存在する人間の頭部部分を抽出し、画像認識処理を行って頭の向きを認識することにより顔の方向を特定し、その顔の方向を視線方向とするようにしたものであることを特徴とする請求項8に記載の注目情報計測装置。 - 前記視線方向判定手段が、
前記抽出された人間の移動軌跡を取得し、その移動方向を視線方向とするようにしたものであることを特徴とする請求項8に記載の注目情報計測装置。 - 抽出・追跡した人間から特定の人間を排除する排除手段をさらに設けたことを特徴とする請求項1〜10のいずれか1項に記載の注目情報計測装置。
- 計測範囲を撮像し得られた画像からその計測範囲内に存在する人間を抽出し、
時系列的に前記計測範囲を撮像して得られた複数の画像を用いて全抽出した人間を追跡し、
その追跡した個々の人間が前記計測範囲内に滞在している滞在時間を求め、その滞在時間が、一定の基準より長い時に前記抽出された人間が計測範囲周辺に注目していると判定するようにしたことを特徴とする注目情報計測方法。 - 請求項4〜11のいずれかに記載の少なくとも注目度を求めることのできる注目情報計測装置と、
その注目情報計測装置から出力される少なくとも注目度のデータを蓄積する蓄積手段と、
その蓄積されたデータを解析する解析手段とを持つことを特徴とする注目度解析システム。 - 注目度が変動する要因となる様々なデータの変動要因データを入力する手段をさらに備え、
前記変動要因データを、前記注目情報計測装置から出力される注目度とともに前記蓄積手段に蓄積するようにしたことを特徴とする請求項13に記載の注目度解析システム。 - 蓄積・解析されたデータに基づいて注目度の予測を行う注目度予測手段をさらに備えたことを特徴とする請求項13または14に記載の注目度解析システム。
- 請求項13〜15に記載の注目度解析システムに、さらに売上げデータを入力する売上げデータ入力手段を備え、
前記解析手段で売上げデータと注目度の関連を解析することを特徴とする経営管理システム。 - 請求項13または14に記載の注目度解析システムと、
蓄積・解析されたデータに基づいて注目度を予測する注目度予測手段と、
売上げデータを入力する売上げデータ入力手段と、
予測された入場者数と蓄積された過去の入場者数と売上げデータから売上げを予測する売上予測手段とをさらに備えたことを特徴とする経営管理システム。 - 在庫データを入力する在庫データ入力手段と、
前記売上予測手段で予測された売上げと在庫データから仕入品目,仕入量の推奨値を決定する仕入支援手段をさらに備えたことを特徴とする請求項17に記載の経営管理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21909996A JP3800257B2 (ja) | 1996-08-02 | 1996-08-02 | 注目情報計測方法及び装置並びにそれを用いた各種システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21909996A JP3800257B2 (ja) | 1996-08-02 | 1996-08-02 | 注目情報計測方法及び装置並びにそれを用いた各種システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005150136A Division JP4069932B2 (ja) | 2005-05-23 | 2005-05-23 | 人間検知装置および人間検知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1048008A JPH1048008A (ja) | 1998-02-20 |
JP3800257B2 true JP3800257B2 (ja) | 2006-07-26 |
Family
ID=16730249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21909996A Expired - Fee Related JP3800257B2 (ja) | 1996-08-02 | 1996-08-02 | 注目情報計測方法及び装置並びにそれを用いた各種システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3800257B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113015302A (zh) * | 2021-04-01 | 2021-06-22 | 易强 | 一种基于智慧城市的数字化调光***及其调控方法 |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001128814A (ja) * | 1999-11-01 | 2001-05-15 | Atr Media Integration & Communications Res Lab | 物品の出し入れ検出装置 |
US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US20050146605A1 (en) * | 2000-10-24 | 2005-07-07 | Lipton Alan J. | Video surveillance system employing video primitives |
US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
JP3974365B2 (ja) * | 2001-10-02 | 2007-09-12 | 花王株式会社 | 顧客動線集計装置 |
US7742937B2 (en) * | 2002-03-06 | 2010-06-22 | Steven R. Cox | System for improving logistics, tracking and billing for worker's compensation insurance |
JP4125634B2 (ja) * | 2003-05-26 | 2008-07-30 | Necソフト株式会社 | 顧客情報収集管理方法及びそのシステム |
JP2005309951A (ja) * | 2004-04-23 | 2005-11-04 | Oki Electric Ind Co Ltd | 販売促進支援システム |
JP2006254274A (ja) * | 2005-03-14 | 2006-09-21 | Mitsubishi Precision Co Ltd | 視聴層分析装置、販売戦略支援システム、広告支援システム及びtv装置 |
JP2006293786A (ja) * | 2005-04-12 | 2006-10-26 | Biophilia Kenkyusho Kk | 視線入力装置を備えた市場調査用機器 |
JP4799910B2 (ja) * | 2005-06-02 | 2011-10-26 | ノルベルト・リンク | 調査区域にいる人物を検出するための装置および方法 |
JP2007003448A (ja) * | 2005-06-27 | 2007-01-11 | Nippon Telegr & Teleph Corp <Ntt> | 移動情報生成装置、移動情報生成方法、プログラムおよび記憶媒体 |
JP4725233B2 (ja) * | 2005-08-02 | 2011-07-13 | 日産自動車株式会社 | 俯瞰画像表示システム |
JP2007172307A (ja) | 2005-12-22 | 2007-07-05 | Internatl Business Mach Corp <Ibm> | 商品の仕入または生産を支援するシステム |
JP4876687B2 (ja) | 2006-04-19 | 2012-02-15 | 株式会社日立製作所 | 注目度計測装置及び注目度計測システム |
JP5508848B2 (ja) * | 2006-06-02 | 2014-06-04 | センサーマティック・エレクトロニクス・エルエルシー | リモートサイトの分散監視のためのシステム及び方法 |
US9606621B2 (en) * | 2006-07-28 | 2017-03-28 | Philips Lighting Holding B.V. | Gaze interaction for information display of gazed items |
JP2008059179A (ja) * | 2006-08-30 | 2008-03-13 | Toshiba Corp | ゲート監視システム及びゲート監視方法 |
JP5134226B2 (ja) * | 2006-09-21 | 2013-01-30 | 日立情報通信エンジニアリング株式会社 | 移動物測定システム |
JP5093667B2 (ja) * | 2007-06-12 | 2012-12-12 | 独立行政法人情報通信研究機構 | ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム |
JP4970195B2 (ja) | 2007-08-23 | 2012-07-04 | 株式会社日立国際電気 | 人物追跡システム、人物追跡装置および人物追跡プログラム |
JP2009087000A (ja) * | 2007-09-28 | 2009-04-23 | Mazda Motor Corp | 市場分析支援方法 |
JP2009087002A (ja) * | 2007-09-28 | 2009-04-23 | Mazda Motor Corp | 市場分析支援方法 |
JP2009140234A (ja) * | 2007-12-06 | 2009-06-25 | Yamaha Motor Co Ltd | 自動販売機 |
JP4778532B2 (ja) * | 2008-03-17 | 2011-09-21 | Necソフト株式会社 | 顧客情報収集管理システム |
JP4753975B2 (ja) * | 2008-06-30 | 2011-08-24 | 技研トラステム株式会社 | 商品関心度計測装置 |
JP5225870B2 (ja) * | 2008-09-30 | 2013-07-03 | 花村 剛 | 情動分析装置 |
JP5584201B2 (ja) * | 2009-04-14 | 2014-09-03 | 株式会社ホギメディカル | 分析装置及びプログラム |
JP5096409B2 (ja) * | 2009-05-13 | 2012-12-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5354286B2 (ja) * | 2009-08-04 | 2013-11-27 | 住友電気工業株式会社 | 監視システム、監視装置、及び監視方法 |
JP2011210238A (ja) * | 2010-03-10 | 2011-10-20 | Dainippon Printing Co Ltd | 広告効果測定装置及びコンピュータプログラム |
EP2455914B1 (en) * | 2010-11-18 | 2012-10-17 | Axis AB | Object counter and method for counting objects |
JP5822463B2 (ja) * | 2010-12-28 | 2015-11-24 | キヤノン株式会社 | 三次元計測装置、三次元計測方法、およびプログラム |
JP5158223B2 (ja) | 2011-04-06 | 2013-03-06 | カシオ計算機株式会社 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
JP6123140B2 (ja) * | 2011-09-13 | 2017-05-10 | インテル・コーポレーション | デジタル広告システム |
JP5263437B2 (ja) * | 2012-09-07 | 2013-08-14 | カシオ計算機株式会社 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
JP2014182452A (ja) * | 2013-03-18 | 2014-09-29 | Fujitsu Ltd | 情報処理装置及びプログラム |
JP6120404B2 (ja) * | 2013-05-28 | 2017-04-26 | Kddi株式会社 | 移動体行動分析・予測装置 |
KR102225502B1 (ko) * | 2013-10-31 | 2021-03-08 | 주식회사 케이티 | 경기장에서의 현장 판매 관리 장치 및 이를 이용한 현장 판매 관리 방법 |
JP6544044B2 (ja) * | 2015-05-27 | 2019-07-17 | 株式会社リコー | 画像処理装置、画像処理システム及び画像処理方法 |
JP6481537B2 (ja) * | 2015-07-14 | 2019-03-13 | コニカミノルタ株式会社 | 被監視者監視装置および被監視者監視方法 |
CN106454716B (zh) * | 2015-08-13 | 2019-11-19 | 株式会社理光 | 对象分析方法、对象分析设备及对象分析*** |
US10740934B2 (en) * | 2016-03-31 | 2020-08-11 | Nec Corporation | Flow line display system, flow line display method, and program recording medium |
JP2020009157A (ja) * | 2018-07-09 | 2020-01-16 | 富士ゼロックス株式会社 | 売上予測装置及びプログラム |
CN111259702B (zh) * | 2018-12-03 | 2023-05-26 | 株式会社理光 | 一种用户兴趣的估计方法及装置 |
JP6737355B2 (ja) * | 2019-02-12 | 2020-08-05 | コニカミノルタ株式会社 | 頭部検出装置および頭部検出方法ならびに被監視者監視装置 |
JP6745930B1 (ja) * | 2019-03-13 | 2020-08-26 | 株式会社三井住友銀行 | 情報処理装置、方法、およびプログラム |
JP2020166523A (ja) * | 2019-03-29 | 2020-10-08 | 株式会社ネクスウェイ | 興味度情報取得システム、情報処理装置、及び情報処理プログラム |
CN111008866A (zh) * | 2019-11-29 | 2020-04-14 | 北京市商汤科技开发有限公司 | 资源配置数据的处理方法、装置及存储介质 |
CN111951058A (zh) * | 2020-08-24 | 2020-11-17 | 珠海格力电器股份有限公司 | 基于电子价签的商品关注度分析方法、装置及*** |
CN112184497B (zh) * | 2020-09-30 | 2023-10-03 | 重庆天智慧启科技有限公司 | 一种客户到访轨迹追踪及客流分析***及方法 |
JP2024075796A (ja) * | 2021-02-17 | 2024-06-05 | 株式会社Preferred Networks | 解析装置、解析システム、解析方法及びプログラム |
-
1996
- 1996-08-02 JP JP21909996A patent/JP3800257B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113015302A (zh) * | 2021-04-01 | 2021-06-22 | 易强 | 一种基于智慧城市的数字化调光***及其调控方法 |
Also Published As
Publication number | Publication date |
---|---|
JPH1048008A (ja) | 1998-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3800257B2 (ja) | 注目情報計測方法及び装置並びにそれを用いた各種システム | |
JP4069932B2 (ja) | 人間検知装置および人間検知方法 | |
JP3521637B2 (ja) | 通過人数計測装置及びそれを用いた入退場者数管理システム | |
JP4972491B2 (ja) | 顧客動作判定システム | |
CN109214751B (zh) | 一种基于库存位置变化的智能库存管理*** | |
JP7038543B2 (ja) | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム | |
US8010402B1 (en) | Method for augmenting transaction data with visually extracted demographics of people using computer vision | |
KR101779094B1 (ko) | 지능형 영상분석 기술을 이용한 통합 매장관리시스템 | |
CN101268478B (zh) | 采用视频分析检测可疑活动的方法及装置 | |
JP4125634B2 (ja) | 顧客情報収集管理方法及びそのシステム | |
JP4778532B2 (ja) | 顧客情報収集管理システム | |
US20080114633A1 (en) | Method and Apparatus for Analyzing Activity in a Space | |
KR101779096B1 (ko) | 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법 | |
US20110199486A1 (en) | Customer behavior recording device, customer behavior recording method, and recording medium | |
US20150199698A1 (en) | Display method, stay information display system, and display control device | |
JP2006285409A (ja) | 店舗等における人数及び人流カウント方法並びにこれらを利用したインストアマーチャンダイジングの提言方法。 | |
JP2018093283A (ja) | 監視情報収集システム | |
US20040179736A1 (en) | Automatic classification and/or counting system | |
JP2012088878A (ja) | 顧客優待管理システム | |
JPWO2015025490A1 (ja) | 店舗内顧客行動分析システム、店舗内顧客行動分析方法および店舗内顧客行動分析プログラム | |
JP2017083980A (ja) | 行動分析装置及びシステム及び方法 | |
KR20160011804A (ko) | 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법 | |
US20210334758A1 (en) | System and Method of Reporting Based on Analysis of Location and Interaction Between Employees and Visitors | |
JP4753975B2 (ja) | 商品関心度計測装置 | |
JP2004118453A (ja) | 売場統合監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060418 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140512 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |