JP6909575B2 - 監視情報収集システム - Google Patents

Description

本発明は、カメラで撮影された人物を識別するとともに、識別される人物の移動軌跡を求める監視情報収集システムに関する。

監視カメラで撮影された人の顔認識を行い、例えば、人の顔の特徴点と、人の氏名、住所、職業等の属性情報とが紐づけされて登録されたデータベースから顔認識された人の属性情報を抽出するような監視システムが開発されている。この場合に、データベースに登録される人物は、例えば、指名手配犯であってもよい。
指名手配犯の顔の特徴点をデータベースに登録しておけば、潜伏している指名手配犯の発見に利用可能となる。

また、例えば、従業員等の関係者の顔をデータベースに登録しておけば、監視カメラにより関係者以外立入禁止の区域で人物が撮影された際に、顔認識によりデータベースに登録された関係者か否かを判定し、関係者の場合に警報を発しないようにすることで誤報を減らすことが提案されている（例えば、特許文献１参照）。

また、レーザレーダを用いて、人物や車両等の移動体までの距離に基づいて移動体の移動軌跡を求めるとともに、その後の移動軌跡を予測し、例えば、二つの移動体が同時刻に同一位置に移動すると予測された場合に、犯罪や事故等が発生する可能性があると判断することが提案されている（例えば、特許文献２参照）。

特開２０１３−１３４６７５号公報 特開２０１４−１９４６８６号公報

ところで、監視カメラに撮影された人物の顔を認識しても、例えば、データベースに登録された顔と一致しないと、顔認識された人物のデータの使い道がない。特に、空港等のように犯罪者の移動に利用されるような施設ではなく、コンビニエンスストア等の店舗の監視カメラでの顔認識で、指名手配犯が見つかる頻度はそれ程高くはないので、監視カメラの役割は、事故や事件が発生した場合のための記録や、監視していることを示すことによる犯罪の抑止であり、実質的には有効に利用されていない。

また、レーザレーダを用いた移動軌跡の監視と予想により、事故等を予測する場合に、レーザレーダでは移動する人物の顔を認識することができないので、移動体の移動速度や移動軌跡やサイズから自動車、自転車、歩行者、動物等を判断することはできても、人物や自動車の車名を特定することができず、用途が限られたものとなる。

また、監視カメラの映像は、事故や事件が発生した後に、真相解明のために利用されるが、事件や事故発生から長い期間が経過してしまうと撮影された画像データが消去されてしまい、真相解明に利用できない可能性がある。特に、複数の監視カメラが、高画素数で比較的フレームレイトが高い動画を撮影して記憶（記録）する場合に、記憶装置の記憶容量の問題で長い期間に渡って画像データを記憶保存することは難しい。

本発明は、前記事情に鑑みてなされたものであり、監視カメラに撮影された画像から人物の移動軌跡を求めて記録するとともに、移動軌跡が求められる人物に対して顔認識を行うことにより、顔認識される他の人物と識別可能とすることが可能な監視情報収集システムを提供することを目的とする。

前記課題を解決するために、本発明の監視情報収集システムは、人の立ち入りが禁止された立入禁止エリアと入出口とを含む監視エリアを撮像する撮像手段と、
前記撮像手段で撮影される画像から人を検知する人検知手段と、
前記人検知手段で検知された人を前記画像上で解析して移動軌跡を求める軌跡解析手段と、
前記人検知手段で検知されるとともに前記軌跡解析手段で前記移動軌跡が求められる人の前記画像上の顔から他の顔と識別可能な顔データを求めて顔を認識する顔認識手段と、
異なる人の前記顔データを互いに識別可能とする識別符号に関連付けて前記顔データと前記顔データに対応する前記移動軌跡を記録する記録手段と、
前記記録手段に記録されている前記顔データに対して前記顔認識手段で求められた前記顔データを比較し、前記顔データが前記記録手段に登録済みであるという条件を満たすか否かを判定する顏判定手段と、
前記条件を満たす場合に、前記顔認識手段で求められた前記顔データに対応する前記移動軌跡を、当該顔データと一致する前記記録手段に記録された前記顔データに関連付けられた前記識別符号と関連付けて前記記録手段に記録し、
前記条件を満たさない場合に、前記顔認識手段で求められた前記顔データおよび当該顔データに対応する前記移動軌跡に、未だ前記顔データに関連付けられていない前記識別符号を関連付けて前記記録手段に記録する顔データ取集手段と、
を備え、
前記撮像手段は、顔認識エリアと、顔認識エリアよりも広い人検知エリアとをその撮影範囲内に含むとともに、前記監視エリアに対する前記入出口が前記顔認識エリア内に含まれる第１の撮像手段と、前記立入禁止エリアをその前記人検知エリア内に含む第２の撮像手段とを有することを特徴とする。

このような構成によれば、撮像手段の撮影範囲内に居る人をそれぞれの顔データで識別して、各人の移動軌跡を記録することができる。すなわち、人を識別可能とする顔データと、当該顔データに対応する人の移動軌跡を識別符号に関連付けて記録できる。事故や事件が発生した際の検証の際に顔データと移動軌跡を利用することができる。この顔データおよび移動軌跡は、動画データに比較して記憶容量が少なく、記憶装置の限られた記憶容量であっても長期間保存可能であり、過去の事故や事件の再検証等に有効に活用することができる。

また、顔データで識別可能な複数の人の移動軌跡は、例えば、一つの画面に同時に表示可能であり、動画データを見た場合よりも、短時間で多くの情報を得ることができる。また、顏認識により、日付が違っても同じ人が通ったか否かを判定可能であり、長い期間に渡って、同じ人の行動を監視可能となる。また、例えば、店舗内の人の移動軌跡は、商品の陳列を考える際に参考にすることが可能である。また、移動軌跡は、商店街等の道路の人の流れを把握し、信号の制御や交通規制等を決める際に利用可能である。

また、本発明における顏認識による人の識別は、撮像手段で撮影されている顏と他の顔とを識別するもの、言い換えれば、同じ人の顔を同じ顔と判定し、異なる人の顔を異なる顏と判定可能とすればよいので、必ずしも、顔データに氏名や住所等の個人情報を紐付けする必要はなく、例えば、コンビニエンスストアで書籍売り場によく居る客の顔と、弁当売り場によく居る客の顔とが識別可能となっていればよい。これにより、店舗において、個人情報に関係なく顧客管理を行うことが可能になり、客の嗜好に応じたサービス等の提供が可能になる。また、介護施設や病院等において、患者だけでなく訪問者の管理が容易になる。

本発明の前記構成において、複数の前記撮像手段を備え、前記軌跡解析手段は、複数の前記撮像手段でそれぞれ撮影される画像に基づいて、複数の前記撮像手段の各撮影範囲を合わせた範囲内で移動軌跡を求めることが好ましい。

このような構成によれば、複数の撮像手段の撮影範囲に渡って同じ人が移動した場合でも移動軌跡を求めることができる。また、人が撮影範囲から一時的にはずれて移動先を追跡できなくても再び顏認識可能になった際に再び移動軌跡を求めることができ、一部途切れても同一人物の連続する移動軌跡を推定することが可能である。したがって、入り組んだ構造の店舗や施設において、人物の移動先を見失うことなく移動軌跡を求めることが可能になる。

本発明の前記構成において、前記顔データの属性となる属性情報を、少なくとも前記画像、前記移動軌跡または外部から入力される外部情報から求める属性解析手段を備え、
前記記録手段は、前記属性解析手段により求められた前記属性情報を前記識別符号に関連付けて記録することが好ましい。

このような構成によれば、各移動軌跡に対応する顔データに属性情報を付加することが可能であり、例えば、撮像手段で撮影された画像から顏認識される人物の身長や体形を解析して属性情報としてもよいし、顔データに係員等の関係者か否かの属性情報を付加することにより、関係者を監視対象から外すことができる。例えば、関係者以外立入禁止の場所に関係者の移動軌跡が重なっても警報を発することなく無視することができる。また、移動軌跡から解析される情報として、例えば、特定の人間の行動パターン、例えば、所定の曜日の所定時間に所定位置を通る等の行動パターンを属性情報として記録することができる。

本発明の前記構成において、前記撮像手段が、商品が陳列されている店舗に配置され、
前記属性解析手段は、前記外部情報として前記商品の配置を示す配置情報が入力され、前記配置情報および前記移動軌跡とに基づいて、顏認識された人が近づいた商品を示す情報を前記属性情報とすることが好ましい。

このような構成によれば、外部情報として商品の配置の情報が入力されて記憶されている場合に、属性解析手段は、移動軌跡と商品の配置を参照して客が近づいた商品を属性情報とすることができる。なお、客が近づいた際に立ち止まったか否かを解析してもよい。また、客が近づいた商品を一種に特定できない場合は、一緒に配置されている同種の商品の分類を商品として特定してもよく、例えば、カップ麺や、文房具等を商品として特定するようにしてもよい。
したがって、顔データで識別される各顧客がよく利用する売り場を把握して顧客管理に利用可能であるとともに、商品の陳列の仕方を検討する際に客の移動軌跡と商品の配列の関係を容易に把握することができる。属性解析の際に撮影された画像も利用すれば、顧客が手に取った商品や、買い物かごに入れた商品を画像認識して属性情報とすることも可能である。

本発明の前記構成において、前記撮像手段が、会計された商品を示す会計情報を出力可能なキャッシュレジスタを有する店舗に配置され、
前記属性解析手段は、前記外部情報として入力された前記会計情報を、当該会計情報に対応する会計が前記キャッシュレジスタで行われた際に、前記キャッシュレジスタに近い位置となる前記移動軌跡に対応する前記属性情報とすることが好ましい。

このような構成によれば、移動軌跡と実際に購入した商品とを関連付けることが可能であり、移動軌跡と購入商品の関係を解析することが可能となる。さらに、移動軌跡、購入商品に加えて上述の商品の配置が分かれば、商品の陳列方法の検討をより詳細に行うことが可能となる。

本発明の前記構成において、前記記録手段には、特定の人に対する顔データが特定の人であることを識別可能に記録され、前記顔認識手段は、前記顔データから特定の人を識別することが好ましい。

このような構成によれば、特定の人として上述のように関係者であることを属性情報とすることで関係者を監視対象から外したり、窃盗経験者を特定の人として窃盗経験者の来店を報知するようにしたり、お得意様を特定の人としてお得意様の来店を報知するようにしたりすることが可能となる。

本発明によれば、人物毎に識別して各人物の移動軌跡を記録して利用可能となる。

本発明の実施の形態の監視情報収集システムを店舗に設置した場合を示す概略図である。 同、監視情報収集システムを示すブロック図である。 同、監視情報収集システムの検知／認識手段を示すブロック図である。 同、監視情報収集システムのカメラの撮影範囲を説明する図である。 同、監視情報収集システムで収集される監視情報を説明するための図である。 同、監視情報収集システムによる監視情報収集方法を説明するためのフローチャートである。

以下、本発明の実施の形態について説明する。
図１に示すように、本実施の形態の監視情報収集システムは、監視エリアに設置される監視用のカメラ１を有するものである。本実施の形態では、カメラ１は、単に監視エリアを撮影するものではなく、人の検知、検知した人の移動軌跡の解析、検知されて移動軌跡を解析される人の顔認識等を行い、これらの監視情報を識別符号としてのＩＤに関連付けて記録する機能を有する。なお、これらの機能の全てをカメラ１に設ける必要はなく、撮影と画像出力以外の機能を、カメラ１から出力される画像が入力されるサーバ等の外部機器側に設けるものとしてもよい。

本実施の形態において、カメラ１が設置される監視エリアは、例えば、コンビニエンスストア等の店舗５０である。店舗５０には、客用入出口５６があり、この客用入出口５６から人である客４０が入店するようになっている。店の５０内には、一つの壁際にレジスタ５１を有するレジカウンタ５２が前記壁から少し離れて壁面と平行に配置されており、このレジカウンタ５２と壁との間が、店舗５０における特定の人である店員等の関係者４１以外の客４０（人）の立ち入りが禁止された立入禁止エリア５３となっている。

また、店舗５０内には、壁から離れた位置に、島状に複数の商品棚５４がマトリックス状に縦横に配置されている。また、上述のレジカウンタ５２がある壁以外の壁には、壁際に商品棚５５が配置されている。店内には、監視用として、本実施の形態のカメラ１が３台配置されている。この例では、レジカウンタ５２側の壁に１台、レジカウンタ５２の反対側の壁に２台配置されている。カメラ１の配置は、任意に設定することができ、一台でも複数台でもよいが、できるだけ、店舗５０内の多くの部分を撮影可能となっていることが好ましい。

各カメラ１は、本実施の形態の監視情報収集システムを構成するものであって、図２に示すように、例えば、レンズや固体撮像素子等を有する撮像手段２と、撮像手段２に撮影される画像から人を検知し、検知された人の移動軌跡を解析し、移動軌跡が解析される人の顔を認識するための検知／認識手段３（検知認識手段３）と、撮像手段２で撮影された画像データや、検知／認識手段３で検知および認識されることにより得られる監視情報を記録する記録手段５と、ネットワーク７（通信回線）を介して外部の機器と通信する通信手段６と、これら撮像手段２、検知／認識手段３、記録手段５および通信手段６を制御する制御手段４を有する。

なお、上述の構成要素の全てをカメラ１に備える構成とせずに、撮像手段２および通信手段６をカメラ１に配置し、その他の構成要素をカメラ１の外部のサーバ等のコンピュータシステムやその他の機器に設けるものとしてもよい。また、店舗５０等の撮影エリアに複数台のカメラ１を配置する場合に、１台のカメラ１に上述の構成要素の全てを配置し、残りのカメラ１には、基本的に撮像手段２と通信手段６だけを設けるようにしてもよい。すなわち、カメラ１が複数台ある場合に、１台のカメラ１にコンピュータシステムとしての機能を付加し、残りのカメラ１を撮影した画像を出力する一般的な監視カメラとして用いるものとしてもよい。いずれにしろ、監視情報収集システムを複数台のカメラ１から構成することが可能である。

撮像手段２は、例えば、一般的な監視カメラと同様の構成を有するもので、例えば、カメラ１の向きに応じて設定された画角に対応する撮影範囲を撮影して、撮影した画像を動画として送信するようになっている。この撮像手段２としては、本実施の形態において、視差から距離／サイズを算出可能なステレオカメラを用いるようになっている。このステレオカメラを用いることにより、被写体の形状を算出可能であり、画像上の特徴点から各種認識を行う際に立体形状から特徴点を求められるのでより正確に認識が可能となり、人検知を容易に行うことが可能となるとともに、顔認識をより詳細に行うことが可能となる。

また、検知された人までの距離の変化を視差から算出可能であり、人の移動軌跡の解析をカメラ１から検知された人までの距離に基づいて容易に行うことができる。また、ステレオカメラの画像に基づいて、検知された人の属性情報として、身長、体形、服装等を求められるとともに、それらに基づいて、以下のような推定を行うことが可能である。すなわち、ステレオカメラで撮影された人が、大人か子供か、太っているか痩せているか（体形）、男性か女性か等を推定して属性情報としてもよい。なお、店舗５０内の客４０の行動を画像認識して、所謂万引き等の犯罪行為を検出するものとしてもよく、例えば、手に取った商品を認識し、商品が元に戻されるか、買い物カゴに入れられるか、それ以外かを判定して、それ以外の場合に関係者４１に通知するものとしてもよい。また、機械学習により万引きを行ったか否かを動画上の人の動きから判断するような構成としてもよい、

また、カメラ１には、撮像手段２に加えて音声を入力する音声入力手段を設けてもよく、監視エリア内の音声をデジタル録音可能としたり、音声認識したりしてもよく、音声認識した場合に、監視エリア内の秩序を乱しているか否か等を判定してもよい。

また、撮像手段２は、ステレオカメラに限られるものではなく、単眼カメラであってもよい。この場合に、視差から距離を算出できないので、人の背景となる店舗５０の商品棚５４，５５の位置や、これらの各棚板の高さなど、人と比較して、高さやサイズや距離を算出可能な背景となる構成要素の位置と形状を記憶しておき、これに基づいて人の検知と、人の移動軌跡の解析と、人の身長、体形等を求めるようにしてもよい。また、撮像手段２として、例えば、距離画像センサを用いてもよい。距離画像センサとしては、例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を用いることができる。ＴＯＦは、投射したレーザーが対象まで往復するのにかかる時間から、距離を計測する。

距離画像センサを撮像手段２として用いれば、被写体までの距離が求められるとともに、解像度を高くすることで顔認識等も可能になり、距離画像センサで、人検知、移動軌跡、顔認識が可能となる。なお、距離画像の解像度が十分でなく、顔認識の精度が上がらない場合に、距離画像に単眼カメラによる画像を組み合わせて顔認識を行ってもよい。

検知／認識手段３は、演算処理装置とメモリとを備えるコンピュータシステムであり、画像認識を行うものである。すなわち、撮像手段２で撮影された画像から画像認識により人検知、人追跡（移動軌跡）、顔認識等の画像解析および画像認識を行うようになっている。人検知においては、画像上の被写体が人か否かを画像認識により判定することになる。ここで、店舗５０では、入出口５６から人が入店することになり、入店する人を検知することになる。なお、人検知において、入出口５６から店内に移動する被写体は、人候補である。

人検知では、人か否かを判断するが顔認識では、顔の画像認識により、顔の特徴点・特徴量等を求めこれを顔データとして記憶するようになっている。複数の顔データを比較した場合に、同じ人の顔データは、例えば、特徴点や特徴量が近似する部分が多く、違う人の顔データでは、同じ人の場合のように近似しない。したがって、顔データを比較した場合に近似する特徴点や特徴量の数等の条件など、周知の比較条件により比較した２つの顔データが同じ人のものか違う人のものかを判定することができる。すなわち、顔画像のマッチングを行うことができる。実際には、例えば、画像認識に関連する機能のライブラリであるＯｐｅｎＣＶ（Ｏｐｅｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）、および、ディープラーニングによる認識を利用して、上述の人検知、人追跡、顔認識を行うことができる。最新のＯｐｅｎＣＶライブラリには、機械学習機能も含まれ、例えば、ディープラーニングモジュールも備える。

ここで、本実施の形態では、画像上で人を追跡するだけではなく、ステレオ画像の視差で求められる距離に基づいて、画像上で追跡される人の実際の店舗５０内の位置を求め、この位置の時間経過による変化を軌跡として求めるようになっている。なお、人検知における人か否かの判断や、顔認識においても、ステレオ画像から得られる３次元画像に基づいて行われる。したがって、特徴点も三次元の立体画像上で求められる。ただし、上述のように、撮像手段２で単眼カメラが用いられる場合には、背景となる固定構造物と人検知および追跡された被写体との位置関係を推定して、人の店舗５０内の位置を決定してもよい。

また、ＴＯＦ等の距離画像センサで測定された距離に基づいて、店舗５０内の人の位置を求めて、この位置の移動を軌跡として記録するものとしてもよい。この場合に、人検知、人追跡、顔認識を距離画像センサから出力される距離画像に基づいて行うことが可能であり、この場合も３次元画像を画像認識することになる。また、距離画像センサの距離画像と単眼カメラの画像とを組み合わせて画像認識を行うようにしてもよく、距離画像による各画素までの距離と、距離画像より解像度の高い単眼カメラの画像とを用いて画像認識することができる。

以上のことから検知／認識手段３は、図３に示すように、画像から人を検知する人検知手段３１と、画像から検知された人を画像上で追跡するとともに当該人の位置を解析して人の移動軌跡を求める軌跡解析手段３２と、検知された人の顔認識を行う顔認識手段３３とを備える。これら人検知手段３１と、軌跡解析手段３２と、顔認識手段３３は、制御手段４を介して記録手段５に接続され、人検知手段３１で検知された人のＩＤ、軌跡解析手段３２で求められた移動軌跡、顔認識手段３３で得られた顔データが記憶される。

なお、人の目、鼻、口、顎、額、髪等の特徴点を抽出する上では、画像中における顔の大きさが問題になり、人として検知可能な画像中の人のサイズより、顔認識可能な画像中の顔のサイズの方が大きくなる可能性が高い。すなわち、カメラ１の撮影範囲内で、人検知可能なカメラ１から人までの距離より顔認識可能なカメラ１から人までの距離の方が短い。すなわち、図４に示すようにカメラ１の撮影範囲のうちのカメラ１に近い範囲が顔認識エリア１０となり、顔認識エリア１０より広い範囲が人検知エリア１１となる。

なお、人検知エリア１１には、顔認識エリア１０が含まれる。この場合に、例えば、コンビニエンスストア等の店舗５０内において、店舗５０内の全ての範囲をカメラ１の顔認識エリア１０内に収めようとすると、カメラ１の台数を増やしたり、カメラ１の解像度を高めたりする必要が生じ、コストが増大する場合に、図１に示すように店舗５０内の一部のエリアだけを顔認識エリア１０としてもよい。例えば、図１に示すように、カメラ１を３台設置して、店舗内の全ての範囲がカメラの撮影範囲に入るとともに、カメラ１の人検知エリア１１に入るようにした場合に、顔認識エリア１０が店舗５０内の一部だけをカバーするものであってもよい。

本実施の形態では、図１に示す店舗５０において、右下のカメラ１の人検知エリア１１（撮影範囲）内に店舗５０のほぼ全域が入るようになっているが、実際には商品棚５４に邪魔されて、人検知エリア１１内でも撮影されない部分が生じる。この撮影できない部分をカバーするように、店舗５０の左右端部にそれぞれカメラ１が配置されている。しかし、顔認識エリア１０は、店舗５０の一部しかカバーしていない。

また、店舗５０の左端部に配置されたカメラ１の顔認識エリア１０に店舗５０の入出口５６が含まれており、店舗５０内の一部だけが顔認識エリア１０であっても、入出口５６から入店する全ての客４０の顔が認識可能となっており、客４０は入店時に顔認識されて、例えば、既存の客４０か新規の客４０かが判断されるようになっている。また、図１上の右側のカメラ１は、図中左側のレジカウンタ５２およびレジカウンタ５２内の立入禁止エリア５３を撮影可能となっており、関係者４１ではない客４０が立入禁止エリア５３内に入るのを監視可能となっているとともに、キャッシュレジスタへの不正アクセスを監視可能となっている。

なお、この実施の形態では、各客を識別できればよく、例えば、昨日の朝来店した客と、今朝来店した客が同じ人か違う人かを判定するのに顔認識を用いており、必ずしも、顔データと氏名、住所等の個人情報を紐付ける必要はない。ただし、後述のようにレジスタ５１から出力される購入品、購入額、購入日時、現金払いプリペイドカード払い等の会計情報のデータを紐付けするものとしてもよい。すなわち、顧客管理の一貫としてＩＤで識別される各顧客を識別して、各顧客の購入を含む行動を記録するようになっている。

制御手段４は、撮像手段２による撮影の開始、終了を制御するとともに、焦点調節、露出補正等を制御してもよい。また、制御手段４は、撮像手段２で撮影された画像のデータを記録手段５に記録する。また、制御手段４は、検知／認識手段３で認識された顔データと、顔データ毎の移動軌跡のデータと、画像から認識される身長等の体格や体形の身体情報と、これら身体情報や画像からよみ取られる服装や顔認識時に認識された化粧等の情報から推定される年齢、性別、人種等の推定情報を監視情報の一部である付属情報として顔データ、移動軌跡データに付随させてＩＤに関連付けて記録手段５に記録する。

通信手段６は、ネットワーク７を介して、他のカメラ１と通信し、情報供給と人の移動軌跡の引き継ぎを行う。移動軌跡の引き継ぎは、基本的に撮影エリアが重なる部分で位置が一致する人の移動軌跡を引き継ぐようになっているが、各カメラ１で顔認識されている場合には、同一人物の各カメラ１で解析された各移動軌跡を顔認識で得られた顔データの所定の一致条件を満たすことに基づいてつなぎ合わせてもよい。

また、撮影情報収集システムにおける情報収集装置としては、上述の撮像手段２、検知／認識手段３、記録手段５、通信手段６、制御手段４が各カメラ１に備えられているが、収集された情報を見るための装置を設けてもよく、例えば、ディスプレイとキーボード、ポインティングデバイス等の入力装置と、演算処理装置とを備えた端末を、ネットワーク７を介して各カメラ１の通信手段６に接続してもよい。この端末により、カメラ１の記録手段５に記憶された画像、移動軌跡、付属情報等のデータの閲覧や管理を行うことができる。

なお、カメラ１の画像を常時監視している必要はなく、例えば、立入禁止エリアに関係者４１以外が侵入した場合に警報を鳴すような機能により、カメラ１が画像認識に基づいて自動で処理する構成となっていてもよい。また、記録手段５のデータを外部のコンピュータシステムに出力して、当該コンピュータシステムで顧客管理、商品の陳列方法等の検討が可能となっていればよく、店舗５０に端末がなくてもよい。

また、カメラ１の通信手段６は、ネットワーク７を介してキャッシュレジスタ５１と接続されるようになっている。キャッシュレジスタ５１は、例えば、ＰＯＳシステム（販売時点情報管理システム）用のＰＯＳレジであり、販売時に客４０が購入した商品の商品名、価格、購入日時、支払い方法（現金、カード払い等）、ポイントカードの点数等を出力する。本実施の形態では、キャッシュレジスタ５１から上述の各種情報がカメラ１に送信される。

カメラ１の制御手段４は、キャッシュレジスタ５１から商品の購入に対応する情報が入力した場合に、この情報が入力した際にレジカウンタ５２の立入禁止エリア５３の外側でキャッシュレジスタに最も近い客４０のＩＤに関連付けて、キャッシュレジスタ５１から送信された購入商品等に関する情報を記録手段５に記録するようになっている。記録手段５では、キャッシュレジスタ５１から送信された情報がＩＤに関連付けられて付随情報として記録される。

これにより、客４０の購入商品が分かるとともに、購入した商品と移動軌跡が分かるので、商品の陳列方法を検討する場合の基礎資料として利用可能である。すなわち、商品を購入する前や後にどの商品のそばを通ったかを解析し、商品の陳列と客４０の移動との関連性を求めることなどが可能になる。また、移動軌跡が雑誌売場の前で止まった客がその後どのような商品を購入したのか、お弁当売り場の前で止まった客がお弁当を購入しているか否かなどの情報を分析することにより、商品の陳列方法や、お弁当等の陳列時間が短い商品の最適な入れ替え時期や、飲料系の商品とお弁当系の商品の好適な陳列方法などを得ることができる。

次に、記録手段５において、ＩＤ（ａ）と関連付けて記憶されるデータについて説明する。ＩＤ（ａ）と関連付けて記憶されるデータは、顔データ（ｂ）と、プロファイル（ｃ）と、購入履歴（ｄ）と、移動軌跡（ｅ）とである。顔データ（ｂ）は、上述のように、特徴点や特徴量等であり、２つの顔の画像がある場合に、同じ人か別の人かを識別可能とするデータである。プロファイル（ｃ）は、カメラ１で撮影された画像の解析（認識）によって得られるデータと、外部から入力されたデータであり、顔データ（ｂ）や移動軌跡（ｅ）に対して付随する付随情報である。

プロファイル（ｃ）には、例えば、身長、体形、大人／小人、性別、服装（色等）等の画像認識に基づくデータが含まれるとともに、後述の関係者（立ち入り禁止エリア５３への入出許可者）か否か等の外部から入力されたデータが含まれる。購入履歴（ｄ）は、キャッシュレジスタ５１から入力されるデータであり、購入した商品の商品名（商品ＩＤ）、数量、購入額、購入品の種類等がある。移動軌跡（ｅ）は、基本的に店舗５０内の位置と日時のデータを有するとともに、位置を時間順でつなぎ合わせたものである。なお、プロファイル（ｃ）には、要注意人物等の情報を登録するようにしてもよい。

次に、このような監視情報収集システムによる監視情報の収集方法と、監視方法について図６のフローチャートを参照して説明する。なお、フローチャートで示される処理は基本的に制御手段４における処理である。
まず、店舗５０の入出口５６から客４０が入店すると、入店した客４０がカメラ１に撮影され、撮影された画像において入出口５６から入店する客４０がカメラ１の検知／認識手段３に人として検知される（ステップＳ１）。画像上で検知された人を検知認識手段３が追跡して移動を解析し、検知された人の検知がなくなるまで、例えば、店舗５０から退出するまでの移動軌跡を時間経過に対応して検出する（ステップＳ２）。

検知されて移動軌跡を求めるために画像上で追跡される人の顔を検知認識手段が検知するとともに認識して、顔の特徴点や特徴量を求め、これを顔データとして記録手段５に記録する（ステップＳ３）。なお、顔認識は、例えば、客４０が入出口５６から入店した際にカメラ１に撮影されることで行われるが、ここで顔認識に失敗した場合には、移動軌跡を求めながら、次にいずれかのカメラ１の顔認識エリア１０に入って、顔をカメラ１側に向けた際に顔認識が行われる。

顔認識が行われると、既に顔認識されて後述のようにＩＤと関連付けて記憶された顔データと、今回顔認識されて取得された顔データを比較し、新たに認識された顔データが既に記録された顔データであるか否か、すなわち、認識された顔データが登録済みの顔データか否かが判定される（ステップＳ４）。この際には、顔データの特徴点や特徴量の一致点が少なく一致条件を満たさない場合に、新たな客４０として、未使用の新規ＩＤが登録される（ステップＳ５）。この新規ＩＤに関連付けられて顔データや付随情報等の情報がプロファイルとして認識される（ステップＳ６）。

一方、新たに認識された顔データと、既にＩＤと関連付けて記録された顔データとを比較した際に、特徴点や特徴量の一致点が多く、一致条件を満たしていると判定された場合、すなわち、認識された顔データが既に登録済みである場合に、上述の顔データ、付随情報が登録済みのＩＤのプロファイルとして認識される（ステップＳ７）。そして、登録済みのＩＤに関連付けて認識されたプロファイルが登録済みＩＤのプロファイルとして記録手段５で更新される（ステップＳ８）。

上述のように新規のＩＤまたは登録済みのＩＤとともに新たなプロファイルが記憶されるとともに、これらＩＤのいずれかに関連付けて移動軌跡のデータが軌跡プロファイルとして記録手段５に記録される（ステップＳ９）。なお、移動軌跡は、基本的に客４０が店外に出るまで検出されることになり、定期的に軌跡プロファイルが更新される。
次に客４０が未だ店舗５０内（エリア内）に居るか否かが判定される（ステップＳ１０）。客４０が店舗５０内に居らず、エリア外と判断された場合には、移動軌跡の検出が終了し、記録手段５において、移動軌跡の情報を含むＩＤに関連付けられた情報の記録（ファイル等）がクローズされる（ステップＳ１１）。

未だ店舗５０内（（監視）エリア内）に検知された人がいる場合には、現在の移動軌跡または所定時間内の移動軌跡が、立入禁止エリア５３（禁止エリア）と重なるか否かを判定する（ステップＳ１２）。すなわち、検知された客４０が立入禁止エリア５３内に侵入しているか否かを判定する。次に侵入した客４０のＩＤに関連付けられて記録手段５に記録されたプロファイルを参照し、当該ＩＤのプロファイルに店員等の店舗５０の関係者で、立入禁止エリア５３への侵入が許可されているＩＤの人か否かを判定する（ステップＳ１３）。

記録手段５のＩＤ毎に登録されるプロファイルには、画像から認識された項目やさらに画像や認識された項目から推定される項目以外に、外部から入力された付属情報が記憶可能となっており、ここでは、付属情報（プロファイル）として、店舗関係者４１のプロファイルに、例えば、立入禁止エリア５３への入出許可を有することが記録されている。

したがって、関係者４１の顔データを認識してＩＤが読み出された際に、ＩＤに関連付けられた付属情報として立入禁止エリアへの入出許可があるので、関係者４１の移動軌跡と立入禁止エリア５３と重なっても警報を鳴らさないようになっている。なお、店舗５０には、警報を発する警報装置が設置されており、カメラ１の制御手段４は、通信手段６およびネットワークを介して警報装置に警報（アラーム）の開始と終了を示すコマンドを出力可能となっている。

したがって、移動軌跡が立入禁止エリア５３と重なる人のＩＤに関連付けられて立入禁止エリア５３への入出許可がない場合に、制御手段４が警報装置にアラーム開始のコメンドをセットし（ステップＳ１４）、次の処理で通信手段６を介して警報装置にアラーム開始のコマンドが出力される。一方、上述のＩＤに関連付けて立入禁止エリア５３への入出許可がプロファイルに記録されている場合に、制御手段４はアラームのコマンドをセットしない。

上述の制御手段４による処理は、実際にはリアルタイムの処理であるとともに、検知／認識手段３が複数の人の移動軌跡を同時に検出できるようになっており、検知／認識手段３が、同時に複数の人の移動軌跡を出力可能となっている。それに対して制御手段４が移動軌跡やプロファイルの更新等をリアルタイムで行うようになっている。

また、複数のカメラ１がある場合に、カメラ１同士は、連動しており、各カメラ１で同時に撮影されている人が同じ人か違う人かを移動軌跡や顔データに基づいて判定するようになっているとともに、同じＩＤの人が複数のカメラ１で撮影されている場合に、一つのＩＤに対して一つの移動軌跡が得られるように各カメラ１で連携するようになっている。

したがって、人が複数のカメラ１の互いに重ならない撮影範囲を順次移動した場合に、各カメラ１で解析される移動軌跡をつなぎ合わせるようになっている。この際に、一方のカメラ１で顔認識され、他方のカメラ１で顔認識されていない人の場合に、顔認識された時点でＩＤが確定するとともに、顔認識されていないカメラ１でも移動軌跡が顔認識したカメラ１で検出された移動軌跡につながる場合に同じＩＤが移動軌跡に付けられ、各カメラ１で検出された移動軌跡が接続される。

本実施の形態の監視情報収集システムによれば、人検知と顔認識とにより、監視エリア内に入った人が識別されて識別されたそれぞれの人にＩＤが付けられるので、監視エリア内の人の氏名等の個人情報がわかっていなくとも、ＩＤで管理可能となる。すなわち、監視エリア内の人が初めて監視エリア内に入った人か、過去に監視エリアに入ったことのある人か、頻繁に監視エリアに入る人かを判断することができ、初めての人が監視エリアに入ったことや、いつも来る人が監視エリアに入ったことを関係者４１に報知するようなことが可能となる。

監視エリアを店舗５０とした場合に、常連の客４０が来たことや、初めての客４０が来たことを店員に報知することが可能であり、顧客への対応が容易になる。また、店舗５０内の各客４０の移動と、客４０の購入した商品等が分かることにより、各商品の配置や、各商品棚の配置等の店舗５０内のレイアウトの参考にすることが可能である。
また、店舗５０内のレイアウトの検討用データとしては、記録手段５に外部から入力されて外部情報として、商品の配置（商品棚の配置を含む）を示す配置情報を記録している状態で、上述のように求められた移動軌跡と商品の配置を解析して、客が近づいた商品、客が近づいて立ち止まった商品等を属性情報として記録するようにしてもよい。この場合の商品は、大まかな商品種類であってもよく、例えば、メーカー等が分かる商品名であってもよいが、そこまで特定できない場合に、ノートや文房具を商品の情報としてもよい。
さらに、画像認識により、商品棚５４，５５の客４０が立ち止まった位置にある商品の情報や、客４０が商品を手に取った際の商品の画像や手に取られる前の商品の位置から客が手に取った商品の情報を記録してもよい。

これら記録手段５に記録されたデータは、客４０毎のデータとして顧客管理に利用され、例えば客が再来店するリピート率や、同じ商品を買うリピート率や、新製品を買う率や、同じ移動軌跡で移動するかなどが求められる。また、当該店舗５０または複数の店舗５０の全ての客４０のデータをまとめて、画像認識される客４０の種類（大人／小人、性別など）の構成比、すなわち、小人が多いとか、女性が多いとかや、各客４０の移動軌跡と購入商品との相関関係や、各客４０の移動軌跡と各客４０のプロファイル（属性）との相関関係などを求めることができる。すなわち、マーケティング等のための情報収集において、客４０の移動軌跡を利用することが可能となる。

また、監視情報収集システムは、一般的な監視装置として、犯罪発生後に犯罪の関係者の画像を探すことができるが、例えば、被害者や加害者の犯罪関係者の写真等の画像がある場合に、当該写真をカメラ１で撮影して顔認識させて、監視情報収集システムの記録手段５に同一人物が記録されているか否かの判定が可能となる。この際には、必ずしも撮影された動画のデータが無くても、記録された顔データで同一人物が居るか否かを判定できる。したがって、データ容量の大きな動画データを長期間保存しなくても、顔データ等が長期間保存されていれば、犯罪関係者が来たか否かと、来た場合の移動軌跡や購入した商品を知ることが可能となる。

なお、本実施の形態の監視情報収集システムにおける監視エリアは、店舗５０に限られるものではなく、集合住宅、テナントビル、工場、美術館、博物館、オフィスビル等の各種施設を監視エリアとすることができる。これら施設を監視エリアとした場合も、人を検知するとともに識別して移動軌跡を検出することができるので、移動軌跡から不審者を見つけることができる。例えば、集合住宅では、エントランスから自分の部屋へ最短のコースで移動するのが通常であり、それ以外の移動軌跡を描く人を要注意者としてもよい。

また、集合住宅以外の施設でも、移動軌跡によって、不審者か否かを判定できる可能性が高く、特に、関係者以外立ち入らないような場所に関係者以外の人が立ち入った場合などに不審者と判定することが可能である。また、上述のように本実施の形態の監視情報収集システムによれば、顔写真等の画像が手に入れば、監視エリア内に立ち入ったか否かを自動で判定可能であるとともに、その移動軌跡とプロファイルを求めることが可能であり、人間がカメラ１の録画された画像を解析するより容易に犯罪関係者が居たか否かを判定することができる。また、客４０が出入りする店舗５０等の施設ではなく、関係者以外が立ち入ることが少ない施設では、予め関係者を登録しておくことにより、不審者を容易に発見することができる。また、このような施設においては、既に認識されている人物以外の初めて認識された人物を不審者と判定することも可能である。

１ カメラ
２ 撮像手段
３ 検知／認識手段
３１ 人検知手段
３２ 軌跡解析手段
３３ 顔認識手段
４ 制御手段（顔データ取集手段、顏判定手段、属性解析手段）
５ 記録手段
６ 通信手段

Claims (7)

1. 人の立ち入りが禁止された立入禁止エリアと入出口とを含む監視エリアを撮像する撮像手段と、
   前記撮像手段で撮影される画像から人を検知する人検知手段と、
   前記人検知手段で検知された人を前記画像上で解析して移動軌跡を求める軌跡解析手段と、
   前記人検知手段で検知されるとともに前記軌跡解析手段で前記移動軌跡が求められる人の前記画像上の顔から他の顔と識別可能な顔データを求めて顔を認識する顔認識手段と、
   異なる人の前記顔データを互いに識別可能とする識別符号に関連付けて前記顔データと前記顔データに対応する前記移動軌跡を記録する記録手段と、
   前記記録手段に記録されている前記顔データに対して前記顔認識手段で求められた前記顔データを比較し、前記顔データが前記記録手段に登録済みであるという条件を満たすか否かを判定する顏判定手段と、
   前記条件を満たす場合に、前記顔認識手段で求められた前記顔データに対応する前記移動軌跡を、当該顔データと一致する前記記録手段に記録された前記顔データに関連付けられた前記識別符号と関連付けて前記記録手段に記録し、
   前記条件を満たさない場合に、前記顔認識手段で求められた前記顔データおよび当該顔データに対応する前記移動軌跡に、未だ前記顔データに関連付けられていない前記識別符号を関連付けて前記記録手段に記録する顔データ取集手段と、
   を備え、
   前記撮像手段は、顔認識エリアと、顔認識エリアよりも広い人検知エリアとをその撮影範囲内に含むとともに、前記監視エリアに対する前記入出口が前記顔認識エリア内に含まれる第１の撮像手段と、前記立入禁止エリアをその前記人検知エリア内に含む第２の撮像手段とを有することを特徴とする監視情報収集システム。
2. 前記軌跡解析手段は、複数の前記撮像手段でそれぞれ撮影される画像に基づいて、複数の前記撮像手段の各撮影範囲を合わせた範囲内で移動軌跡を求めることを特徴とする請求項１に記載の監視情報収集システム。
3. 前記顔データの属性となる属性情報を、少なくとも前記画像、前記移動軌跡または外部から入力される外部情報から求める属性解析手段を備え、
   前記記録手段は、前記属性解析手段により求められた前記属性情報を前記識別符号に関連付けて記録することを特徴とする請求項１または２に記載の監視情報収集システム。
4. 前記撮像手段が、商品が陳列されている店舗に配置され、
   前記属性解析手段は、前記外部情報として前記商品の配置を示す配置情報が入力され、前記配置情報および前記移動軌跡とに基づいて、顏認識された人が近づいた商品を示す情報を前記属性情報とすることを特徴とする請求項３に記載の監視情報収集システム。
5. 前記撮像手段が、会計された商品を示す会計情報を出力可能なキャッシュレジスタを有する店舗に配置され、
   前記属性解析手段は、前記外部情報として入力された前記会計情報を、当該会計情報に対応する会計が前記キャッシュレジスタで行われた際に、前記キャッシュレジスタに近い位置となる前記移動軌跡に対応する前記属性情報とすることを特徴とする請求項３または請求項４に記載の監視情報収集システム。
6. 前記記録手段には、特定の人に対する顔データが特定の人であることを識別可能に記録され、前記顔認識手段は、前記顔データから特定の人を識別することを特徴とする請求項１〜請求項５のいずれか１項に記載の監視情報収集システム。
7. 前記記録手段には、前記人検知手段により検知された人が前記識別符号に関連付けて前記立入禁止エリア内への侵入を許可されているかの情報が記録され、
   前記検知された人の前記移動軌跡が前記立入禁止エリア内と重なり、かつ、当該検知された人が前記立入禁止エリア内への侵入を許可されていない場合に、警報を発生する警報手段を更に備えることを特徴とする請求項１〜請求項６のいずれか１項に記載の監視情報収集システム。

Images