JP4925419B2 - 情報収集システム、及び、モバイル端末 - Google Patents

Description

本発明は、情報収集システムに関し、特にカメラと IC タグ情報を融合させたシステムに関わる。

従来から、監視エリア内に入り込んできた入場者を画像処理で検知し、追尾する監視システムは存在する（特許文献１参照。）。しかし、監視カメラで取得した画像について、画像処理をしないで盗難者等の入場者を自動判別する監視システムはない。また、盗難品を検知して発報する装置は存在する（特許文献２参照。）が、監視カメラにより画像処理をしないで自動的に盗難者等の入場者の顔画像を記録するシステムはない。
更に、GPS（ Global Positioning System ）等の位置情報システム（ GIS ）（特許文献３参照。）や IC タグ（ RFID タグ、無線 IC タグとも呼ばれる）を使用した位置情報システム（特許文献４参照。）は存在するが、両者を組み合わせた位置情報システムはない。また、GIS による位置情報システムは、大きな範囲で現在位置を割り出しマップ上に表示することは可能だがビルの内部など現在いる階や部屋など詳細な情報を得ることはできない。

特開２００１−３１９２７９号公報 特開２００４−２６５２６２号公報 特開平６−３３１３７６号公報 特開２００６−６７０８６号公報

盗難者等の不審者を含む入場者を検知して追尾する場合、盗難品を自動検知した後、店員や警備員がその場所に駆けつけたり、常時録画された監視カメラ画像を検索し盗難者の画像を警察に渡したりしていたが非常に手間と時間がかかった。また、監視カメラの撮像している映像は、画像データとして録画されているものの、常時、映像（画像）を録画しているだけなので盗難者の顔画像などの見たい映像のみを録画できず録画効率が悪かった。更に、一般的に、盗難者は常習性があり、後日、同じ場所や別の場所で、繰返し、同じような罪を犯す可能性が高い。
GIS による位置情報システムでは、車や飛行機などの大きな移動体の位置を把握することは可能だが、駅構内、ビル、大規模スーパーマーケットやショッピングモールなどで人物の位置を正確に把握することはできない。

本発明の目的は、盗難者等の不審人物を含む入場者を自動的に判別する情報収集システムを提供することにある。
また本発明は、カメラで撮像された画像から、画像処理によって盗難者等の不審人物を含む入場者の顔画像を抽出し、静止画で録画することで、大幅に録画効率を上げることが可能な情報収集システムの提供を目的とする。
更に、本発明は、盗難者等の不審人物を含む入場者の、顔画像によるデータベースを構築することで、システムに接続される全てのカメラに映し出された人物の顔画像と、構築したデータベースに登録された盗難者とを比較することで自動的に盗難経験者を判別し、管理者等に警告を発することが可能な情報収集ラシステムを提供することを目的とする。
また、本発明は、位置情報が記録または登録されたカメラから、画像と共に位置情報を受信することで、モニタ側で自動的に設置されたカメラの中から適切なカメラを、カメラ選択を行うマップ上にカメラ選択アイコンとして配置することが可能な情報収集システムを提供することを目的とする。
また更に、本発明は、建物内部のカメラや照明など広範囲に多数設置される電気機器に、現在位置情報を記録した IC タグを組込むことで、IC タグリーダが内蔵されたモバイル端末から現在の詳細な位置をマップ上に表示することが可能情報収集システムを提供することを目的とする。

上記目的を達成するために、本発明は、IC タグが組み込まれた購入品を IC タグリーダ（ IC カードリーダ）で読み込むと同時に、レジ付近に設置したメガピクセルカメラで撮像した画像から購入者の顔を画像処理で抽出することで、購入品と購入者の顔画像（静止画）を記録装置で記録しデータベースとして保存することを特徴とする。

また本発明は、店舗出口やゲートなどに IC タグリーダを設置し、IC タグリーダで読込まれた商品がレジで購入されたものか盗難品かを判別し、盗難品であれば警報音を鳴らすと共にデータベースに保存された盗難者の顔画像を警察に提出することを特徴とする。また従来とは異なり、アラーム時の静止画のみを記録するため常時映像を記録する必要は無いので、録画効率を向上することが可能である。

更に本発明は、店舗入口やショッピングモールなど他のカメラで撮像された人物の顔画像とデータベースに登録された盗難者の顔画像を照合し盗難者と判別された場合、警報アラームを発することを特徴とする。

また本発明は、ショッピングモール、市場、商店街など広いエリア内に複数台設置された情報収集システムを構築し、LAN 等のネットワーク回線で接続し、監視センタ側に設置された管理サーバで盗難者を自動判別し行動ルートから盗難者の行動予測を行ない、盗難者が存在するエリアに対して警報アナウンスを発すると共に、ゲートの電子錠を自動制御することを特徴とする。

また本発明は、ショッピングモール、市場、商店街など広大なエリアに多数設置されたカメラにおいて、設置時にカメラの位置情報（緯度、経度、高さ）をカメラに設定することで、カメラから画像のほかに位置情報もモニタ表示することを特徴とする。
更に本発明のカメラが WEB カメラである場合、管理サーバから WEB カメラにアクセスした際、カメラは位置情報をサーバ側に伝送することでサーバはカメラの位置情報から GIS（地図情報システム）にカメラ選択用アイコンを自動的に配置することを特徴とする。
また、位置情報が記録された IC タグをカメラに組込むことで位置設定を行なう場合、上記特徴に加えて IC タグリーダで直接、カメラから位置情報を読み取ることで本カメラ設置場所であればどこでも現在位置を把握可能である。

更に本発明は、携帯電話やモバイルパソコンなどの IC タグリーダが内蔵されたモバイル端末でカメラ内蔵の IC タグの位置情報（緯度、経度、高さ）を読取ると、モバイル端末はエリア地図配信サーバに接続し、サーバから３次元地図データをダウンロードする。
また好ましくは、次に IC タグの位置情報をもとに地図データ上に現在位置を表示することを特徴とする。また、必要に応じてモバイル端末からオペレーションセンターにアクセスすることができ、モバイル端末でオペレータと双方向通話することができる。この場合、カメラで撮像した使用者の顔画像も配信し、お互いに顔画像（動画）付きで会話することができる。

更に本発明は、建物内部の照明や市街地の街灯や電柱などに位置情報を記録した IC タグを組込むことで、モバイル端末で IC タグの位置情報（緯度、経度、高さ）を読取ると、エリア地図配信サーバに接続し、サーバから３次元地図データをダウンロードする。次に IC タグの位置情報をもとに地図データ上に現在位置を表示することを特徴とする。

本発明によれば、カメラで撮像された画像から、画像処理によって盗難者等の不審人物を含む入場者の顔画像を抽出し、静止画で録画することで、大幅に録画効率を上げることが可能となる。
また本発明によれば、盗難者等の不審人物を含む入場者の顔画像によるデータベースを構築することで、システムに接続される全てのカメラに映し出された人物の顔画像と、構築したデータベースに登録された盗難者等の不審人物を含む入場者の画像とを比較することで自動的に盗難等の犯罪経験者を判別し、管理者等に警告を発することが可能となる。
また本発明によれば、監視カメラから、画像と共に位置情報を受信することで、モニタ側で自動的に設置されたカメラの中から適切なカメラをマップ上に図形として配置することができる。
また本発明によれば、建物内部の監視カメラや照明など、広範囲に多数設置される電気機器に、現在位置情報を記録した IC タグを組み込むことで、IC タグリーダが内蔵されたモバイル端末から現在の詳細な位置をマップ上に表示することが可能となる。

即ち、本発明によれば、商品に組込まれた IC タグとカメラまたは画像処理装置を連携させることで、自動的に盗難を検知して発報することができる上、盗難者等の不審人物の顔画像をデータベースに登録することが可能である。従って、蓄積されたそれらのデータと、過去の盗難者等の不審人物に関するデータとをもとに、各地に設置されたカメラで撮像された画像から、犯罪履歴あるいは不審来歴のある人物を自動判別し、そのような人物が来店した場合に、管理者に警告を発することが可能である。

更に、本発明によれば、複数の盗難者等の不審人物を含む入場者を撮像したカメラ画像から盗難者等の不審人物の行動を自動的に把握し、盗難者等の不審人物の軌跡及び行動予測をマップ上に作成することが可能である。また一般的な入場者の動線についても予測が可能である。
また本発明によれば、設置時に設置位置情報を WEB カメラに記録し、管理サーバにその位置情報を配信することで、カメラ増設に伴うアプリケーションソフトの変更を行なうことなく、操作画面のマップ上にカメラ選択アイコンを自動的に配置することができる。
また本発明によれば、WEB カメラに設置された位置情報（縦、横、高さ）を記録した IC タグを組み込むことで、カメラの設置場所であればどこでもカメラから IC タグリーダにより位置情報を読み出すと共に、画像付きでオペレータと双方向通信することが可能である。また監視カメラのほかにビル内部の照明や壁、市街地の電柱や道路などに本 IC タグを組み込むことで、建物内部や地下など GIS よりも更に詳細に位置情報を知ることが可能である。

本発明は、監視カメラと IC タグ情報を融合させ、IC タグが組み込まれた物品を所持する人物を自動判別するものである。また、IC タグが組み込まれた物品を所持する人物の顔画像を自動録画するものである。
更に、位置情報を記録した IC タグを監視カメラに組み込み、組み込まれたカメラの出力画像と位置情報を関連付けしてモニタに表示する。そして、この位置情報（例えば、緯度、経度、高度の情報）によって、カメラ側で現在位置を３次元で詳細に把握することができるものである。

本発明の実施の形態について以下に説明する。
図１は、本発明を LAN（ Local Area Network ）で実現させた場合のシステム構成の一実施例を示すブロック図である。1-1 と 1-2 は IC タグリーダ、2 はアクセスポイント、3 はカメラ、4 は画像処理装置、5 は蓄積配信サーバ、6 は LAN である。カメラ 3 は、例えば、LAN 6 と送受信可能な監視用のメガピクセル WEB カメラである。また、LAN 6 は、無線または有線で、カメラ 3 、画像処理装置 4 、及び、蓄積配信サーバ 5 と結合しており、相互にアクセス可能である。なお、LAN 6 は、他のネットワーク回線とも結合している場合もある。

図１のシステム構成において、101 はレジエリア A1 、102 はレジエリア A2 、103 はレジエリア A3 である。レジエリア A1 〜 A3 は、例えば、ショッピングモールのそれぞれの店舗であり、例えば、１階から３階までのフロアに店舗を有するデパートである。即ち、デパートであれば、レジエリア A1 101 は１階フロア、レジエリア A2 102 は２階フロア、レジエリア A3 103 は３階フロアである。以下、デパートの売場での実施例について図１を参照して説明する。

レジエリア A1 101 〜レジエリア A3 103 内には、それぞれ、IC タグリーダ 1-1 と 1-2 、アクセスポイント 2 、カメラ 3 、及び、画像処理装置 4 が少なくとも１台設けられている。IC タグリーダ 1-1 と 1-2 は、それぞれ、商品の清算のための場所（レジ）毎に設置されている。従って、レジの数が１つであれば、IC タグリーダが１つであり、レジの数が５つであれば、IC タグリーダが５つである。

アクセスポイント 2 は、IC タグリーダ 1-1 及び 1-2 それぞれと無線 LAN でアクセス可能な場所に設置されており、IC タグリーダ 1-1 及び 1-2 がそれぞれ読取った情報を受信する。即ち、レジに設置された IC タグリーダ 1-1 及び 1-2 はそれぞれ、買物客が清算するために、売場内から持ってきた物品に取付けてある IC タグから IC タグ内の情報を読取り、無線 LAN 手段によってアクセスポイント 2 に送信する。

また、アクセスポイント 2 は、受信した情報を、逐次、LAN 6 を介して、画像処理装置 4 に出力する。
カメラ 3 は、所定のフレームレート（例えば、30 fps 、例えば、15 fps ）で視野内を撮像し、取得した画像データを、LAN 6 を介して、１フレーム単位で画像処理装置 4 に出力する。

画像処理装置 4 は、IC タグリーダ 1-1 及び 1-2 のいずれか１つからデータを受信したことを検知して、画像処理を開始する。例えば、画像処理装置 4 は、カメラ 3 から送られてきた画像データから顔情報を抽出し、画像処理装置 4 内の図示しない顔画像メモリに記録された顔画像と比較し、前回記録した顔画像と異なる顔画像であると（別人であると）判定した時には、顔画像メモリのデータを現在の顔画像のデータに更新（上書き）し、かつ、その時の IC タグ の情報及び顔情報とを、LAN 6 を介して、蓄積配信サーバ 5 に伝送する。

蓄積配信サーバ 5 は、画像処理装置 4 から受信した情報（顔画像、更新情報、等）と IC タグリーダ 1-1 または 1-2 から受信した情報（物品情報、支払いの有無、等）とを、レジ情報、時間情報、等と共にデータベース（図示しない）に登録する。レジ情報は、それぞれ、送信した IC タグリーダ毎に記録することもできる。また送信した IC タグリーダ毎に記録しなくても、どの IC タグリーダからの情報であるかを識別する識別子を付加することによって、識別することができる。

なお、データベースは、蓄積配信サーバ 5 に内蔵している記憶装置でも良いし、外付けの記憶装置でも良いし、LAN 等のネットワーク回線を介して結合されている記憶装置でも良く、それらの組合せでも良い。
また、一時記憶装置に記録したデータベースを長期保存用データとして、別媒体に記録することができるので、データベースが有限であって上書き保存を繰り返すような場合でも、別媒体に転送やコピーすることによってデータがなくならないようにすることができる。

もし、買物客等の入場者が、清算のため以外の目的で店内の物品を隠し持っていた場合には、レジを通るかもしれないが、IC タグリーダ 1-1 または 1-2 を通らないため、後述するように、例えば、売場の出入口等チェック用の場所に設置した IC タグリーダが、付近を通過する物品の IC タグ情報を自動的に読取るので、読取った IC タグの情報に未支払いのデータが発見された時には、警報や注意音が鳴るようにし、盗難等を防止することができる。また更に、カメラ 3 の画像をデータベースに記録しておき、かつ、盗難者等の不審者の顔画像を抽出して、IC タグの情報やレジ情報、時間情報、位置情報、等もデータベースのデータとして蓄積しておくことで、参考データや将来の盗難等の犯罪の抑制のためのデータとして利用する。

IC タグリーダ 1-1 及び 1-2 で読取られた商品情報（例えば、商品コード）は、それぞれ、無線 LAN を介して LAN 6 経由で画像処理装置 4 へ伝送される。カメラ 3 は、LAN 6 を経由して、画像処理装置 4 に１フレーム単位で画像データを出力する。カメラ 3 がメガピクセルカメラのように画素サイズが大きく高解像度の場合には、その視野範囲をレジエリア A1 101 全体として全域の画像を取込み、IC タグリーダ 1-1 や 1-2 の検知した情報に対応する必要な領域部分の画像データについて注目し、注目した領域部分の顔画像を抽出することができる。

上述の実施例のように、監視カメラと IC タグリーダをレジ付近に設置することで商品に組込まれた IC タグ情報と購入者の顔画像をデータベースに記録することが可能となる。また、IC タグ等の情報発信部あるいは情報発信体を具備する物品を所持または取付けられた、人物あるいは生物もしくは移動物体を、情報発信体から発信される情報を読取ることで、撮像した被写体と関連付けて記憶することができるため、商品の盗難の防止や、盗難物の発見、児童の登下校時の安全監視、あるいは高齢者や認知症等の患者の監視や警備等に有効な手段を提供することができる。

また、上述の実施例のように、顔画像と組合せ、過去の犯罪者や不審者のデータベースと撮影された人物の顔画像とを比較して、特定のまたは注意すべき人物であるか否かを判断することができるため、盗難や暴行等の防止や抑制に効果がある。
また、この顔等のデータベースは、顧客情報としても利用可能で、特別のお客が来店したときには、即座に有効な待遇を、対象顧客に提供できるように店員に指示を出せるシステム、あるいは店員が気づくシステムを提供できる。例えば、特定顧客が、事前に来店とその内容を連絡してあったときにもその目的や提供しなければならないサービスを、来店が確認されたと同時にディスプレイに表示する、またはプリントアウトする、またはスピーカから音声出力する等によって、店員は速やかに対応すべき内容が分かるので、接客への対応性が向上する。

なお、図１の実施例では、レジエリアの数は３つで説明したが１つであっても1つであっても、あるいは、４つ以上あっても良い。また、カメラは１台であったが、レジの数や配置に応じて、複数台必要な場合には、複数台設置し、それらの情報をよって画像処理装置 4 に送る構成でも良い。更に、カメラの数が多くなり、画像処理装置の処理能力が不足する場合には、画像処理装置を複数台とする構成としても良い。

次に、図２を参照して、本発明の画像処理装置について説明する。図２は、本発明の一実施例の画像処理装置の内部機能構成を説明するためのブロック図である。21 は LAN I/F（ Interface ）部、22 は顔画像抽出部、23 は前の顔画像との比較部、24 はカメラ（メガピクセル監視カメラ）3 から入力された画像フレームのメモリ、25 は顔画像抽出部で抽出された顔画像メモリ、26 は蓄積配信サーバに配信するための配信用顔画像メモリ、27 は画像データから IC タグ情報を検出する IC タグ情報検出部、28 は蓄積配信サーバに配信するための複数の IC タグ情報に対応する顔画像を付加したデータを生成する配信データ生成部、29 は少なくとも画像フレームのメモリ24 と顔画像メモリ 25 と配信用顔画像メモリ 26 とを含むメモリ部、6 は LAN である。

図２において、カメラ 3 からの画像データは、LAN 6 を介して、画像処理装置 4 の LAN I/F 部 21 に入力される。
LAN I/F 部 21 は、LAN 6 を介して入力されるデータの種類を判別し、入力データが画像であるならば、画像処理装置 4 内で処理可能な形式に変換して、画像フレームメモリ 24 に出力する。
また、入力データが IC タグ情報であるならば、LAN I/F 部 21 は、そのデータを IC タグ情報検出部 27 に出力する。IC タグ情報検出部 27 は、入力されたデータから IC タグ情報を抽出し、抽出した IC タグ情報を配信データ生成部 28 に出力する。

画像フレームメモリは、LAN I/F 部 21 から入力される画像データを１フレーム毎に記録し、記録した画像データを顔画像検出部 22 に出力する。顔画像検出部 22 は、肌色素の領域を検出して、目鼻などの輪郭を決定し、顔画像エリアを抽出する。そして抽出した顔画像の情報を顔画像メモリ 25 に出力する。顔画像データは、例えば、VGA（ Video Graphics Array ：640 × 480 ドット）サイズに変換し、静止画で顔画像メモリ 25 に記録される。

次に、比較部 23 は、配信用顔画像メモリ 26 に記録されていた前の顔画像と、新しく抽出及び入力され、顔画像メモリ 25 に記録された現在の顔画像とを比較する。
顔画像を比較して、前の顔画像と新しい顔画像とが異なっていると判定された場合には、配信用顔画像メモリに記録更新する。また、顔画像が、前の顔画像と新しい顔画像とが、同じであると判定された場合には、目や鼻の画像単位でテンプレートマッチング（予め登録されている他方向から見た目や鼻などの画像部品とのマッチング）から顔角度を認識し、顔角度が正面であると認識された場合には配信用顔画像メモリ 26 のデータを更新させ、正面以外の顔角度であると認識された場合であれば、何も更新しない。
なお、顔画像の比較や判定には、周知のアルゴリズムを使用する。

以上のように、新しい顔画像が前の顔画像と異なっていると判定された場合（別人と判定した場合）には、配信データ生成部 28 は、IC タグ情報検出部 27 から与えられた一連の複数の IC タグ情報と配信用顔画像メモリ26 に記録された顔画像データを合成し、パケットデータの形式で、LAN I/F 部 21 と LAN 6 を介して蓄積配信サーバ 5 に伝送する。
蓄積配信サーバ 5 は、配信されたパケットデータから、画像処理装置 4 の IP アドレスを認識し、予め登録された、レジの IP アドレスから、レジ情報とこのパケットデータとを対応付けして、データベースを構築する。
以上の作業により、蓄積配信サーバには、購入者（買物客）の正面から見た顔画像と複数の購入品を対応させたデータが記録される。

図３は、図１で説明した店舗において、更に、その出口やゲートなどに IC タグリーダを設置した場合の盗難防止システムの一実施例の構成図である。また図４は、本発明の盗難者を自動的に判別処理する手順の一実施例を示すフローチャートである。
図３と図４を参照して、本発明の一実施例の店舗の出口やゲートなどに設置した IC タグリーダによって盗難を発見、防止するシステムについて説明する。
既に図１で説明したことは、ここでは説明しない。7 は店舗の出口やゲートなどに設置された警報音鳴動機能付き IC タグリーダ、8 は店舗の出口やゲートに設置されたカメラ、9 は画像処理装置、10 は監視用 PC（ Personal Computer ）、30 はデパートの出入口である。IC タグリーダ 7 、カメラ 8 、画像処理装置 9 、及び、監視用 PC 10 もまた、LAN 6 に結合され、LAN 6 を介して結合された他の機器と相互にアクセス可能である。また、カメラ 8 は、例えば、LAN 6 と送受信可能な監視用のメガピクセル WEB カメラである。

図３と図４において、IC タグリーダ 7 は、出入口 30 を通過する人物が IC タグの取付けられた物品を所持している場合には、所持された IC タグ情報を読みとる（ステップ S31 ）。そして、LAN 6 を通して、読込んだ IC タグ情報の商品コードを蓄積配信サーバ 5 に伝送する。また、画像処理装置 9 に受信したことを LAN 6 を介して、カメラ 8 と画像処理装置 9 に出力する。
カメラ 8 は、所定のフレームレート（例えば、30 fps 、例えば、15 fps ）で視野内を撮像し、取得した画像データを、LAN 6 を介して、１フレーム単位で画像処理装置 9 に出力する。

蓄積配信サーバ 5 は、LAN 6 を介して IC タグリーダから伝送された IC タグ情報の商品コードとレジで購入された際に読込まれた商品コードとを比較する（ステップ S32 ）。
もし、同じコードが存在した場合は照合したことを時刻情報や出入口情報と共に記録する（ステップS33 ）。また、同じコードが存在しない場合には、盗難品と判別し、警報音を鳴動させると共に、カメラ 8 から入力された画像について画像処理装置 9 で抽出した顔画像を監視用ＰＣに表示すると共に蓄積配信サーバに記録する（ステップ S34 ）。
またステップ S33 において、同じコードが存在したと判定された場合でも、カメラ 8 から入力された画像について画像処理装置 9 で抽出した顔画像を蓄積配信サーバに記録しておけば、売場内やデパート内で盗難や紛失があったと分かった時に、犯人や不審者等の特定に役立てることができる。
なお、本処理動作は、情報収集システムが動作している限り停止しない。

以上の処理により蓄積配信サーバ 5 には、購入品と購入者の顔画像付きのデータベースの他に、盗難品データ、盗難者や不審者やあるいは顧客等の入場者の顔画像もデータベース化することが可能である。
更に、従来型の常時映像を動画で記録する監視システムとは異なり、アラーム（警報出力、または発報）時の静止画のみを記録するため、録画効率を大幅に向上することが可能である。
なお、図３及び図４の実施例では、出入口の数が１つであったが複数あっても良いし、出入口内のカメラ、画像処理装置、及び、IC タグリーダの数も１つではなく、いくつあっても良い。また、IC タグリーダでなく、一部またはすべてが IC タグリーダ／ライタであっても良い。

図５を参照して、本発明の他の実施例を説明する。
図５は、店舗内、通路、店舗周辺、店舗の外の建物や道路などを監視するカメラと組合せた盗難防止システムの一実施例の構成を示すブロック図である。図１〜図４と同一の参照番号を付したものは、図１〜図３と同等なため説明を省略する。その他、11 は店舗内や通路などに設置された監視用のカメラ、12 はカメラ 11 用の画像処理装置である。カメラ 11 は、LAN 6 と送受信可能なカメラ、例えば、メガピクセル WEB カメラである。また、カメラ 11 と画像処理装置 12 とは、LAN 6 を介して結合しており、相互にアクセス可能である。また、なお、LAN 6 は、他のネットワーク回線とも結合している場合もある。更に、カメラ 11 と画像処理装置 12 とは、結合された LAN 6 等のネットワーク回線を介して結合された他の機器と相互にアクセス可能である。

図５のシステム構成において、501 は監視エリア S1 、502 は監視エリア S2 、503 は監視エリア S3 である。監視エリア S1 〜 S3 は、例えば、ショッピングモールの売場同士の連絡通路や店舗の出入口につながる通路である。また例えば、監視エリア S1 〜 S3 は、屋上、窓付近の屋内や屋外、店舗周辺、店舗の外の建物や道路、等、レジが無いが、監視が必要なエリアである。

図５において、カメラ 11 は、その監視エリア内の画像を取得して、LAN 6 を介して画像処理装置 12 に画像データを伝送する。画像処理装置 12 は、入力された画像データから人物の顔画像を抽出し、蓄積配信サーバ 5 に顔画像を伝送する。

蓄積配信サーバ 5 は、データベースに蓄積されている過去の盗難者や不審者等の顔画像と配信された顔画像とを比較し、照合した場合、監視用 PC 10 に対して過去の盗難者を捕らえた画像を表示させると共に警告音を発するようにアクセスし、監視用 PC 10 に過去の盗難者を捕らえた画像を表示させると共に警告音を発生させる。

なお、図５の実施例では、監視エリアの数を３箇所で説明したが、１箇所でも２箇所でも良く、４箇所以上あっても良い。また、１つの監視エリアに備えられている監視用のカメラと画像処理装置も複数あっても良い。

図６を参照しながら、本発明の別の実施例について説明する。
図６は、盗難者の情報や行動軌跡、ゲート扉などをモニタ、制御するための盗難者追尾システムの構成を示すブロック図である。図１〜図５と同一の参照番号を付したものは、図１〜図３と同等なため説明を省略する。その他、13 は、本システムを管理するための管理サーバである。

図６のレジエリア A1 101 〜 レジエリア A3 103 における場所で、盗難者や不審者を検知した後、店舗周辺やショップ外部（監視エリア 501 〜 503 ）に設置された監視用のカメラが盗難者または不審者を捉えると、蓄積配信サーバ 5 は、捉えたカメラ位置情報（カメラ11 の IP アドレス、GIS データ等）を管理サーバ 13 に伝送する。管理サーバ 13 は、カメラ位置情報をもとに周辺マップ上に盗難者の行動軌跡を作成する。

なお、カメラ位置情報が IP アドレスである場合には、管理サーバ 13 は、予め、設置した監視カメラ毎に、その IP アドレスに関連付けられた緯度、経度、高さ等の情報のテーブルを持ち、IP アドレス毎に対応する位置情報を参照することができる。
また行動軌跡から行動範囲予測を行ない、ゲート扉などの開閉制御を行なう。
時間順にカメラの位置情報が管理サーバに受信されるため、盗難者の行動範囲、方向を検知することができる。

図７は、本発明の一実施例の表示画面を説明するための図で、図６の管理サーバ 13 で作成され、ディスプレイに表示された盗難者の監視ページである。51 はディスプレイに表示された監視画面、52 は盗難者あるいは不審者と思われる人物を撮像したカメラ画像から抽出した顔画像の表示部、53 は盗難者あるいは不審者と思われる人物を捉えたカメラ位置情報（例えば、カメラ 11 の IP アドレス、GIS データ等）の表示部、54 はデータベースと照合して盗難履歴や何らかのデータが残されている人物の顔画像を自動判別してその過去の人物情報を文字等で表示する履歴情報表示部、55 は対象人物を捉えたカメラ付近の地図（マップ：道路、建物、設備、田畑、森林、川、等）を表示したマップ表示部、56 はマップ表示部 55 を拡大して示した拡大表示部、57 はマップ表示部 56 上の図形の説明部、58 はマップ上のカメラが設置されている位置を示す図形、59 は盗難あるいは不審者が移動した経路を示す矢印である。矢印 59 は矢印の先が移動先でこれに付随して時刻情報等がテキスト表示されていても良い。また複数人物の場合には分岐した線でも良い。また、盗難等の事件が発生した現場を示す図形がマップ上に表示されても良い。

なお、履歴情報表示部 54 には、例えば、過去の犯罪履歴（犯罪の種類、不審な行動、それらの事件の発生年月日や時刻、終了年月日や時刻、発生場所、等の情報の他、例えば、データベースの自動判別では１人に絞り切れない場合には、複数の人物の情報を表示し、オペレータの判断に任せ、オペレータがそれらから選択して特定するか、あるいは、全く別人として新規登録することができる。

図７の実施例によれば、ディスプレイの表示画面には、盗難者や不審者の顔画像、撮像された時刻、撮像された場所（カメラ設置場所）、盗難されたと推定される物品（名称、数量（内容量）、価格（単価）、売場の棚の位置を示す情報、等の物品情報）、過去の犯罪履歴及び過去の盗難品、盗難者周辺のマップが表示され、オペレータや管理者等は、表示画面を見ることによって、警報や注意を喚起することが可能となり、監視エリア内を効率よく監視することができる。

また、上述の実施例でも述べたように、IC タグ情報には、位置情報が含まれるため、盗難、不審者等が検出された場所が、ディスプレイ上に即座に表示されるため、発生現場が分かり易く、警備員や係員の派遣や出動の指示がスムーズに行うことができ、犯罪や事故等の防止や抑制が効率的に実現可能である。更にディスプレイ上に連絡先等を表示することにより、その即応性が向上する。

なお、ディスプレイは、管理サーバに付随するディスプレイでも良いし、ネットワーク回線等の有線または無線または光等の伝送手段で結合され、別の場所に設置して監視できるものでも良い。
この表示画面（ページ）は、WEB 配信され、監視用 PC 10 で閲覧することが可能である。
この監視画面により盗難者の行動エリアを把握することができ、ゲート扉などの電子錠を遠隔制御することで盗難者を特定のエリアに閉じ込めることが可能である。

図８を参照して、本発明の別の実施例を説明する。
図８は、本発明の一実施例の監視システムを説明するための図で、WEB カメラ 81 と管理サーバ 82 と監視用 PC 83 が接続されたネットワーク型監視システムの系統図である。WEB カメラ 81 は、例えば、メガピクセルカメラである。また、監視用 PC 83 は、本システムの設定や操作用のPC でもある。
１階フロア（ 1F ）85 、２階フロア（ 2F ）86 、３階フロア（ 3F ）87 の監視が必要な場所には、それぞれ WEB カメラが監視用に設置され、LAN 84 によって管理サーバ 82 と監視用 PC 83 に結合されている。図８では、煩雑なため、WEB カメラ 81 １台で示し、他の WEB カメラについては省略している。

図８において、本システムの設置時または増設時あるいは改設時に、WEB カメラ 81 を設置する場所についての位置情報を、WEB カメラ 81 に設定する。即ち、管理サーバ 82 は、WEB カメラ 81 に初めてアクセスした際に、WEB カメラ 81 から、縦、横、高さの位置情報を読込み、監視システムにカメラが増設されたことを認識すると共に、カメラ選択アイコンをマップ上に自動配置することが可能である。

例えば、カメラの設置場所がビル内であった場合、管理サーバは予めビル内部のマップが１階は（X 、Y 、Z ）＝（ 0 、0 、0 ）〜（ 100 、50 、3 ）、２階は（ 0 、0 、4 ）〜（ 100 、50 、7 ）などと座標登録されていて、カメラの設置場所が（ X 、Y 、Z ）＝（ 10 、40 、2 ）であった場合、この座標が１階の座標範囲内にあるため増設された WEB カメラが１階に存在すると判別する。更に１階のマップから、X、Y 座標をもとにマップ（フロア平面図）上にカメラ選択アイコンの位置を決定する。尚、矢印 88 は、３次元空間の任意の位置をカーテシアン座標系で表す場合の縦（ X ）、横（ Y ）、及び高さ（ Z ）それぞれの方向を模式的に示している。

管理サーバ 82 は、監視画面を WEB ページとして、監視用 PC 83 に提供し、ディスプレイ上の表示画面（監視画面のWEB ページ）にこのマップが表示され、表示されたカメラアイコンを選択してクリックすることで、選択された WEB カメラ 81 が取得している画像が表示される。

図９を参照して、本発明の別の実施例を説明する。
図９は、位置情報記録 IC タグ内蔵の監視カメラを用いた位置情報システムの構成を説明するための図である。91 は監視用 WEB カメラ、92 はアクセスポイント、93 は IC タグリーダ、94 は無線 LAN 内蔵操作用モバイル端末、95 は管理サーバ、96 はオペレータ用 WEB カメラ付き監視 PC 、97 は LAN 、911 、912 、913 は、それぞれ監視エリア、921 はオペレータ室である。

また、監視用 WEB カメラ 91 に内蔵された IC タグ（図示しない）には、そのカメラの位置情報（縦、横、高さ）の外に、管理サーバ 95 の IP アドレス情報も記録されている。モバイル端末 94 は、内臓の IC タグリーダ 93 で監視用 WEB カメラ 91 に内蔵された IC タグのタグ情報を受信すると、管理サーバ 95 の IP アドレスをもとに管理サーバ 95 にアクセスし、管理サーバ 95 から、マップデータが付随されたアプリケーションソフトをダウンロードする。
モバイル端末 94 は、現在の位置座標から、マップデータ上に現在位置を表示できるうえ、関連箇所や連絡先（電話番号、アドレス、アクセスポイント、等）の情報を表示することができる。また更に、このアプリケーションソフトにより不明なことがあればオペレータ室 921 にアクセスし、オペレータと会話することが可能である。

図１０は、本発明の一実施例のモバイル端末操作を説明するための図で、イメージ図で、IC タグ内蔵監視カメラと IC タグリーダ内蔵のモバイル端末で通信を行なっているイメージ図である。71 は IC タグ内蔵の監視カメラ、72 は無線 LAN アクセスポイント、73 はシステム使用者、74 は IC タグリーダ、75 はモバイル端末、76 は無線 LAN 装置である。
監視カメラ 71 は、通常、床下から 2 m 以上の高さに設置されている（例えば、天井から吊り下げられている）ため、 IC タグは UHF 帯の長距離用 IC タグを使用している。

図１１を参照して、本発明の一実施例のアプリケーションソフトのイメージ画面を説明する。
図１１は、ダウンロードされたアプリケーションソフトのイメージ画面である。60 はシステム使用者のディスプレイ上に表示された表示画面、61 は表示画面 60 内のオペレータ表示部、62 は表示画面 60 内の地図情報表示部、63 は表示画面 60 内のオペレータ接続ボタン、64 はオペレータ表示部 61 内に表示されたオペレータの画像である。

図９〜図１１において、初めに、モバイル端末 94 が管理サーバ 95 に接続されると、管理サーバ 95 から地図データが付随されたアプリケーションソフトがダウンロードされる。このとき、地図情報表示部 62 の画面が表示されて現在位置が３次元表示される。しかし、オペレータの画像 64 はオペレータ表示部 61 に表示されず（または、オペレータ表示部 61 自体が表示されない）、オペレータとの会話も行なわれない。

オペレータから情報を得たい場合、図示しない操作手段（例えば、キーボード、ポインティングデバイス、ジョグ、等の入力装置）によってオペレータ接続ボタン 63 を押下することによりオペレータ監視用 PC 96 にアクセスし、オペレータ監視用PC 96 と接続して、図１０のモバイル端末 75 の画面内にオペレータの画像が表示される。地図情報のほかに周辺情報などの情報をオペレータから得ることが可能である。なお、オペレータの画像（例えば、バストショット等の顔画像）を表示するためには、例えば、オペレータ監視用 PC 96 にオペレータの画像を撮像するための WEB カメラが結合して、作動していることが必要である。

上記実施例における位置情報を記録した IC タグは、監視カメラ以外にも建物内部の照明や壁、市街地の街灯や電柱などにも組み込むことで、更に多地点で位置情報を読み込むことができるほか、建物の内部や地下などで GPS 等の GIS より更に詳細に位置情報を把握することが可能である。

上述のように、盗難防止用監視カメラシステムにおいて、商品に組み込まれた IC タグと監視カメラ及び画像処理装置を連携させることで、自動的に盗難を検知し発報する事に加えて盗難者の顔画像をデータベースに登録することが可能である。また、過去の盗難者データをもとに、各地に設置された監視カメラで撮像された画像から過去の盗難者を自動判別し、盗難者が来店した場合に警告を発することが可能である。更に、複数の盗難者を撮像したカメラ画像から盗難者の行動を自動的に把握し、盗難者の軌跡及び行動予測をマップ上に作成することが可能である。
WEB 監視カメラにおいて、設置時に設置位置情報をカメラに記録し、管理サーバに位置情報を配信することで、カメラ増設に伴うアプリケーションソフトの変更を行なうことなく操作画面のマップ上にカメラ選択アイコンを自動的に配置可能である。
WEB カメラに上記位置情報（縦、横、高さ）を記録した IC タグを組み込むことで、カメラ設置場所であればどこでもカメラから IC タグリーダにより位置情報を読み出すと共に、画像付きでオペレータと双方向通信することが可能である。また監視カメラのほかにビル内部の照明や壁、市街地の電柱や道路などに本 IC タグを組み込むことで、建物内部や地下など GPS 等の GIS よりも更に詳細に位置情報を知ることが可能である。

本発明の更に別の実施の形態について以下に説明する。
図１２は、図３と同様に、店舗の出口やゲートなどに IC タグリーダを設置した場合の盗難防止システムの一実施例の構成図である。1-1′及び 1-2′は IC タグリーダ／ライタ、他は、図３と同様の構成である。
図１２のシステム構成において、IC タグリーダ／ライタ 1-1′及び 1-2′は、商品の清算のための場所（レジ）毎に設置されている。

アクセスポイント 2 は、IC タグリーダ／ライタ 1-1′及び 1-2′と無線 LAN でアクセス可能な場所に設置されており、IC タグリーダ／ライタ 1-1′または 1-2′が読取った情報を受信する。
レジに設置された IC タグリーダ／ライタ 1-1′及び 1-2′は、買物客が清算するために、売場内から持ってきた物品に取付けてある IC タグから IC タグ内の情報を読取り、かつ、その物品に付けられた IC タグに購入されたことを情報として書込む。そして、無線 LAN 手段によってアクセスポイント 2 に送信する。IC タグに書込まれる購入情報としては、例えば、レジの番号、購入時刻、支払いの紙幣や硬貨の種類、つり銭、同時に購入された物品の情報、等である。

購入情報は、その他に、領収書の発行の有無や、贈答品の場合の包装の依頼、あるいは、配達の依頼、配達先、配達指定日、等である。
更に、領収書の発行場所が異なっている場合や、包装の場所や配達の取り扱い場所、等、別の場所でのサービスまたは手続きが必要な場合に、必要となる情報をIC タグに書き込み、該当する場所にその物品が移動していったときに、必要なサービスまたは手続きがスムーズに行われるように IC タグ情報を用いることもできる。

そのような場合、例えば、サービスや手続きが提供される場所の入口または受付場所に IC タグリーダ、または、IC タグリード／ライタが設置し、移動されてきた物品の IC タグの IC タグ情報を読取り、LAN を介して、ディスプレイに読取られた情報であるサービスや手続きに関する情報を表示することにより、店員が実行すべき内容が、速やかに、かつ、他の書類等の確認や新たな手続きの必要なしに、分かるため、かつ、実行の有無を記録として残すことができるため、煩雑さが低減し、かつ効率の良い作業が実現できる。

上述のように、図１２の IC タグリーダ／ライタ 1-1′及び 1-2′は、買物客が清算のためにレジを通過した物品に取付けられた IC タグの情報を書換え、清算済みの物品であることを示す情報に変更する。従って、清算済みの物品が、別の場所、例えば、その売場の出入口に設置された IC リーダ 7 や、別の売場の入口に設置された IC リーダがこの物品の IC タグ情報を読取った時に、既に清算が済んでいるか否かが分かるようになる。

また上述のように、図１２の蓄積配信サーバ 5 は、画像処理装置 4 から受信した情報（顔画像、更新情報、等）と IC タグリーダ／ライタ 1-1′または 1-2′から受信した情報（物品情報、支払いの有無、等）とを、レジ情報、時間情報、等と共にデータベース（図示しない）に登録する。

もし、買物客等の入場者が、清算のため以外の目的で店内の物品を隠し持っていた場合には、レジを通るかもしれないが、IC タグリーダ／ライタ 1-1′及び 1-2′を通らないため、例えば、売場の出入口等チェック用の場所に設置した IC タグリーダが、付近を通過する物品の IC タグ情報を自動的に読取んだ時に、読取った IC タグの情報に未支払いのデータが発見される。
従って、未払いの情報を読取った時には、警報や注意音が鳴るようにし、盗難等を防止することができる。また更に、カメラ 3 の画像をデータベースに記録しておき、かつ、盗難者等の不審者の顔画像を抽出して、IC タグの情報やレジ情報、時間情報、位置情報、等もデータベースのデータとして蓄積しておくことで、参考データや将来の盗難等の犯罪の抑制のためのデータとして利用することができる。

また上述のように、図１２の IC タグリーダ／ライタ 1-1′や 1-2′で読取られた商品情報（例えば、商品コード）は、無線 LAN を介して LAN 6 経由で画像処理装置 4 へ伝送される。カメラ 3 は、LAN 6 を経由して、画像処理装置 4 に１フレーム単位で画像データを出力する。カメラ 3 がメガピクセルカメラのように画素サイズが大きく高解像度の場合には、その視野範囲をレジエリア A1 101 全体として全域の画像を取込み、IC タグリーダ／ライタ 1-1′や 1-2′の検知した情報に対応する必要な領域部分の画像データについて注目し、注目した領域部分の顔画像を抽出することができる。

本発明のシステム構成の一実施例を示すブロック図。 本発明の一実施例の画像処理装置の内部機能構成を説明するためのブロック図。 本発明のシステムの一実施例の構成示す図。 本発明の盗難者を自動的に判別処理する手順の一実施例を示すフローチャート。 本発明のシステム構成の一実施例を示すブロック図。 本発明のシステム構成の一実施例を示すブロック図。 本発明の一実施例の表示画面を説明するための図。 本発明の一実施例の監視システムを説明するための図。 本発明のシステム構成の一実施例を示すブロック図。 本発明の一実施例のモバイル端末操作イメージ図。 本発明の一実施例のアプリケーションソフトのイメージ画面を説明するための図。 本発明のシステム構成の一実施例を示すブロック図。

符号の説明

1-1，1-2：ICタグリーダ、 2：アクセスポイント、 3：カメラ、 4：画像処理装置、 5：蓄積配信サーバ、 6：LAN、 7：警報音鳴動機能付き IC タグリーダ、 8：カメラ、 9：画像処理装置、 10：監視用PC、 11：カメラ、 12：画像処理装置、 13：管理サーバ、 21：LAN I/F部、 22：顔画像抽出部、 23：比較部、 24：画像フレームのメモリ、 25：顔画像メモリ、 26：配信用顔画像メモリ、 27：ICタグ情報検出部、 28：配信データ生成部、 29：メモリ部、 30：出入口、 51：監視画面、 52：顔画像の表示部、 53：カメラ位置情報の表示部、 54：履歴情報表示部、 55：マップ表示部、 56：拡大表示部、 57：説明部、 58：図形、 59：矢印、 60：表示画面、 61：オペレータ表示部、 62：地図情報表示部、 63：オペレータ接続ボタン、 64：オペレータの画像、 71：監視カメラ、 72：無線LANアクセスポイント、 73：システム使用者、 74：ICタグリーダ、 75：モバイル端末、 76：無線LAN装置、 81：WEBカメラ、 82：管理サーバ、 83：監視用PC、 84：LAN、 85：1F、 86：2F、 87：3F、 88：方位を示す矢印、 91：監視用WEBカメラ、 92：アクセスポイント、 93：ICタグリーダ、 94：無線LAN内蔵操作用モバイル端末、 95：管理サーバ、 96：オペレータ用WEBカメラ付き監視PC、 97：LAN、 101：レジエリアA1、 102：レジエリアA2、 103：レジエリアA3、 、501：監視エリアS1、 502：監視エリアS2、 503：監視エリアS3、 911〜913：監視エリア、 921：オペレータ室。

Claims (3)

1. マップデータを備えるアプリケーションを有する管理サーバと、
   位置情報及び前記管理サーバのアドレス情報を記憶したＩＣタグを有する監視カメラと、
   ＩＣタグリーダを有し、管理サーバと通信可能なモバイル端末と、を備え、
   前記モバイル端末は、前記ＩＣタグリーダを用いて前記監視カメラのＩＣタグから前記位置情報及び前記管理サーバのアドレス情報を読み取り、前記管理サーバのアドレス情報に基づいて前記管理サーバにアクセスして前記アプリケーションを起動し、マップ及び前記位置情報に応じたマップ上の位置を画面に表示することを特徴とする情報収集システム。
2. 前記アプリケーションにより表示される画面には、さらにオペレータの連絡先情報が表示されることを特徴とする請求項１に記載の情報収集システム。
3. マップデータを備えるアプリケーションと、ＩＣタグリーダを有し、
   前記ＩＣタグリーダを用いてＩＣタグから位置情報を読み取り、前記アプリケーション上でマップ及び前記位置情報に応じたマップ上の位置を画面に表示することを特徴とするモバイル端末。