JP2006325064A - 広域モニタシステム - Google Patents

Abstract

【構成】 広域モニタシステム１０では、多数の複合センサ１２を用いる。複合センサ１２はカメラ２２、赤外線センサ２６、タグセンサ２８および音センサ３０を含み、ユーザ３２の主として顔画像を撮影するとともに、ユーザ３２の所持するＩＤタグ３４のＩＤ番号を検出する。複合センサ１２は各ゾーンに、重要ゾーンでは密に、それ以外のゾーンでは疎に配置される。各複合センサ１２からの映像データやＩＤデータがサーバに収集される。サーバは、各ユーザをＩＤ番号で特定し、かつユーザの位置を特定することによって、各ユーザを広域表示画面上に表示する。このとき、予め設定しているプライバシ階層に応じて、ユーザの表現形式（ドットまたは実写像）を制御する。
【効果】 広域表示画面中に各ユーザが表示されるので、広域全体の状況を容易に把握できる。
【選択図】 図１

Description

この発明は広域モニタシステムに関し、特にたとえば、各ゾーン（場所）に配置した多数の複合センサからの画像や音などの情報に基づいて、各ゾーンを含む、たとえば町内、校区のような広域の状況をモニタする、新規な広域モニタシステムに関する。

たとえば特許文献1では、開放型地域統合インテリジェントネットワークシステムが提案されている。

この特許文献１のシステムは、所定の地域内に分散設置された、セキュリティ管理システム、ビル管理システム、施設運営管理システム、通信システム、ファイリングシステム、モニタリングシステム、駐車場管理システム、情報端末等の複数の機能別情報処理システムを、開放型ＬＡＮにより、相互接続するものである。
特開Ｈ１０‐２８５２０１号［H04L 12/46, 12/28 G06F 13/00 H04M 3/00］

特許文献１では、区域毎に独立して設けられていた各システムを統合して地域全体情報のやりとりができるので、地域全体を統合的または一元的に管理、運営できるようにするという点で新しいが、その地域に居住する住民に対してどのようなサービスが提供できるか明確にはされていない。また、この提案されているシステムには監視カメラも組み込まれ、そこからの映像によって監視することも示唆されてはいるが、この監視カメラを用いるモニタリングシステムでは、そのカメラ画像がＬＡＮを通して他の装置に送出されること以外は、従来の監視カメラシステムと変わるところはない。つまり、監視エリアが狭く、広域で対応できない。さらには、個々の監視カメラ単位で記録するので、広域空間として把握するのが難しい、などの問題がある。

それゆえに、この発明の主たる目的は、新規な、広域モニタシステムを提供することである。

請求項１の発明は、モニタすべき広域に配置され、各々が少なくともカメラとユーザのＩＤタグを検出できるＩＤセンサとを有する複数の複合センサ、ネットワークを介して複数の複合センサから画像データとＩＤデータとを受け取るシステムサーバ、ネットワークを介してシステムサーバにアクセスできるユーザ端末、およびシステムサーバに関連して設けられ、各ユーザのＩＤ番号，顔画像データおよびプライバシ階層を予め登録しておく会員データベースを備え、ユーザ端末からの要求に応じて、システムサーバは広域内に存在するユーザをプライバシ階層に従った表現形式で表示する表示用画像をユーザ端末に送信する、広域モニタシステムである。

請求項１の発明では、複数の複合センサ（１２：実施例で相当する部分を示す参照符号。以下同様。）がネットワーク（３７）を通してシステムサーバ（３８）に接続される。複合センサは、カメラ（２２）およびＩＤセンサ（２８）を有し、カメラは被写体を撮影し、ＩＤセンサは、ユーザ（３２）のＩＤタグ（３４）を読み取る。カメラからの画像データおよびＩＤセンサからのＩＤデータがネットワークを介して、システムサーバに収集される。システムサーバに関連して、会員データベース（４０）が設けられ、この会員データベースには、ＩＤ番号記憶領域（４８）、顔画像データ記憶領域（５２）およびプライバシ階層記憶領域（５４）が設けられる。システムサーバは、カメラクレーム複合センサからの画像データやＩＤデータに従って、タイムスロット毎に、その広域内のどの位置にどのユーザが存在するかを特定している。そして、ユーザ端末からの要求に応じて、システムサーバは広域内に存在するユーザを表示する表示用画像をユーザ端末に送信する。ただし、ユーザを表示するときの表現形式は会員データベースに予め設定されているプライバシ階層に応じた表現形式、たとえば実写像あるいはドットに設定される。

請求項１の発明によれば、ユーザ端末からの要求に応じて広域内の状況を示す画像がシステムサーバからユーザ端末へ送信されるので、ユーザは必要に応じて広域内の状況を簡単にモニタすることができる。

請求項２の発明は、広域は複数のゾーンを含み、複合センサはゾーンによって疎密に配置するようにした、請求項１記載の広域モニタシステムである。

請求項２の発明では、必要なゾーンには複合センサを密に配置し、そうでないゾーンには疎に配置するので、より少ない数の複合センサで効率的に広域内をモニタすることができる。

請求項３の発明は、システムサーバは、ユーザ端末からの要求に応じて、複数のゾーンを統合した広域表示画像をユーザ端末に送信する、請求項２記載の広域モニタシステムである。

請求項３の発明の広域表示画像は、たとえばディジタルジオラマ形式の画像である。このように各ゾーンを統合して広域全体を表示するようにすれば、広域内の状況が一目でモニタできる。

請求項４の発明は、サーバは、ユーザを同定するために、ネットワークを通して取得した顔画像データをネットワークを通して取得したＩＤデータに基づいて会員データベースから読み出した顔画像データと照合する、請求項１ないし３のいずれかに記載の広域モニタシステムである。

請求項４の発明では、ＩＤと顔画像とでユーザ（メンバー）か非ユーザ（ノンメンバー）かが判定されるので、確実である。

請求項５の発明は、環境エフェクタが設けられているゾーンに配置され、各々が少なくともカメラを有する複数の複合センサ、ネットワークを介して複数の複合センサから画像データを受け取るシステムサーバ、ネットワークを介してシステムサーバと接続でき、かつゾーンの環境エフェクタを制御するユーザ端末、およびシステムサーバに関連して設けられ、各ユーザの顔画像データを予め登録しておく会員データベースを備え、複数の複合センサの少なくとも１つから画像データが入力されたとき、システムサーバは、会員データベースを参照してその画像の者がユーザか非ユーザか判定し、それに応じてユーザ端末にネットワークを介して環境エフェクタの制御指令を与える、広域モニタシステムである。

請求項５の発明では、ゾーンには環境エフェクタ、実施例ではドア（ＤＲ）が設けられる。ユーザ端末（４４）はその環境エフェクタの管理、制御を行う。実施例でいえば、ドアの開閉をする。そして、ゾーンには複数の複合センサ（１２）が配置され、複数の複合センサ（１２）がネットワーク（３７）を通してシステムサーバ（３８）に接続される。複合センサは、カメラ（２２）を有し、カメラは被写体を撮影する。カメラからの画像データがネットワークを介して、システムサーバに収集される。システムサーバに関連して、会員データベース（４０）が設けられ、この会員データベースには、顔画像データ記憶領域（５２）が設定される。そして、複数の複合センサの少なくとも１つから画像データが入力されたとき、システムサーバは、会員データベースを参照してその画像の者がユーザか非ユーザか判定し、それに応じてユーザ端末にネットワークを介して環境エフェクタの制御指令を与える。実施例では、会員であればドアを開け、不審者であればドアを閉める。

請求項５の発明によれば、ユーザか非ユーザ、すなわちメンバーかノンメンバーを判定し、その判定結果に応じて、たとえばドアの開閉を制御するための制御指令を、ユーザ端末に送信し、ユーザ端末がその制御指令に従ってドアの開閉を行うだけなので、つまり、画像でサーバが不審な侵入者を認識し、そのサーバの指令でドアが開閉されるので、特殊な認証・入退出管理装置は不要である。また、ユーザにはたとえばカードを読み取らせるとか、虹彩や指紋、手のひらなどを検出器にかざす必要がなく、ドアの前での滞留がない。

請求項６の発明は、複合センサはさらに、ユーザのＩＤタグを検出できるＩＤセンサを含み、システムサーバはネットワークを介して複数の複合センサから画像データとＩＤデータとを受け取り、会員データベースには、顔画像をユーザのＩＤ番号との関連で予め登録しておき、システムサーバは、会員データベースのＩＤ番号および顔画像を参照することによって、ユーザか非ユーザか判定する、請求項５記載の広域モニタシステムである。

請求項６の発明では、複合センサは、カメラとＩＤセンサ（２８）とを有し、ＩＤセンサは、ユーザ（３２）のＩＤタグ（３４）を読み取る。カメラからの画像データおよびＩＤセンサからのＩＤデータがネットワークを介して、システムサーバに収集される。他方、会員データベースには、ＩＤ番号記憶領域（４８）と顔画像データ記憶領域（５２）とが関連して設定される。そして、システムサーバは、会員データベースのＩＤ番号と顔画像データを参照して、ユーザか非ユーザか判定する。

請求項６の発明では、カメラからの撮影画像に加えて、ＩＤセンサで読み取ったＩＤ番号を照合に利用するので、ユーザか非ユーザかの判定の確実性を向上できる。

請求項７の発明は、モニタすべき広域に配置され、各々が少なくともカメラとユーザのＩＤタグを検出できるＩＤセンサとを有する複数の複合センサ、ネットワークを介して複数の複合センサから画像データとＩＤデータとを受け取るシステムサーバ、ネットワークを介してシステムサーバにアクセスできるユーザ端末、およびシステムサーバに関連して設けられ、各ユーザのＩＤ番号および顔画像データを予め登録しておく会員データベース、システムサーバに関連して設けられ、広域内の各地点における現在，過去および未来の画像を記憶しておく時空データベース、およびユーザに所持されるかつ少なくともＧＰＳ機能を有する携帯端末を備え、携帯端末からの要求に応じて、システムサーバは会員データベースを参照してユーザかどうか判定し、ユーザであるときその携帯端末の位置を特定し、時空データベースからその位置に関連する現在，過去または未来の画像を読み出して携帯端末に送信する、広域モニタシステムである。

請求項７の発明では、広域には複数の複合センサ（１２）が配置され、複数の複合センサはネットワーク（３７）を通してシステムサーバ（３８）に接続される。複合センサは、カメラ（２２）およびＩＤセンサ（２８）を有し、カメラは被写体を撮影し、ＩＤセンサは、ユーザ（３２）のＩＤタグ（３４）を読み取る。カメラからの画像データおよびＩＤセンサからのＩＤデータがネットワークを介して、システムサーバに収集される。システムサーバに関連して、会員データベース（４０）が設けられ、この会員データベースには、ＩＤ番号記憶領域（４８）および顔画像データ記憶領域（５２）が設定される。さらに、システムサーバに関連して、広域内の各地点における現在，過去および未来の画像を記憶しておく時空データベース（４２）が設けられる。ユーザは携帯端末（３６）を使用する。携帯端末は、ＧＰＳ機能を搭載したものであり、したがって、そのＧＰＳ機能によって、そのときのユーザの位置が正確に特定され得る。携帯端末からのアクセスがあったとき、システムサーバは会員データベースを参照してユーザかどうか判定し、ユーザであると判定したときその携帯端末の位置を特定し、時空データベースからその位置に関連する現在，過去または未来の画像を読み出して携帯端末に送信する。

請求項７の発明によれば、ユーザは携帯端末を適当な位置でかざすだけで、サーバの場所での現在、過去、または未来の画像を携帯端末画面で見ることができる。

この発明によれば、ユーザは必要に応じて広域内の状況を簡単にモニタすることができるので、従来の監視カメラシステムとは異なり、ユーザに多様なサービスを提供することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の実施例である広域モニタシステム１０では、図１に示す複合センサ１２を用い、ユーザ３２に対して、各種サービスを提供する。ただし、ここで、「広域」とは、一例として、××町○○丁目というような１つの町内や校区を意図していて、その広域は複数のゾーンの集合である。ゾーンには、道路、交差点、公園、ショッピングセンター、商店街、学校、集合住宅、マンション、オフィスビルなどが含まれる。また、こ「ユーザ」には、その広域に居住する住民、各ゾーンに定常的に存在する者、たとえば学校の先生、各企業や商店の従業員などが含まれ、基本的には、会員データベース４０（図２）への登録会員をユーザとする。

図１に示す複合センサ１２は、ポール１４を含み、このポール１４は土台１６で上記各ゾーンの適宜の場所に設置される。ポール１４はたとえば２‐３ｍの高さであるが、それより高くても、低くてもかまわない。ただし、設置場所にもよるが、高すぎる場合には人物の顔をうまく撮影できないなどの問題があったり、低すぎる場合には、子供たちのいたずらの対対象になってしまうなどの問題があるので、最適な高さが選択され設定される。ポール１４の先端にはバー１８が設けられ、そのバー１８の先端には、夜間においてユーザ３２などの撮影対象に光を照射するための光源２０が設けられる。ただし、この光源２０は、夜間常に点灯されるものでもよく、たとえば対象（被写体）の接近の都度点灯されるようにしてもよい。

バー１８には、カメラ２２が、カメラ制御ボックス２４を介して、吊り下げられる。カメラ２２は、ズーム機構、パン／チルト機構を含み、これらズーム機構、パン／チルト機構が、後述のシステムサーバ３８（図２）からの命令に従って、カメラ制御ボックス２４によって制御される。ただし、カメラ２２は、基本的には、日夜を問わず、連続動作するものであるが、被写体が少ない夜間には、カメラ制御ボックス２４によって、カメラ２２の動作（撮影）の開始や終了を制御するようにしてもよい。

そのためには、ポール１４の適宜の位置に、赤外線センサ２６を設ける。この赤外線センサ２６は、ユーザ３２やその他の者、さらには動物などの当該複合センサ１２への接近を感知し、光源２０が夜間常時点灯のものでなければ、上記光源２０を点灯させる。ただし、夜間かどうかは、図示しない昼夜センサ（ＣｄＳ素子など）で検出できる。

赤外線センサ２６は、夜間のようにカメラ２２が連続撮影になっていないときには、赤外線の検出に応じて、カメラ制御ボックス２４に撮影開始指令を与える。そして、カメラ制御ボックス２４は、その赤外線センサ２６からの指令に従って、カメラ２２による撮影を開始させる。そして、赤外線センサ２６が人間などを検知しなくなったときには、撮影終了を制御ボックス２４に指令し、カメラ２２による撮影が終了する。

複合センサ１２はまた、ポール１４の適宜の位置に取り付けられたタグセンサ２８を含む。このタグセンサ２８は、たとえば近距離無線による無線タグを検知するタグリーダであり、その位置に接近したユーザ３２が装着または保持するＩＤタグ３４からＩＤデータを読み取り、そのＩＤデータをシステムサーバ３８（図２）に連絡する。なお、上記カメラ２２によって撮影した画像または映像のデータもまた、カメラ制御ボックス２４を通して、システムサーバ３８に伝送される。サーバ３８はＩＤデータや映像データに基づいてイベントの発生やその認識をする。

複合センサ１２はさらに、ポール１４の適宜の位置に取り付けられた音センサ３０を含む。この音センサ３０は、典型的にはマイクロフォンであって、この周囲の音を検出し、採取した音のデータをシステムサーバ３８に送信する。サーバ３８は音データに基づいてイベントの発生やその認識をすることもある。

図１に示すユーザ３２は、先に説明したＩＤタグ３４の他に、携帯端末３６を保持する。携帯端末３６は、代表的には、携帯電話機であり、望ましくは、メール機能、カメラ機能、ＧＰＳ機能、さらにはジャイロ機能を内蔵するものが採用される。ただし、上記ＩＤタグ３４をこの携帯端末３６に付加するようにしてもよい。

図２にはこの実施例の広域モニタシステム１０の構成を示す。広域モニタシステム１０は、ネットワーク３７を含む。このネットワーク３７としては、ＬＡＮのような局所的なネットワークであってもよいが、典型的には、インターネットを利用する。ネットワーク３７に上で説明した複合センサ１２が有線または無線で接続される。無線の場合には物としての「接続」はないが、電気的に接続されるという意味で、この語を用いる。

ネットワーク３７にはさらに、システムサーバ３８が接続される。システムサーバ３８はこの実施例の広域モニタシステム１０を全体的に統御するが、このサーバ３８は、各複合センサ１２から送信されてくる画像データやＩＤデータ、さらには音データなどを一時的に記憶するための記憶装置３９が設けられる。この記憶装置３９は半導体記憶装置やハードディスクなどからなる。システムサーバ３８には、会員データベース４０および時空間データベース４２が接続される。

会員データベース４０は、会員の登録をするための記憶装置であり、図３に示すように、正会員登録領域５８および一時会員登録領域６０を含む。いずれの領域にも、ＩＤ記録領域４８、氏名記録領域５０、多視点顔画像データ記録領域５２、表示許可レベル記録領域５４および特記事項記録領域５６を含む。

なお、「一時会員」とは、その地域に一時的に滞在する者で、この広域モニタシステム１０の管理者に届出を出した者のことであり、この一時会員には、届出時にＩＤタグが付与され、その広域での滞在をやめるときに一時会員はそのＩＤタグを管理者に返却することにする。

ＩＤ記録領域４８は、ユーザ３２が保持するＩＤタグ３４（図１）に固有に割り当てられたＩＤ番号データを登録するための領域である。このＩＤ番号は、たとえば、１つの家族、会社、商店など帰属主体毎に決められた基幹番号と、それらの構成員ごとに決められた枝番号扉からなる。図３の例でいえば、「１ａ２ｂ３ｃ」が１つの家族たとえば「○○」という氏を有する家族の基幹番号であり、「‐１」，「‐２」が枝番号である。基幹番号「２ａ３ｂ４ｃ」，「３ａ４ｂ５ｃ」は単独登録会員であり、「‐０」の枝番号が付与される。同じく、一時会員登録領域６０のＩＤ番号の基幹番号「ａａｂｂｃｃ」にも枝番号「‐０」が付与される。このように、基幹番号が同じユーザは、同一の帰属主体に属するものと定義する。

氏名記録領域５０は、ユーザ（正会員および一時会員）の氏名を登録するための領域である。図３の例では、同じ基幹番号「１ａ２ｂ３ｃ」を有する２人のユーザは同じ姓「○○」を有し、１人は「ＡＡＡ」なる名前を有し、他の１人は「ＢＢＢ」なる名前を有することがわかる。

多視点顔画像データ記録領域５２には、各ユーザの顔を多くの視点から撮影した写真（静止画）画像データが登録される。多くの視点から撮影するのは、図１のようなカメラ２２で撮影したときにも、精度よく識別（同定）できるようにするためで、たとえば正面顔画像、左顔画像、右顔画像、さらには左上方顔画像、右上方顔画像などできるだけ多くの視点からの撮影画像を蓄積する。会員登録時に専用の多視点カメラを用いて撮影すれば、１度の撮影で多視点顔画像を得ることができるが、ディジタルカメラで個々の顔画像を撮影するようにしてもよい。

表示許可レベルとは、実施例の広域モニタシステム１０で広域情報を表示する際に、そのユーザをどの表示レベルで表示してよいかを示すプライバシ階層（許可レベル）である。表示レベルとしては、人の存在を単なるドット（黒丸）で表示するレベル、たとえば操り人形のようなスティックモデルで表示するレベル、アニメーションで表示するレベル、モザイク付で表示するレベル、そして、実写画像で表示するレベルなどが考えられる。最後の実写表示レベルを除いてユーザの顔が他人にさらされることはないので、この実施例では煩雑になるのを回避するために、表示できるのは、ドット表示か実写像表示のどちらかにするようにした。このような表示レベルを設定するのが、表示許可レベル記録領域５４である。

図３の例でいえば、ＩＤ番号「１ａ２ｂ３ｃ‐１」を有する、ユーザ「○○ＡＡＡ」氏の表示許可レベルは「０」で設定されている。同様に、Ｄ番号「１ａ２ｂ３ｃ‐２」を有する、ユーザ「○○ＢＢＢ」さんの表示許可レベルも「０」で設定されている。許可レベル０というのは、同一帰属主体に属する他のユーザの端末３６または４４での表示では実写画像を表示してもよいが、それ以外のユーザのための表示ではドット表示する、という許可レベルである。つまり、同じＩＤ基幹番号「１ａ２ｂ３ｃ」を有する、ユーザ「○○ＡＡＡ」氏と「○○ＢＢＢ」さんとは互いのためには実写画像を表示することを許可するが、それ以外の者（違うＩＤ基幹番号を有する者）の表示ではドット表示だけを許可する。ただし、実写像を表示させてもよいユーザ端末があれば、そのユーザのＩＤ番号を念のため、この表示許可レベル記録領域５４に登録しておく（図３の括弧書き）。

ＩＤ番号「２ａ３ｂ４ｃ」の「××ＣＣＣ」氏の表示許可レベルは「１」であり、ＩＤ番号「３ａ４ｂ５ｃ」の「△△ＤＤＤ」氏の表示許可レベルは「２」である。表示許可レベル１とは、すべての人に実写像を表示しないというレベルで、この表示許可レベル１を設定しているユーザは、常に、ドットで表示される。表示許可レベル２は、逆に、すべての人に対して実写画像を表示してもよいというレベルで、この表示許可レベル２を設定しているユーザは、常に、実写画像で表示される。

正会員登録の場合には上述のように、表示許可レベル（プライバシ階層）を任意に設定できるが、一時登録会員の場合には、この実施例では、すべて表示許可レベル２（常に実写画像が表示されるレベル）を設定することにしている。その理由は、各ユーザに一時滞在者の存在を周知したいからである。ただし、一時会員であっても任意の表示許可レベルを設定することも可能である。

なお、時空間データベース４２は、各ゾーンや場所の現在の状態を示す画像、過去の状態を示す画像、未来の状態を示す画像が、地点ごとに蓄積されている。現在の画像は、複合センサ１２のカメラ２２からの画像（静止画）である。過去の画像は、その地点で過去に発生したイベント、事故、災害などの記録写真の画像や、昔その地点にあった建物の写真画像などである。未来の画像には、たとえばいま建設中の高層ビルの完成予想図の画像、洪水や地震のような災害発生時野予測画像（避難経路の把握のため）などが含まれる。

また、図２に示す実施例では、ネットワーク３７にユーザ端末４４が接続される。ユーザ端末４４は典型的には自宅や企業、学校などに設置してある端末（パソコン）であり、ユーザ３２は、そのユーザ端末４４からシステムサーバ３８にアクセスすることによって、そのサーバ３８からネットワーク３７を通して種々のサービスを受けることができる。

ユーザ３２はまた、携帯端末３６を使ってもシステムサーバ３８にアクセスでき、そのために、実施例の広域表示システム１０には、各携帯のキャリアが運営する携帯サーバ４６も組み込まれる。ユーザ３２は、保有する携帯端末３６からシステムサーバ３８にアクセスすることによって、そのサーバ３８からネットワーク３７および携帯サーバ４６を通して種々のサービスを受けることができる。

図１に示した複合センサ１２は、一例として、図４に示すように配置される。図４では、後述の図７でも同じであるが、複合センサ１２は、便宜上、×印を四角で囲んだ単純な記号で図示するものとする。図４の例では、広域として、「○○町１丁目」の町内が想定されていて、この地域には、西側で南北に伸びる道路（Ｗ１，Ｗ２，Ｗ３で表す）と東側で南北に伸びる道路（Ｅ１，Ｅ２，Ｅ３で表す）とがあり、その西道路および東道路を南北でそれぞれ繋ぐ北道路（Ｎ１，Ｎ２で表す）と南道路（Ｓ１，Ｓ２で表す）とがある。さらに、この町内には、各道路に囲まれた位置に公園ＰＫが設けられていて、北道路（Ｎ２）および南道路（Ｓ２）からそれぞれその公園ＰＫに行くことができる。そして、各道路には交差点Ｃ１‐Ｃ６が形成される。

このような「○○町１丁目」という広域（コミニュティ）においては、一例として、交差点Ｃ１‐Ｃ６が危険な場所であり、重要ゾーンであると考えられていて、その重要ゾーンには、複合センサ１２を密に配置し、それ以外のゾーンでは複合センサ１２を疎に配置する。たとえば、交差点であれば、１つの交差点に４‐８個の複合センサを配置する。そして、見通しのよい道路などの非重要地点では、たとえば１００ｍに１つ程度の密度で複合センサ１２を配置する。

ただし、重要ゾーンとしては、他に、たとえばショッピングセンターやコンビニの出入り口や駐車場、マンションの出入り口、学校の出入り口など、イベントが発生しそうな場所が考えられるが、このような場所では人の動きを正確に捉えておく必要があるために、複合センサの配置を密にするようにしたのである。他方、非重要ゾーンでは、人がまばらであるので、位置の識別や同定がそれほど難しくない、という理由で疎配置としたのである。それによって、少ない個数の複合センサで検出効率を高めることができ、全体としてコストダウンにつながる。

たとえば図４のように複合センサ１２をゾーンの重要度などによって疎密配置した広域モニタシステムにおいて、各複合センサ１２のカメラ２２は常時動作し、その視野角の範囲で、動画像を撮影している。この動画像データがカメラ２２からカメラ制御ボックス２４に与えられる。カメラ制御ボックス２４は入力される動画像データをそのまま、またはをタイムラプス画像（間引き静止画像）として、図２に示すネットワーク３７を通じてシステムサーバ３８に送信する。この画像データは、他のセンサデータ、ＩＤデータや音でとともに、タイムスロットごとに、一時記憶装置３９（図２）に一時記憶される。

図５に示すフロー図の最初のステップＳ１１のように、システムサーバ３８が携帯端末３６またはユーザ端末４４からのアクセスを受けたとき、システムサーバ３８は、そのアクセスを行った端末のＩＤが登録されているかどうか判断する。これは、図２および図３に示す会員データベース４０を参照することによって判断できる。ステップＳ１１で“ＮＯ”を判断すると、システムサーバ３８は、無効処理を行いそのまま終了する。

登録されている端末３６または４４からのアクセスであったとき、ステップＳ１１で“ＹＥＳ”となり、システムサーバ３８は次のステップＳ１３に進む。このステップＳ１３では、ユーザにサービスを選択させるために、携帯端末３６またはユーザ端末４４に図示しないメニュー画面を表示させる。ユーザは、携帯端末３６またはユーザ端末４４に表示されたメニュー画面から、受けたいサービスメニューを選択する。そして、その選択したメニューが「広域表示」であると、処理は次のステップＳ１５に進むが、それ以外ときは、他の処理を行って終了となる。広域表示とは、各ゾーンの画像データを統合して広域全体の状況を１つの画像として表示したり、あるいは広域内のゾーンごとに１つの画像として表示したりするモードである。

そして、ステップＳ１５では、システムサーバ３８は、各複合センサ１２から一時記憶装置３９に蓄えられた映像（画像）データ、ＩＤデータ、音データなどに基づいて、ゾーンにおける人の行動や、イベント（事故や渋滞なども含む。）を認識する。後の全体表示（ディジタルジオラマ）において、たとえば、動きが遅いとか、渋滞をしている等については、たとえば色を変えて表示する意図があるので、行動やイベントを認識しようとするのである。したがって、もし、人の動きなどをそのまま表示するなら、このステップＳ１５は省略されてもよい。

続くステップＳ１７において、システムサーバ３８は、その広域表示サービスの提供を要求したユーザが正会員かどうかをＩＤ番号で判断した後、広域表示用画像を作成し、ステップＳ１９またはＳ２１で、アクセス元、すなわち携帯端末３６かユーザ端末４４に送信する。

システムサーバ３８では、複合センサ１２のカメラ２２から送られてくる動画像またはタイムラプス画像をそのサーバ３８に付属する一時記憶装置３９（図２）にすべて取りこむ。そして、同じ時刻（タイムスロット）のデータを利用して、広域全体の表示画像をその都度作成する。広域表示画像には、そのとき各カメラ２２で撮影されている人間などが画像として含まれるが、会員登録している人は顔照合をすることによって、その表示画像を実写像表示してもよいのか、ドット表示にしなければならないかが決定される。つまり、登録している表示許可レベル、つまり、プライバシ階層に応じた表現形式を採用する。

また、各会員のそのときの存在場所は、複合センサ１２を疎に配置しているゾーンでは、会員のＩＤタグ３４（図２）を読み取ることができた複合センサ２２の設置場所の近傍とする。複合センサ１２の配置位置は予め特定されていて、それぞれの配置位置データはたとえば時空データベース４２に登録されている。他方、ＩＤタグ３４は微弱電波を使用しているので、ＩＤタグ３４を読み取ったＩＤセンサ２８が含まれる複合センサ１２の配置場所は、そのＩＤタグ３４を保持するユーザの現在位置と推定してもよい。

ただし、複合センサ１２を密に配置している重要ゾーンでは、２台以上のカメラ２２を使って三角測量の原理で測量することによって、ユーザの位置を正確に特定または同定することができる。つまり、同じユーザを撮影している２つの複合センサ１２すなわちカメラ２２の配置場所がわかっているので、それぞれの場所から、ユーザの現在位置を特定することができる。

さらにまた、会員が携帯電話機３６からアクセスした場合には、その携帯電話機３６に備え付けられているＧＰＳ機能を使うことによって、正確にその位置を同定できる。

このようにして位置が同定された会員が広域表示画像中に表示されるのであるが、このとき、上記のようにプライバシ階層に応じた表現形式（実施例では、ドットまたは実写像）で表示されるのである。

正会員である場合には、システムサーバ３８は、図３のように会員データベース４０を参照して、その会員に対して実写画像の表示を許容している別の会員が存在するかどうか判断する。たとえば、図４でいえば、ＩＤ番号「１ａ２ｂ３ｃ‐１」がアクセスした会員であった場合の、ＩＤ番号「１ａ２ｂ３ｃ‐２」のような会員、さらには、表示許可レベル２の会員（一時会員も含む）のことである。

正会員でない場合には、システムサーバ３８は、図３のように会員データベース４０を参照して、表示許可レベル２の会員（一時会員も含む）が存在するかどうか判断する。

そして、ステップＳ１９およびＳ２１での広域表示画像には、実写画像を表示してよい会員や一時会員は、実写画像で、それ以外の会員に付いてはドット表示で表示するようにする。広域表示画面６２の一例が図６に示される。

図６に示す広域表示画面６２は、図４の○○町１丁目のＣ１交差点付近のゾーンを表示していて、この画面６２では、ドット表示で各登録会員の存在が示される。ただし、この表示例は、図３に示す○○ＡＡＡ氏が広域表示要求をサーバ３８にした場合を想定しているので、その会員に対しては実写像表示を許容している○○ＢＢＢさんは実写像で表示される。それとともに、そのとき一時会員として登録していた山田太郎氏もまた実写像で表示される。

図６の広域表示画面６２は、特定のゾーンを中心に表示するようにしたが、各ゾーンを結合することによって、広域全体を鳥瞰できるたとえばディジタルジオラマ形式での広域表現も可能である。そこで、続くステップＳ２３では、そのような広域表現のディジタルジオラマ画像（図示せず）をアクセス元の携帯電話機３６またはユーザ端末４４に送信する。この広域表現のジオラマ画像は図６の場合と同様に２次元表示器で表示することもできるが、できれば３次元表示器で表示するようにすれば、位置関係がかなり明確に読み取れる。この広域全体鳥瞰画像は自ユーザの監視カメラシステムではゾーン間の統合がなかったので、表現できなかった。なお、広域全体のジオラマ表示においても、広域内の会員が存在する地点に、ドット表示画像またはカメラ２２による実写画像が表示されるようにしてもよい。その場合には広域表示画面が大きくなるので、スクロール表示が用いられる。

そして、ステップＳ２５で、携帯電話機３６またはユーザ端末４４から終了要求が送られてきたかどうか判断し、“ＮＯ”の場合には、先のステップＳ１３に戻り、“ＹＥＳ”の場合には、終了する。

図７は、○○小学校を中心とするゾーンにおける複合センサ１２の配置例を示す。この実施例の小学校ゾーンでは、交差点Ｃ１０から（複合センサの）密配置ゾーンである北門ＮＧを通って別の密配置ゾーンである校舎玄関ＦＲＴに至る経路と、交差点Ｃ１１から密配置ゾーンである南門ＳＧを通って校舎玄関ＦＲＴに至る経路とがあり、いずれの経路を経ても、不審者はドアＤＲを越えてエントランスＥＮには入れないようにする。つまり、この実施例では、各複合センサ１２のカメラ２２からの映像をシステムサーバ３８が分析し、その結果必要なら、環境エフェクタである自動ドアＤＲを開閉制御しようとするものである。

なお、この図７の実施例は、マンションのような集合住宅や個人住宅でのセキュリティシステム、道路上でのセキュリティシステムなどとしても利用可能である。これら応用例の場合には、環境エフェクタの制御としては、自動ドアによるドアロックの他に、サーチライトの点灯、スピーカによる大音響の発生、スプリンクラの作動、エレベータの停止、通行止めポールの上昇など、が考えられる。

図７の場合には、システムサーバ３８は、図８の最初のステップＳ３１で、図７の密配置ゾーンのどれかの複合センサのカメラからの顔画像入力があったときから図８の動作を実行する。つまり、ステップＳ３１でどれかのカメラから顔画像入力があると、次のステップＳ３３で、システムサーバ３８は、その顔画像データを入力したカメラを含む複合センサまたはその近傍の複合センサのＩＤセンサ２８（図１）からＩＤ番号が検出されたかどうか判断する。ＩＤ番号が検出できたときは、次のステップＳ３５で会員データベース４０の多視点顔画像データと、ステップＳ３１で検出した顔画像データを対照することによって、そのＩＤ番号で予め登録している人物かどうか判断する。このように、ＩＤ番号が検出できてもなお、顔写真照合を行うのは、ＩＤタグ３４（図１）を持っている人間がすべて会員であるとは限らず、いわゆる「なりすまし」を防ぐためには、２段階の照合が必要なのである。

そして、２段階の照合を経てステップＳ３５で“ＹＥＳ”が判断されたときには、ステップＳ３１で顔画像を撮影された者は会員登録のある者であるので、次のステップＳ３７でその者の位置を検出する。具体的には、その密配置ゾーンに配置されている２以上のカメラを利用して測量することによって、その会員の位置を正確に検出することができる。そして、その検出した位置に応じて、ドアＤＲ（図７）を開くように、その学校に設置されて自動ドアＤＲの制御を任せられているユーザ端末４４に命令を与える。したがって、その学校のユーザ端末（コンピュータ）４４がそのドア開命令に応じてドアを開錠する。

なお、特に、ドアが何重にもある場合には、上記したステップＳ３７での位置検出は重要である。その会員（ユーザ）が進行する位置に応じて順番にドアを開閉するようにすれば、すべてのドアがいっぺんに開いてしまう場合に比べて、より安全である。すべてのドアがいっぺんに開いてしまう場合には、認証を受けていない者でも入り込む余地があるが、順番にしか開かない場合には、その可能性が大幅に減じられ得る。

そして、この実施例で、ステップＳ３３またはＳ３５で“ＮＯ”が判断されたとき、つまり、ＩＤタグを装着していないか、もしくはＩＤタグを装着していても顔画像がそのＩＤ番号で登録しているものとは違う場合には、ステップＳ４１に進む。このステップＳ４１では、サーバ３８は、ステップＳ３１で入力された顔画像データから、死角があるかどうか判断する。たとえば、多視点顔画像のためには２以上のカメラ２２（図１）から死角なしにその入来者の顔画像が撮影できることが望ましい。したがって、このステップＳ４１で死角の有無を判断するのである。

そして、もし死角があるときには、システムサーバ３８は、ステップＳ４３においてカメラ制御を実行する。つまり、ネットワーク３７（図２）を通して該当の複合センサ１２のカメラ制御ボックス２４に制御信号を与え、カメラ２２をパンさせたり、チルトさせたり、さらにはズーム調整して視野角を変更するなどして、死角をなくすようにカメラ制御を行う。ただし、物理的な配置の関係でどうしても死角が残ってしまうような場合には、たとえば本件出願人の出願に係る同時継続中の特許出願２００４−３５５９２１号に開示されている方法で複数の補間画像を作成することによって実質的に死角をなくす方法も採用することができる。

そして、ステップＳ４１で死角をなくした後、続くステップＳ４５で、システムサーバ３８は、その侵入者の顔画像を一時記憶装置３９（図２）などに登録する。これは、もしその侵入者が悪事を働いた場合の犯罪の証拠となり、犯人特定の有力な手段となる。この場合、侵入者の顔画像は異なる方向から撮影した画像、さらには時間をずらせて撮影した画像などできるだけ多くの顔画像を登録することが望ましい。

その後、ステップＳ４７で、サーバ３８は、その侵入者が不審者かどうか判断する。ある者が不審者かどうか判断するためには、その者の動きの特徴を把握すればよい。たとえば、ドアＤＲの鍵がどこにあるかは、会員登録しているメンバー（ユーザ）であれば熟知しているが、そうでない者（ノンメンバー）には鍵の場所を見つけるのに、立ったりしゃがんだり、上を見たり下を見たり、いわゆる不自然な動きをする。さらに、不審者の常として、同じ行動を繰り返すなど、他人と異なる挙動を示す。したがって、侵入者の行動パターンを検証することによって、その者が不審者かどうか認識することができる。

侵入者が不審者であるとすると、次のステップＳ４９で、ステップＳ３７と同様にしてその者の位置を検出し、その者が入ろうとするであろうドアの施錠命令を出力する。この施錠指示が学校コンピュータ（ユーザ端末）４４に送られ、そのコンピュータがそのドアを閉成してロックする。

このように、図８の実施例では、ユーザか非ユーザ、すなわちメンバーかノンメンバーを判定し、その判定結果に応じて、環境エフェクタ、この実施例では自動ドアＤＲを制御するための制御指令を、ネットワーク３７を介して、ユーザ端末４４に送信する。つまり、この実施例の場合、画像やＩＤで不審な侵入者を認識するサーバの指令でドアが開閉されるので、特殊な認証・入退出管理装置は不要である。また、ユーザにはたとえばカードを読み取らせるとか、虹彩や指紋、手のひらなどを検出器にかざす必要がなく、ドアの前での滞留がない。

ただし、実施例では、システムサーバ３８は、複合センサ１２から入力されるＩＤデータとカメラ画像データとによってユーザか非ユーザかを判定するようにしたが、少なくともカメラ画像だけを利用しても、そのような照合は可能である。つまり、会員データベース４０の登録顔画像とカメラからの入力顔画像とを比較することによって、ユーザか非ユーザかを識別することはできる。ただし、ＩＤデータを一緒に利用したほうが、判定の正確性は高い。

次に、図９のフロー図を参照して、「実世界ナビゲーション（ナビ）」の動作について説明する。この実世界ナビとは、ユーザが携帯電話機３６を用いて、複合センサの配置されている地域内のどこかの地点でこの実世界ナビのサービスをサーバ３８に要求したとき、その地点での、現在の、過去の、または未来の画像を携帯電話機３６の表示器に表示させようというサービスである。

具体的には、最初のステップＳ６１で、システムサーバ３８が携帯端末３６からのアクセスを受けたとき、システムサーバ３８は、そのアクセスを行った携帯端末３６のＩＤが登録されているかどうか判断する。これは、図２および図３に示す会員データベース４０を参照することによって判断できる。ステップＳ６１で“ＮＯ”を判断すると、システムサーバ３８は、無効処理を行いそのまま終了する。

登録されている携帯端末からのアクセスであったとき、ステップＳ６１で“ＹＥＳ”となり、システムサーバ３８は次のステップＳ６３に進む。このステップＳ６３では、ユーザにサービスを選択させるために、携帯端末３６メニュー画面（図示せず）を表示させる。ユーザは、携帯端末３６に表示されたメニュー画面から受けたいサービスメニューを選択する。そして、その選択したメニューが「実世界ナビ」であると、処理は次のステップＳ６５に進むが、それ以外ときは、他の処理を行って終了となる。

ステップＳ６５では、サーバ３８は、携帯端末３６のＧＰＳ機能およびジャイロ機能を利用して、そのとき携帯端末３６がある位置およびそれが向けられている方向を検出する。ただし、携帯端末がジャイロ機能を持っていないときには、位置を特定するだけでもよい。

そして、携帯端末３６からの指示が「現在」の状態を見たいという要求かどうか、判断する。たとえば、携帯端末３６の表示器に、「現在」，「過去」および「未来」のどれかを選択可能なアイコンを設定し、それをユーザに操作させることによって、「現在」，「過去」および「未来」のどれをユーザが要求しているのかを判断する。

「現在」の映像を必要とする場合といえば、たとえば、つれていた子供やペットが居なくなったので探したい場合とか、火事が家の方角に発生しているので確認したい場合などである。この場合、サーバ３８は、時空データベース４２（図２）に登録されている、いまその位置のその方角のカメラから撮影している画像をそのまま、また、たとえばプライバシ階層に応じて適宜加工して、ユーザの携帯端末３６に送信すればよい。ただし、ジャイロを持たない携帯端末の場合には、サーバ３８は、その地点から見える複数の方角の映像を順番に送信するようにすればよい。

ステップＳ７１で判断されるが、「過去」または「未来」の場合には、時空データベース４２（図２）に予め登録してある、その位置、その方角での過去の映像または未来の映像を読み出す（Ｓ７３，Ｓ７５）。

そして、ステップＳ７７で、現在、過去または未来の映像の画像信号を、実世界ナビのサービスを要求した携帯端末３６に送信する。そして、ステップＳ７９で終了を検知するまで、ステップＳ６３以降の各ステップを繰り返す。

図１はこの発明の一実施例の広域モニタシステムに用いられる複合センサをユーザとともに示す図解図である。 図２はこの実施例の広域モニタシステムの構成を示す図解図である。 図３は実施例の広域モニタシステムに用いられる会員データベースの登録例を示す図解図である。 図４は実施例の広域モニタシステムにおける複合センサの配置の一例を示す図解図である。 図５は実施例の広域モニタシステムにおける広域表示モードの動作を示すフロー図である。 図６は図５の実施例で表示される広域表示画面の一例を示す図解図である。 図７は実施例の広域モニタシステムにおける複合センサの配置の他の例を示す図解図である。 図８は実施例の広域モニタシステムにおける入出管理モードの動作を示すフロー図である。 図９は実施例の広域モニタシステムにおける実世界ナビゲーションモードの動作を示すフロー図である。

符号の説明

１０ …広域モニタシステム
１２ …複合センサ
２２ …カメラ
２４ …カメラ制御ボックス
２６ …赤外線センサ
２８ …ＩＤセンサ
３０ …音センサ
３２ …ユーザ
３４ …ＩＤタグ
３６ …携帯端末
３７ …ネットワーク
３８ …システムサーバ
４０ …会員データベース
４２ …時空データベース

Claims (7)

1. モニタすべき広域に配置され、各々が少なくともカメラとユーザのＩＤタグを検出できるＩＤセンサとを有する複数の複合センサ、
   ネットワークを介して前記複数の複合センサから画像データとＩＤデータとを受け取るシステムサーバ、
   前記ネットワークを介して前記システムサーバにアクセスできるユーザ端末、および
   前記システムサーバに関連して設けられ、各ユーザのＩＤ番号，顔画像データおよびプライバシ階層を予め登録しておく会員データベースを備え、
   前記ユーザ端末からの要求に応じて、前記システムサーバは前記広域内に存在するユーザを前記プライバシ階層に従った表現形式で表示する表示用画像を前記ユーザ端末に送信する、広域モニタシステム。
2. 前記広域は複数のゾーンを含み、前記複合センサはゾーンによって疎密に配置するようにした、請求項１記載の広域モニタシステム。
3. 前記システムサーバは、前記ユーザ端末からの要求に応じて、前記複数のゾーンを統合した広域表示画像を前記ユーザ端末に送信する、請求項２記載の広域モニタシステム。
4. 前記サーバは、前記ユーザを同定するために、前記ネットワークを通して取得した顔画像データを前記ネットワークを通して取得したＩＤデータに基づいて前記会員データベースから読み出した顔画像データと照合する、請求項１ないし３のいずれかに記載の広域モニタシステム。
5. 環境エフェクタが設けられているゾーンに配置され、各々が少なくともカメラを有する複数の複合センサ、
   ネットワークを介して前記複数の複合センサから画像データを受け取るシステムサーバ、
   前記ネットワークを介して前記システムサーバと接続でき、かつ前記ゾーンの前記環境エフェクタを制御するユーザ端末、および
   前記システムサーバに関連して設けられ、各ユーザの顔画像データを予め登録しておく会員データベースを備え、
   前記複数の複合センサの少なくとも１つから画像データが入力されたとき、前記システムサーバは、前記会員データベースを参照してその画像の者がユーザか非ユーザか判定し、それに応じて前記ユーザ端末に前記ネットワークを介して前記環境エフェクタの制御指令を与える、広域モニタシステム。
6. 前記複合センサはさらに、ユーザのＩＤタグを検出できるＩＤセンサを含み、
   前記システムサーバは前記ネットワークを介して前記複数の複合センサから画像データとＩＤデータとを受け取り、
   前記会員データベースには、前記顔画像をユーザのＩＤ番号との関連で予め登録しておき、
   前記システムサーバは、前記会員データベースの前記ＩＤ番号および前記顔画像を参照することによって、ユーザか非ユーザか判定する、請求項５記載の広域モニタシステム。
7. モニタすべき広域に配置され、各々が少なくともカメラとユーザのＩＤタグを検出できるＩＤセンサとを有する複数の複合センサ、
   ネットワークを介して前記複数の複合センサから画像データとＩＤデータとを受け取るシステムサーバ、
   前記ネットワークを介して前記システムサーバにアクセスできるユーザ端末、および
   前記システムサーバに関連して設けられ、各ユーザのＩＤ番号および顔画像データを予め登録しておく会員データベース、
   前記システムサーバに関連して設けられ、広域内の各地点における現在，過去および未来の画像を記憶しておく時空データベース、および
   前記ユーザに所持されるかつ少なくともＧＰＳ機能を有する携帯端末を備え、
   前記携帯端末からの要求に応じて、前記システムサーバは前記会員データベースを参照してユーザかどうか判定し、ユーザであるときその携帯端末の位置を特定し、前記時空データベースからその位置に関連する現在，過去または未来の画像を読み出して前記携帯端末に送信する、広域モニタシステム。

Images