JP2005286685A - 画像生成装置、システムまたは画像合成方法。 - Google Patents

Abstract

【課題】
複数カメラ映像を基に監視範囲内発生事象を把握する監視作業では、監視範囲全体を示す地図内情報を、監視カメラと同じ視点から眺めた場合の見え方にイメージし直し、該イメージと監視映像を比較し、発生事象を認識する必要があり、高い集中力を要求され、監視者は判断ミスを犯し易くなるという問題があった。
【解決手段】
本発明の監視システムでは、監視カメラ撮影映像に対して、該映像内の特定領域の見え方を地図の対応領域と同一の幾何形状に変形する映像変形手段２１２と、該変形映像の特定領域を抽出し地図の対応領域に合成表示する映像合成表示手段２１３を備えることを特徴とする。
【選択図】 図２

Description

この発明は、複数の地点に配置されたカメラ装置が撮影する映像を合成し、合成画像を生成、または表示する装置、システム又は方法に関する。特に、監視カメラシステム及び監視カメラ映像表示方法に関するものである。

監視カメラを用いた監視システムによる監視作業は、一般に、監視範囲の一部又は全体を撮影可能な監視カメラを少なくとも一台以上用いて撮影し、撮影した映像を監視者のいる場所に設置したＣＲＴなどの映像表示装置上に、複数台の監視カメラ撮影映像を画面を分割して同時に表示するか、表示すべき監視カメラ撮影映像を選択して、切り替えながら順次表示するかして、監視カメラ映像を通して、監視範囲で発生した異常事態などの事象の発生を認識し判断するという作業である。このように、監視カメラ映像の観察を通した監視作業では、監視範囲をカメラがどのような位置からどのような視野角で、どの範囲撮影しているかという撮影条件と、撮影された映像情報そのものと、監視カメラ設置場所に関する既知の情報の、三種類の情報を用いて、監視者たる人間が総合的に判断し、監視範囲で発生している事象を理解し把握する。

このため、従来、監視カメラの撮影条件と、撮影映像と、監視場所に関する既知の情報の３種類の情報を、映像表示装置上に、画面を分割してそれぞれ表示するか、監視場所に関する情報を地図として表現し、地図上に撮影条件を記号で図示し、別ウィンドウに選択されたカメラの映像を表示する方法を用いる監視システムがあった（例えば、特許文献１、２、３、４参照。）
また、監視範囲に障害物が少ない空港河川、港湾等を監視するシステムで、広い監視領域をある一点から画角の異なる複数のカメラによる画像を一画像に構成し、監視領域全体を真上から見た地図に、合成する技術がある（特許文献５参照）。

特開平６−２８４３３０号公報(第４−５頁 、第７図) 特開２００３−１３４５０３号公報(第３頁 、第２図) 特開２００２−７７８８９号公報(第３頁 、第７図) 特開２００２−３４４９２９号公報(第４頁 、第６図) 特開２００１-３１９２１８号公報（第１６頁、第１６図）

上記従来技術では、カメラ撮影映像を撮影したままの形状で表示するために、たとえ、監視範囲を示す地図上に、監視カメラの撮影方向などの撮影条件を記号で示しても、撮影映像と、地図との間の幾何学的関係が整合されていないために、監視者は、一旦、地図に示された監視範囲を、監視カメラと同じ視点から眺めた場合の監視範囲の見え方にイメージし直して、そのイメージと監視撮影映像とを比較して、監視範囲内で生じている事象を認識するという、一連の認識プロセスを必要とするため、監視作業に高い集中力を要求されたり、判断ミスを犯し易くなるなどの問題があった。

また、監視範囲に建物などの障害物が多い場合、一画像に構成する際に行う変換処理によって監視カメラ撮影映像と地図情報との幾何学的関係の不整合が生じる場合がある。

また、複数のカメラにより、異なる位置から撮影された映像の間の幾何学的関係の不整合は、上記特許文献では、解決されていない。

本発明は、複数の監視カメラの撮影映像を地図内に判り易く合成表示する方法と、該表示方法を可能とする監視システムを提供することを目的とする。

上記課題のうち少なくとも一つを解決するために、本発明の監視システムでは、監視映像撮影手段と、該撮影手段により撮影した映像を監視センタに伝送する伝送手段と、該伝送手段により伝送された映像を受信し蓄積する映像受信蓄積手段と、該映像内特定領域の見え方を地図の対応領域と同一の幾何形状に変形する映像変形手段と、該変形映像の特定領域を指定するマスク情報に従って抽出する部分映像抽出手段と、該変形映像の部分映像抽出映像を、地図の対応領域に合成表示する映像合成表示手段とを備える。

撮影方向や撮影位置や撮影視野が異なる撮影手段により撮影されたそれぞれの撮影映像を、映像内の特定領域の見え方が、地図内の対応領域と同一の幾何形状と一致するように、映像変形手段でそれぞれの映像を変形し、部分映像抽出手段で該変形映像の特定領域を抽出し、映像合成表示手段により地図内の対応領域に該抽出部分映像を合成表示するため、撮影手段の個々の撮影条件を考慮しながらの映像読解が不要となると同時に、それぞれの映像の撮影範囲の相互関係を地図内で容易に把握可能となる。

本発明によれば、複数の映像の相互関係を地図内で容易に把握可能となる。

以下、実施例を用いて説明する。

図１に、監視カメラ映像をネットワークを経由して収集し、地図データに合成表示する監視システム構成図を示す。複数のネットワークカメラ１０１，１０２，１０３は、ネットワーク１０４を経由して映像収集・閲覧サーバ１２０へ映像を送信する。ネットワークカメラ１０１は、カメラ１１０により、映像を撮影し、画像エンコーダ１１１により、画像データを圧縮符号化し、ネットワークアダプタ１１２を経由して、撮影映像データをネットワーク上へ送りだす。映像収集・閲覧サーバ１２０は、監視カメラの蓄積映像データ１３２や、監視範囲の地図データ１３１や、カメラ撮影映像と地図データを合成するために必要なカメラ別変換パラメタ１３０や、地図データに合成するカメラ撮影映像の範囲を指定するカメラ別のマスク情報１３３、本発明の映像処理プログラム１３４を格納するための外部記憶装置１２４と、地図情報や監視映像を表示するためのディスプレイ１２１と、表示の仕方などを指示するためのキーボード１２３やマウス１２２を備える。なお、外部記憶装置１２４に格納されているデータは、映像収集・閲覧サーバー１２０の内部のメモリに保持されていてもよい。本システムでは、撮影映像データを収集し、収集された複数の映像を地図データに合成し、合成により新たな画像を生成し、表示する。

映像収集・閲覧サーバ１２０の内部構成を、図１９を用いて説明する。映像収集・閲覧サーバ１２０は、ＣＰＵ１９０１と、メモリ１９０２と、ネットワークに接続しデータを授受するためのネットワークインターフェース回路１９０３と、外部記憶ディスク装置１２４とデータを授受するためのディスクインターフェース回路１９０４と、キーボード１２３を接続するためのキーボードインターフェース回路１９０５と、マウス１２２を接続するためのマウスインターフェース回路１９０６と、画像表示装置１２１を接続し画像表示するためのビデオインターフェース回路１９０７が、バス１９１０を介して互いに接続されている。

次に、本監視システムでの監視撮影映像に対する映像収集・閲覧サーバ１０２における映像処理の流れを、図２に示す監視映像処理のデータフロー図を用いて説明する。映像収集・閲覧サーバ１０２にネットワーク経由で送信されて来たデータを、カメラ１撮影データ２０１と、カメラ２撮影データ２０２と、カメラＮ撮影データ２０３とする。これらのカメラ撮影データは、受信蓄積処理２１１により、外部記憶装置１２４に蓄積保存されるか、あるいは、地図との合成表示のための射影変換処理２１２の入力データとしてリアルタイムに利用される。射影変換処理２１２は、表示装置１２１上で地図と合成表示する監視カメラ映像を、該監視カメラに対応する変換パラメタ２０６に基づいて、射影変換の幾何変形処理を行う。射影変換処理２１２の出力映像データは、該監視映像撮影地域の地図データ２０５と、該地図データ上に幾何変形された監視カメラ映像を合成するために必要なマスク情報２０７を用いて、合成処理２１３によって地図画像上に監視カメラ映像を埋め込み合成する。該地図とカメラ画像の合成映像は、表示処理２１４により、表示装置１２１上に表示される。図２で示す映像処理を記述した本発明の映像処理プログラム１３４は、映像収集・閲覧サーバ１２０に接続した外部記憶装置１２４に格納し、実行時に映像収集・閲覧サーバ１２０へロードされ制御部で実行される。すなわち、映像収集・閲覧サーバ１２０は、画像を生成する装置である。

続いて、監視カメラで監視する監視対象物と監視カメラ設置場所に関して、図３では鳥瞰図を用いて、図４では地図を用いて説明する。図３には、都市の一街区にビルが建ち並ぶ様子を、鳥瞰図により模式的に示している。図中の黒い丸印３０１〜３０７は、ビル周辺の路上を撮影するためにビルの屋上に設置する監視カメラの設置位置を示している。図４には、図３に示した都市の一街区の地図による表現を示す。

図３で示した監視カメラを設置位置を、図４中に、図３と同一番号を振った黒い丸印で示す。図３あるいは図４に示したような街区の監視カメラによる監視映像の例を、図５と図７に示す。図５では、カメラ設置位置３０３に設置した監視カメラにより撮影したビル周辺の路上の撮影映像を示す。図７では、カメラ設置位置３０４に設置した監視カメラにより撮影したビル周辺の路上の撮影映像を示す。これらの撮影映像を、図３や図４に示す街区の情報と照らし合せて、どのビル周辺の、どの道路の、どの範囲を撮影したものかを見出し、理解するのは、それぞれのカメラで撮影方向も、撮影高さも、撮影視野角も異るため、容易ではない。このように、複数の監視カメラ映像から、その監視カメラが撮影している監視範囲の状況を理解するには、事前にその監視範囲の地図情報や、各監視映像の撮影位置や、撮影方向の違いなどをよく理解しておき、それぞれの監視映像を地図上のどの範囲かを頭の中で想像しながら解釈するという、集中力を要する読解作業が要求される。そのため、監視カメラを用いての監視業務を遂行するためには、それを用いて監視活動を行う監視員に、監視映像の読解という集中力を要する作業を強いる。そのため、集中力の低下などにより、その読解を正確に行えないとか、ただ漫然と監視映像をながめているだけとか、監視作業の質の低下など生じやすい。

図６に、図５の監視映像に対して、ある射影変換を施した映像６０１を、図４の地図上の、道路部分が一致するように配置した様子を示す。道路部分の映像を地図の道路部分と一致させる幾何変換は、道路の地表平面に対する監視カメラの設置位置と方向、および、監視カメラに装着されたレンズ特性に応じて決る射影変換と、地図作図に用いた幾何変換から一意に決る。一般に、図４に示したような、地球表面の球面形状の影響を無視できるほどに狭い範囲の地図においては、地図化するために用いる幾何変換は平行投影とみなせ、一種の射影変換となる。このため、カメラ監視映像と地図の、地表平面の道路のそれぞれの形状は、異なる射影変換で、実際の道路の形状をそれぞれ変換した形状となっている。

ある平面上の幾何的関係を、二つの異なる射影変換で変換し求めた二つの幾何的関係の間には、一方の幾何的関係を他方の幾何的関係に変換することが可能な射影変換が存在する。この性質により、図６に示したように、道路のような平面上の幾何的関係に関して、カメラで撮影した道路の映像を、地図として描いた道路に一致させることのできる映像に変換することのできる射影変換が存在することになる。

同様に、図８に、図７の監視映像に対して、ある射影変換を施した映像８０１を図４の地図上に、道路部分の幾何的関係が一致するように配置した様子を示す。図６や図８に示したように、道路部分の撮影映像が地図上の道路部分に一致するように射影変換した映像は、道路の存在する同一平面上の幾何的関係のみが、地図と一致する。従って、道路とは同一平面に存在しないビルの側面やビルの屋上などの映像部分は、該射影変換では、地図上に描画された対応部分の幾何的関係とは一致しない。

前述したような映像を変換する二次元射影変換の場合、一般には、変換元と変換先の平面上の四点の関係が決まると一意に決る。そのため、道路部分の撮影映像が地図上の道路部分に一致するように変換する射影変換は、監視映像の地表平面上の道路部分から、どの三点の組も直線上に並ぶことのない性質を持つ、任意の四点を選択し、その四点に対応する地図上の四点を関係付けることで、一意に決定することができる。

このような射影変換を決定する方法を、図１２を用いて説明する。図１２には、ｘ座標軸１２１１とｙ座標軸１２１２を持つ映像座標系Ｌが定義された監視カメラに撮影された映像１２０１と、Ｘ座標軸１２２１とＹ座標軸１２２２を持つ映像座標系Ｍが定義された監視カメラに撮影された地図１２０２と、ｕ座標軸１２３１とｖ座標軸１２３２を持つ映像座標系Ｋが定義された二次元平面１２０３を示す。

映像１２０１内の四点ａ，ｂ，ｃ，ｄを、地図１２０２内の四点Ａ，Ｂ，Ｃ，Ｄに対応付ける射影変換Ｈを表わす変換式は、非常に複雑な変換式となるので、数１に示すような、映像１２０１の座標系Ｌから二次元平面１２０３の座標系Ｋへの射影変換Ｇと、数２に示すような、二次元平面１２０３の座標系Ｋから地図１２０２の座標系Ｍへの射影変換Ｆの、二つの射影変換をそれぞれ求めて、数３に示すような合成写像Ｈを求める。この合成写像Ｈは射影変換となり、数４に示すように、映像１２０１の座標系Ｌから地図１２０２の座標系Ｍへの射影変換Ｈとなる。

射影変換Ｆは、数５に示すように、二次元平面１２０３内で、uv座標値（０，０）、（０，１）、（１，０）、（１，１）をそれぞれ持つ四点１２３３、１２３４、１２３５、１２３６を、地図１２０２内の四点Ａ，Ｂ，Ｃ，Ｄへ対応付ける射影変換と定義する。ここで、地図１２０２内の四点Ａ，Ｂ，Ｃ，Ｄは、座標系Ｍにおいて、ＸＹ座標値（０，０）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）をそれぞれ持つとする。

さらに、射影変換Ｇは、数９に示すように、映像１２０１内の四点ａ，ｂ，ｃ，ｄを、二次元平面１２０３内で、uv座標値（０，０）、（０，１）、（１，０）、（１，１）をそれぞれ持つ四点１２３３、１２３４、１２３５、１２３６へ対応付ける射影変換と定義する。ここで、映像１２０１内の四点ａ，ｂ，ｃ，ｄは、座標系Ｌにおいて、ｘｙ座標値（０，０）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）をそれぞれ持つとする。

このように定義した、射影変換Ｆの座標系Ｋの座標値（ｕ，ｖ）から座標系Ｍの座標値（Ｘ，Ｙ）への具体的な変換式を、数８に示す。ここで、係数Ｐ１、Ｑ１、Ｐ２、Ｑ２、Ｐ０、Ｑ０、Ｒ０は、点Ａ、Ｂ、Ｃ、Ｄの座標値の式で定義される数６に示す補助定数 Ｔ１、Ｔ２、Ｔ３、Ｔ４を用いて、数７に示すように定義する。

同様に、射影変換Ｇの座標系Ｌの座標値（ｘ，ｙ）から座標系Ｋの座標値（ｕ，ｖ）への具体的な変換式を、数１２に示す。ここで、係数ｐ１、ｑ１、ｐ２、ｑ２、ｐ０、ｑ０、ｒ０は、点ａ、ｂ、ｃ、ｄの座標値の式で定義される数１０に示す補助定数 ｔ１、ｔ２、ｔ３、ｔ４，ｄ１，ｄ２を用いて、数１１に示すように定義する。

すると、映像１２０１内の四点ａ，ｂ，ｃ，ｄを、地図１２０２内の四点Ａ，Ｂ，Ｃ，Ｄに対応付ける、座標系Ｌの座標値（ｘ，ｙ）から座標系Ｍの座標値（Ｘ，Ｙ）へ対応付ける射影変換Ｈは、まず、数１２により、座標値（ｘ，ｙ）から座標値（ｕ，ｖ）を求め、さらに、数８により、該座標値（ｕ，ｖ）から座標値（Ｘ，Ｙ）を求めることで計算できる。このように二つの射影変換Ｇと射影変換Ｆを合成しが変換は、射影変換となり、射影変換Ｈは、数１３の九つの定数係数a0,a1,a2,b0,b1,b2,c0,c1,c2で表現できる形式となる。

数１３に含まれる九つの定数係数が、図１のカメラ別変換パラメタ１３０の具体表現となる。図２０に、監視カメラ別に、数１３に含まれる九つの定数係数を表の形式として保存した変換パラメタテーブルを示す。テーブル２００１、テーブル２００２、テーブル２００３は、それぞれ、監視カメラ１、監視カメラ２、監視カメラＮに対する変換パラメタのデータ形式である。

このように定義される、監視カメラ映像の道路部分を、地図上の道路表記部分へ対応付ける座標間の計算式が求まると、図１の映像収集・閲覧サーバ１２０で実行可能な、幾何変形処理と呼ばれる画像の形状を変形する画像処理プログラムとして、図２に示した射影変換処理２１２を、容易に実現することができる。

続いて、図２の合成処理２１３を説明する。該合成処理は、射影変換処理２１２により幾何変形された監視カメラ映像で、地図との幾何形状が一致する部分映像の道路部分だけを図４の地図上に合成することを目的とする。この目的のために、まず、図９や図１０に示すように、監視カメラ３０３や監視カメラ３０４の映像で撮影されている道路部分に相当する領域を示す映像マスク９０１や１００１を、全ての監視カメラそれぞれに用意し、図２のマスク情報２０７とする。監視カメラの設置位置と撮影方向と撮影画角が一定であれば、映像マスク９０１や１００１は一定である。そのため、撮影方向や撮影画角を変化させないのであれば、監視カメラの設置時に一度設定し用意すればよい。

図６と図８に示す射影変換画像６０１や８０１を、それぞれ、図９と図１０に示す映像マスク９０１や１００１で指定された部分の画像だけを取り出し、図４の地図上に合成表示すると、図１１に示す映像部分１１０１となる。

続いて、図２の表示処理２１４を、図１３を用いて説明する。図１３は、図１の表示装置１２１の画面表示例である。画面１３００には、前記の、監視区域地図上に各監視カメラ映像をそれぞれ適当な射影変換で幾何変形し、道路地表面とは同一平面に存在しない部分を除去した映像が、地図上の道路部分に正しい幾何的整合性を持って合成表示される、地図と監視映像合成表示ウィンドウ１３１０と、各監視カメラの映像をそのまま映し出すための監視カメラ映像無変換表示用ウィンドウ１３２０と、現在の時刻を表示する現在時刻表示ウィンドウ１３０７と、表示している監視カメラ映像の撮影時刻を表示する映像撮影時刻表示ウィンドウ１３０８を、配置する。

映像撮影時刻表示ウィンドウ１３０８内には、地図と監視映像合成表示ウィンドウ１３１０と、監視カメラ映像無変換表示用ウィンドウ１３２０内の監視カメラ映像として、表示時刻現在のリアルタイムの映像だけではなく、図１の外部記憶装置１２４内に蓄積しておいた蓄積映像１３２の特定時刻撮影映像から取り出すための、指定撮影時刻をセットするための、映像撮影時刻変更アップダウンボタン１３０９を持つ。

監視カメラ映像無変換表示用ウィンドウ１３２０内には、固有の監視カメラ番号を振られた監視カメラの、映像撮影時刻表示ウィンドウ１３０８に表示されている時刻に撮影された映像が、個別カメラ撮影映像表示ウィンドウ１３０１、１３０２、１３０３、１３０４、１３０５に、上からカメラ番号の昇順に並べられて配置される。ウィンドウ１３２０の内側に表示しきれない監視カメラの撮影映像は、スクロールバー１３０６を操作することにより、最上段のカメラ撮影映像表示ウィンドウ１３０１に表示される監視カメラ番号を増減し、それに従い、その他のカメラ撮影映像表示ウィンドウ１３０２〜１３０５のカメラ番号も変更され、ウィンドウ１３２０内に、所望のカメラ番号を持つ監視カメラの撮影映像を表示する。

このように、各監視カメラ映像のそれぞれに適する射影変換２１２を施された映像から、道路地表面と同一平面に存在しない部分が除去された映像を、地図上に合成表示できるために、各監視カメラ映像の相互関係が地図上に統一的に整合され、地図上で、監視領域内の道路状況を映像として監視可能となる。

本実施例によれば、監視員は、システムの各カメラの位置や撮影方向などという、監視カメラ個別特性に応じて、監視カメラ映像を読解する必要がなくなり、監視作業の負荷が低減され、作業ミスの誘発要因も低減する効果がある。

実施例１で説明した監視システムにおいて、図３に示した市街地に設置された監視カメラ３０３の撮影映像と監視カメラ３０４の撮影映像との撮影時刻が同時刻に撮影されていない場合には、監視領域全体において、ある瞬間の状態を表示していることにならない。そのため、図１１に示すように二つのカメラの道路状態の映像を合成した映像において、例えば、自動車のように動いている物体の映像部分は、マスク情報９０１とマスク情報１００１の重複部分において、同一の自動車が異なる路面位置に存在していたと撮影され、二重にずれて合成表示されるなど、合成映像の品質に問題が発生する場合がある。

そのため、第二の実施例においては、図１に示す監視システムにおける監視カメラ１０１，１０２，１０３が相互に動画撮影の撮影フレームタイミングの同期が取れるカメラで構成される事を特徴とし、その他は、実施例１と同様のシステム構成と実施例１と同様の監視映像表示方法を用いた監視システムとする。複数の監視カメラが相互に動画撮影同期を取ることが可能な監視カメラの実施の例を、以下において、図面を参照して説明する。

図１４は、本発明の実施の形態を示すネットワーク監視カメラの機能ブロックの構成図である。本発明のネットワーク監視カメラは、組み込みコンピュータブロック １４００と、画像データ生成ブロック １４１０ と、位相を制御可能な同期信号生成ブロック１４２０ から構成される。

組み込みコンピュータブロック １４００は、CPU １４０２ と RAM １４０３ とディスク制御インタフェース１４０４ とネットワークインタフェース１４０６が、内部バス 101 を介して互いに接続され、ディスク制御インタフェース１４０４を介して接続されたハードディスク１４０５に格納された任意のプログラムコードをＲＡＭ１４０３へロードして、該プログラムコードをＣＰＵ１４０２で実行可能な汎用のコンピュータと同等の機能を有する。さらに、ネットワーク接続端子１４０７ を介して接続する外部ネットワークと通信するために必要なプログラムや、内部バス１４０１を介して接続されている画像データ生成ブロック１４１０や 位相を制御可能な同期信号生成ブロック１４２０とのデータ交換が可能なプログラムモジュールを含むオペレーティングシステム(例えば Linux など)をハードディスク１４１９に格納し、起動とともにロードし動作させ、該オペレーティングシステムの下で、以下で説明する映像撮影を同期化するプログラムを動作させる。

画像データ生成ブロック１４１０は、垂直と水平の各同期信号を供給することで、撮影タイミングを制御可能なカメラモジュール１４１１と、圧縮あるいは非圧縮の各種の業界標準画像データ形式(例えば、JPEG)に変換する画像エンコーダ１４１２と、同期信号生成ブロック１４２０のカウンタ情報を基に、フレーム番号を算出するフレーム番号生成器１４１３から構成される。カメラモジュール１４１１から出力されるディジタル映像信号と、フレーム番号生成器１４１３から出力されるフレーム番号情報は、画像エンコーダ１４１２に取り込まれ、適当な画像データ形式のディジタルデータに変換され、該データは内部バス１４０１を経由して、組込みコンピュータブロック１４００に読み込まれ、ネットワークインタフェース１４０６を経由して外部ネットワークへ送信する。
位相を制御可能な同期信号生成ブロック１４２０は、映像基準クロック生成器１４２１と、該クロック生成器の発生するパルス信号毎に一ずつ積算する３２ビットの積算カウンタ１４２２と、組み込みコンピュータブロック１４００から３２ビット整数値を設定可能なオフセットレジスタ１４２４と、積算カウンタ１４２２の計数値と、オフセットレジスタ１４２４の設定値とを加算する加算器１４２３と、映像基準クロック生成器１４２１のクロック周期とカメラモジュール１４１１へ供給する水平同期信号の周期の比率を設定する分周比率３２ビット定数レジスタ１４２５と、加算器 １４２３の出力数値を、分周比率定数レジスタ１４２５に設定されている数値で除算しその剰余を３２ビットで出力する剰余器１４２６と、剰余器１４２６の出力値を基準クロックの一周期分の時間保持するレジスタ１４２７と、剰余器１４２６の出力値をAに、レジスタ１４２７の出力値をBに、それぞれ入力し、AがB未満のとき１を、それ以外のとき０ を１ビットで出力する比較器１４２８と、比較器１４２８の出力パルスから、水平同期信号パルス波形を生成する単安定マルチバイブレータ１４２９と、映像基準クロック生成器１４２１のクロック周期とカメラモジュール１４１１へ供給する垂直同期信号の周期の比率を設定する分周比率３２ビット定数レジスタ１４３０と、加算器１４２３の出力数値を、分周比率定数レジスタ１４３０に設定されている数値で除算しその剰余を３２ビットで出力する剰余器１４３１と、剰余器１４３１の出力値を基準クロックの一周期分の時間保持するレジスタ１４３２と、剰余器１４３１の出力値をAに、レジスタ１４３２の出力値をBに、それぞれ入力し、AがB未満のとき１を、それ以外のとき０を１ビットで出力する比較器１４３３と、比較器１４３３の出力パルスから、垂直同期信号パルス波形を生成する単安定マルチバイブレータ１４３４とを有する。
第２の実施例においては、撮影同期機能付ネットワーク監視カメラの使用形態は、第１の実施例の図１の監視システム構成図におけるネットワーク監視カメラ１０１,１０２,１０３を、図１４に示した内部構成を持つ撮影同期機能付ネットワーク監視カメラに置き換えて使用する。

撮影同期機能付ネットワーク監視カメラの動作には、二種類の動作モードを設定する。一つは、同期従属モード、もう一つは同期基準モードと呼ぶ。図１のシステム構成において、ネットワーク１０４に接続された全てのネットワークカメラの内の一台、例えば監視カメラ１０１だけが同期基準モードで動作し、残りの全ての監視カメラ１０２, １０３は、同期従属モードで動作させる。

本発明のネットワーク監視カメラの動作を、同期基準モードの動作と同期従属モードの動作について、図１５と図１６のフローチャートを用いてそれぞれ説明する。

同期基準モードでは、組み込みコンピュータブロック１４００において、図１５のフローチャートに従ったプログラムを実行させる。まず、手順１５００に於て、位相を制御可能な同期信号生成ブロック１４２０の積算カウンタ１４２２とオフセットレジスタ１４２４を、零にクリアする。この直後より、積算カウンタ１４２２は、映像基準クロック１４２１の発生するパルス間隔でカウンタ値を一ずつ増やしていく。
手順１５０１で、組み込みコンピュータブロック１４００が接続しているネットワークからの受信内容を読み取る。続く手順１５０２で、読み取った受信内容が同期従属モードで動作しているネットワークカメラからの送信要求か判別し、送信要求でない場合、手順１５０１へ戻る。送信要求の場合は、手順１５０３で、位相を制御可能な同期信号生成ブロック１４２０の加算機１４２３の出力値を読み出す。同期基準モードでは、オフセットレジスタ１４２４の値は、リセット後更新されず、零であるので、加算器１４２３の出力値は、積算カウンタ１４２２のカウント値と一致している。読み出した積算カウンタ１４２２のカウント値を、速やかに手順１５０４で、送信要求をして来た同期従属モードで動作しているネットワークカメラへ送信する。続いて、再び手順１５０１へ戻り、順次、送信要求に応えて積算カウンタ１４２２のカウント値を返信し続ける。

同期従属モードでは、組み込みコンピュータブロック１４００において、図１６のフローチャートに従ったプログラムを実行させる。まず、手順１６００に於て、位相を制御可能な同期信号生成ブロック１４２０の積算カウンタ１４２２とオフセットレジスタ１４２４を、零にクリアする。この直後より、積算カウンタ１４２２は、映像基準クロック１４２１の発生するパルス間隔でカウンタ値を一ずつ増やしていく。手順１６０１で、手順１６０３〜１６０９までの繰り返しループ回数を制御する変数 i に零を代入する。手順 402 の条件分岐では、変数 i が100未満であれば、続く手順403〜409の部分の実行へ制御を移し、変数 i が１００以上であれば、手順１６１０へ分岐する。手順１６０３〜１６０９の一連の繰り返しループ計算ブロックの最初の手順１６０３では、加算機１４２３の出力値を読み出し Ai とする。
手順１６０４で、同期基準モードで動作しているカメラに対して、該カメラの加算機１４２３の出力値を送信するように要求する要求パケットをネットワークを通して送信する。手順１６０５で、手順１６０４で要求した情報の受信を待ち、受信があれば次の手順１６０６へ進む。手順１６０６で、受信した情報である同期基準モードカメラの加算器１４２３の出力値を Bi とする。続く手順１６０７では、自カメラの加算器１４２３の出力値を読み出し Ci とする。手順１６０８で、(Bi-(Ai+Ci)/2)を計算し、その結果をDi とする。手順１６０９で、繰り返し回数制御変数の iの値を1増し、手順１６０２へ戻る。手順１６０３〜１６０９の一連の手順を100回繰り返した後、手順１６１０へ進む。手順１６１０では、手順１６０８で計算した１００個の Di からその平均値を求め、D とする。手順１６１１で、オフセットレジスタ１４２４の現在設定値に数値 D を加算した値を設定する。これにより、加算器123の出力値が、同期基準モードカメラの加算器１４２３の出力値と、同時刻では値が一致するように修正されたことになる。
手順１６１２で、以上の修正手順を一定時間あけて再び実行するために、一定時間待ち、その後手順１６０１へ制御を戻す。待ち時間の一定時間は、映像同期基準クロック１４２１の個体差によるカメラ間でのクロック刻み間隔の差や、各映像同期基準クロック１４２１のクロック刻み間隔ゆらぎ量から決定される。さらに、ネットワークトラフィックの無用な増大を抑えるためには、あまり頻繁に同期のための通信を行わないほうがよい。これらの条件を勘案して、数十秒から数十分の間で手順１６１２の待ち時間を設定する。

図１７を用いて、図１６のフローチャットで説明した同期従属モードカメラの動作が、自カメラの加算器１４２３の出力値を、同期基準モードカメラの加算器１４２３の出力値に、同期される原理を説明する。図１７では、時刻を表わす座標軸１７０１に沿って、同期従属モードで動作するカメラの加算器１４２３の出力値の変化を表わす軸１７０２ と、同期基準モードで動作するカメラの加算器１４２３の出力値の変化を表わす軸１７０３を並べて記した。時刻軸１７０１上での時刻 t1 で、図１６のフローチャートの手順１６０４により、同期従属モードカメラから同期基準モードカメラへ、同期基準モードカメラの加算器１４２３の出力値の送信要求を行ったとする。この時刻t1 での、同期従属モードカメラの加算器１４２３の出力値を A とする。該送信要求が、時刻 t2 に同期基準モードカメラに到着すると、同期基準モードカメラは、加算器１４２３の出力値 B を、速やかに同期基準モードカメラへ返信する。該返信が、時刻t3に、同期従属モードカメラへ到着し、その時点の同期従属モードカメラの加算器１４２３の出力値が Cとする。このとき、同期従属モードカメラから同期基準モードカメラへの送信要求通信１７０４にかかった時間 (t2-t1) と、同期基準モードカメラから同期従属モードカメラへの返信１７０５にかかった時間(t3-t2) は、等しいと仮定できる。すると、時刻 t2 での、同期従属モードカメラの加算器１４２３の出力値は、 (A+C)/2 と推定される。従って、値 (B-(A+C)/2) は、同時刻における、同期従属モードカメラの加算器１４２３の出力値と同期基準モードカメラの加算器１４２３の出力値との差と見倣される。ここで、(t2-t1)と(t3-t2)が等しいとい仮定は、通信環境の影響などにより、必ずしも成立しない。そのため、通信環境の影響などによる(t2-t1)と(t3-t2)の値の違いは、確率的要因により生じているという仮定をさらに立て、同時刻における二つのカメラ間での 加算器１４２３の出力値の差(B-(A+C)/2)を１００回算出しその平均値をもって、加算器１４２３の出力値の差の良い推定値とした。このように推定した加算器１４２３の出力値の差を、同期従属モードカメラのオフセットレジスタ１４２４の現在設定値に加算することで、加算器１４２３の出力値は、(B-(A+C)/2)だけ増え、同期基準モードカメラの同時刻における加算器１４２３の出力値と一致することになる。以上のように、ネットワークに接続されている同期従属モードで動作する全てのカメラの加算器１４２３の出力値は、同期基準モードで動作する唯一のカメラの加算器１４２３の出力値に一致して動作する。

全てのカメラの映像基準クロック１４２１の周波数は同一に設定しておき、全てのカメラの加算器１４２３の出力値は、同一の時間間隔で一ずつ値が増加していく。この出力値の変化する時間間隔を TC として、時間 TC に対するカメラモジュール１４１１へ入力する水平同期信号の同期パルス間隔 TH の整数比をM とする。分周比率定数レジスタ１４２５には事前にこの値 M を設定しておく。すると、剰余器１４２６の出力値は、図１８に示すように、時間間隔 TH で、増減を繰り返す。この特性を利用すると、基準クロックの一周期分の時間 TC 前の剰余器１４２６の出力値を保持しているレジスタ１４２７の出力値と、 剰余器１４２６の出力値とを比較器１４２８で比較することで、剰余値が減少したタイミングを検出し、周期 TH のパルスを得る。この周期 TH のパルスを、単安定マルチバイブレータ１４２９を用いて、水平同期信号の波形に整形し、カメラモジュール１４１１の水平同期信号として供給する。

同様に、映像基準クロック１４２１の一周期の時間 TC に対するカメラモジュール１４１１へ入力する垂直同期信号の同期パルス間隔 TV の整数比をN とし、分周比率定数レジスタ１４３０には事前にこの値 N を設定する。すると、水平同期信号を生成した場合と同様に、比較器１４３３の出力として、周期 TV のパルスを得る。この周期 TV のパルスを、単安定マルチバイブレータ１４３４を用いて、垂直同期信号の波形に整形し、カメラモジュール１４１１の垂直同期信号として供給する。

前述したように、ネットワークに接続されている同期従属モードで動作する全てのカメラの加算器１４２３の出力値が同期基準モードで動作する唯一のカメラの加算器１４２３の出力値に一致して動作していることより、全てのカメラにおいて上述のように生成される水平同期信号と垂直同期信号は、互いに位相の一致した同期信号となる。従って、カメラモジュール１４１１により撮影される映像の撮影タイミングは、カメラ間で同期の取れたものとなる。さらに、フレーム番号生成器１４１３ は、カメラ間で同一の値を持つ加算器１４２３の出力値に基づいてフレーム番号を算出するため、フレーム番号もカメラ間で同期のとれた同一の値を生成できる。フレーム番号算出方法は、例えば、加算器１４２３の出力値を A として、同期基準クロック１４２１のクロック周波数を f として、垂直同期信号の周期を TV とするとき、フレーム番号 FN は、 (A/f/TV) の値を越えない最大の整数値と計算する。カメラモジュール１４１１で同期撮影された映像データは、画像エンコーダ１４１２で特定の画像データ形式に変換するとともに、各画像データにはカメラ間で同期の取れたフレーム番号を埋め込む。このようにして生成した、撮影タイミングが同期した映像データは、ネットワーク１０４を経由して，映像収集・閲覧サーバ１２０へ伝送される。

このように、撮影同期可能な監視カメラを用いて、他の部分は第１の実施例と同様の監視システムでは、図１１に示すような、地図画像中に埋め込んだ複数の監視カメラの道路状態の映像１１０１のうち、複数のカメラで重複して撮影している部分の合成画像部分で、同一の自動車が二重にずれて合成表示されるなどという画像劣化が発生しなくなる。

本実施例によれば、第１の実施例よりも高品質に、地図画像中に監視カメラ映像を合成表示することが可能となり、第１の実施例と同様の効果に加えて、不正確な合成映像の表示による監視員の状況判断ミスなどの発生を、未然に防ぐことが可能となる効果がある。

以上説明した実施例によれば、撮影方向や撮影位置や撮影視野に違いのある複数の監視カメラの撮影映像を、一つの地図上に、撮影方向や撮影位置や撮影視野に違いのある複数の監視カメラの撮影映像を、一つの地図上に、該複数の監視カメラ映像間の映像の見え方の違いを整合し一元表示可能となるため、監視領域の複数監視カメラ映像の読解を異なる監視カメラ撮影映像毎に個別に行う必要がなくなる。また、異なる監視カメラ撮影映像の撮影範囲の相互関係を地図内で容易に把握可能となるため、監視作業負荷を軽減できるという効果がある。

交通監視や商店街などの公共空間や建物のフロアー全体などの広い範囲の監視のための監視システムに利用できる。

本実施例の監視システムの機能ブロック図 本実施例の監視カメラ映像表示方法のデータフロー図 ビルの立ちならぶ街区の鳥瞰図とカメラ設置位置 図３と同一地区の地図とカメラ設置位置 設置位置３０３の監視カメラから撮影した監視映像の例 設置位置３０３の監視カメラ撮影映像の道路部分形状が地図の対応する道路部分の形状と一致する幾何変換を施された画像と該画像の地図上への配置 設置位置３０４の監視カメラから撮影した監視映像の例 設置位置３０４の監視カメラ撮影映像の道路部分形状が地図の対応する道路部分の形状と一致する幾何変換を施された画像と該画像の地図上への配置 設置位置３０３の監視カメラが撮影可能な道路部分の撮影範囲を示す地図上でのマスク情報 設置位置３０４の監視カメラが撮影可能な道路部分の撮影範囲を示す地図上でのマスク情報 設置位置３０３と３０４の監視カメラが撮影した道路部分の撮影映像の幾何形状を地図とそれぞれ一致させた画像から道路部分のみ切り出した画像の地図上への合成表示 監視カメラ映像の道路部分形状を地図上の道路部分映像に一致させるための変換を定義するための該映像と地図にそれぞれ設定する座標系と該変換式を計算するために用いる中間座標系 本発明の監視システムの監視映像表示画面 本発明の第２の実施例で用いるネットワーク監視カメラの機能ブロック図 本発明のネットワーク監視カメラの同期基準モードでの動作を説明するフローチャート 本発明のネットワーク監視カメラの同期従属モードでの動作を説明するフローチャート 同期基準モードで動作するカメラと同期従属モードで動作するカメラ間での通信タイミングと通信内容の説明図 剰余器１４２６の出力値の時間変化を表わすグラフ 映像収集・閲覧サーバ１２０の内部構成の説明図 監視カメラ別射影変換パラメタの保管形態の説明図。

符号の説明

１０１，１０２，１０３ ネットワーク監視カメラ
１０４ ネットワーク
１２０ 映像収集・閲覧サーバ
２０１，２０２，２０３ 監視カメラの撮影データ
２０４ 蓄積映像
２０５ 地図データ
２０６ 射影変換パラメタ
２０７ マスク情報
２１１ 受信蓄積処理部
２１２ 射影変換処理部
２１３ 画像合成部
２１４ 監視映像表示部
３０１〜３０７ 監視カメラ設置位置
１３００ 監視映像表示画面
１３１０ 地図と監視映像合成表示ウィンドウ
１３２０ 監視カメラ映像無変換表示用ウィンドウ
１３０１〜１３０５ 監視カメラ別撮影映像表示ウィンドウ
１３０６ スクロールバー
１３０７ 現在時刻表示ウィンドウ
１３０８ 映像撮影時刻表示ウィンドウ
１３０９ 映像撮影時刻変更アップダウンボタン
２００１ 監視カメラ１の射影変換パラメタテーブル
２００２ 監視カメラ２の射影変換パラメタテーブル
２００３ 監視カメラＮの射影変換パラメタテーブル

Claims (12)

1. 異なる方向から撮影する複数の撮影手段と接続される画像生成装置であって、
   前記撮影手段により撮影された映像各々を前記撮影手段から受ける手段と、
   前記映像データごとに所定の領域を抽出する抽出手段と、
   前記抽出された映像と、前記撮影手段の撮影範囲を含む地図情報とを合成し、画像を生成する合成手段と、
   を有することを特徴とする画像生成装置。
2. 請求項１記載の画像生成装置であって、
   前記撮影手段の撮影範囲を含む地図情報を保持する手段と、
   前記地図情報に基づいて前記映像の幾何形状を変換する変換手段をさらに有し、
   前記抽出手段は、前記変換された映像データの所定の領域を抽出することを特徴とする画像生成装置。
3. 請求項２記載の画像生成装置であって、
   前記変換手段は、前記抽出手段で抽出される所定の領域と、前記地図情報との幾何的関係が一致する変換を行うことを特徴とする画像生成装置。
4. 請求項３記載の画像生成装置であって、
   前記変換手段は、前記撮影手段ごとに、撮影される映像の前記所定の領域に含まれる第一の位置座標と、前記第一の位置座標に対応する前記地図情報の位置座標との関連付けを示すパラメータに基づいて変換を行うことを特徴とする画像生成装置。
5. 請求項２記載の画像生成装置であって、
   前記抽出手段は、前記変換手段により変換された前記映像データから、前記映像データと前記地図情報との幾何的関係が一致する領域を抽出することを特徴とする画像生成装置。
6. 請求項５記載の画像生成装置であって、
   前記変換手段により変換された映像データと、前記地図情報との幾何的関係が一致する領域を示す前記撮影手段ごとのマスク情報をあらかじめ保持し、
   前記抽出手段は、前記撮影手段ごとの前記マスク情報に基づいて、それぞれの前記撮影手段により撮影された前記映像から所定の領域を抽出することを特徴とする画像生成装置。
7. 請求項２記載の画像生成装置であって、
   前記生成手段により合成された画像を表示画面に表示する表示手段をさらに有することを特徴とする画像生成装置。
8. 異なる方向から撮影する複数の撮影手段と接続され、前記撮影手段の撮影範囲を含む地図情報を表示する表示手段を備える画像表示装置であって、
   それぞれ前記撮影手段により撮影された映像の一部の映像と、前記地図情報の一部の範囲との幾何的関係が一致するよう前記映像を変換する変換手段と、
   前記表示手段は、前記変換手段により変換された映像のうち、前記地図情報と幾何的関係が一致する領域の映像を、前記幾何的関係に従って、前記地図情報を表示する表示領域に表示する表示手段を有することを特徴とする画像表示装置。
9. 複数の撮影手段により撮影される映像を合成する映像合成方法であって、
   撮影範囲を含む地図情報を保持し、
   前記映像を取得し、
   前記映像の一部の領域と、前記地図情報の所定の範囲との幾何的形状が一致するよう、前記カメラ装置ごとに対応付けられているパラメータに基づいて前記映像を変換し、
   前記変換された映像のうち、前記地図情報の所定の範囲と幾何的形状が一致する範囲の映像を抽出し、
   前記抽出された映像と、前記地図情報とを合成することを特徴とする画像合成方法。
10. 複数のカメラ装置と、前記カメラ装置各々とネットワークを介して接続される画像生成装置とを有する画像生成システムであって、
    前記カメラ装置各々は、
    撮影する撮影手段と、前記撮影した映像を前記画像生成装置へ送信する手段と、を有し、
    前記画像生成装置は、
    撮影範囲を含む地図情報をあらかじめ保持する保持手段と、
    前記映像を受信する手段と、
    前記映像の一部の領域と、前記地図情報の所定の範囲との幾何的形状が一致するよう、前記カメラ装置ごとに対応付けられているパラメータに基づいて前記映像を変換する手段と、
    前記変換された映像のうち、前記地図情報の所定の範囲と幾何的形状が一致する範囲の映像を抽出する抽出手段と、
    前記抽出された映像と、前記地図情報とを合成し、画像を生成する手段と、
    前記合成された画像を表示する表示する手段とを有することを特徴とする画像生成システム。
11. 請求項１０記載の画像生成システムであって、
    前記カメラ装置は、
    同期基準カウンタを備え、撮影タイミングの基準となる同期信号に関する同期情報を、カメラ装置間で送受信を行い、前記同期情報に基づいて、前記同期基準カウンタの読み出し値を調整し、同期基準カウンタの読み出し値を基に同期信号を生成し、前記同期信号に基づいて前記撮影手段を制御することを特徴とする画像生成システム。
12. 請求項１１記載の画像生成システムであって、
    前記カメラ装置は、前記同期基準カウンタの読み出し値から一意にフレーム番号を算出するフレーム番号生成器を備え、該フレーム番号生成器の発生するフレーム番号を撮影した映像ごとに埋め込み、
    前記画像生成装置は、
    前記カメラ装置各々から受信する映像に埋め込まれているフレーム番号に基づいて、フレーム番号が一致する映像を前記地図情報に合成することを特徴とする画像生成システム。
    

Images