JPH0983996A - 監視システム - Google Patents

Abstract

(57)【要約】 【構成】複数のテレビカメラと、任意の映像を選択して
順次切り替えるカメラ切り替え器と、切り替えた画像に
カメラ番号を上書きするスーパーインポーズ装置と、選
択されたサイクリック映像を処理して異常の有無を計測
する画像処理装置からなる。画像処理装置では、スーパ
ーインポーズされた映像のカメラ番号を認識する文字認
識部と、カメラ番号に従い、画像計測する画像処理部か
らなる。 【効果】サイクリックな画像においての監視処理を実現
することが可能である。これにより、広範囲な画像監視
を少ない画像処理装置で監視可能となる。また、これら
の、画像処理機能は全て背景画像を必要としない処理を
採用しており、ハードウエアの大幅な小型化が達成可能
である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は道路，駐車場，管理施設
等に適用されるテレビカメラを用いた監視システムに関
する。

【０００２】

【従来の技術】道路などの監視にテレビカメラが多数利
用されている。これらは通常、監視員がモニタ画面を監
視していることが多い。これに対し、最近ではテレビカ
メラの映像を画像処理装置を用いて自動監視するシステ
ムが普及し初めている。これは、テレビカメラの映像を
画像処理して、例えば道路なら事故が発生した場合に自
動的にアラームを出すようなシステムである。特開平6
−274786 号公報「道路交通異常検出方法，装置および
道路交通異常監視システム」に記載されているように、
通常このような監視システムでは、カメラと画像処理装
置は１対１に対応している。すなわち、広域監視の場合
にはカメラが数百台に及ぶが、これを自動監視するため
には画像処理装置もこの数だけ必要となる。

【０００３】ところで、広域監視においては、カメラの
映像を連続的に処理して詳細な監視を行う場合と、人間
がモニタを監視しているように切り替え画像を見ながら
監視する場合の２通りが考えられる。道路の監視の場
合、詳細なデータを計測する場合、例えば通過台数，速
度を正確に求めたい場合は、カメラ１台に画像処理装置
が１台必要であるが、渋滞の有無，停止車両の有無など
の異常を監視する場合は常に同じカメラの映像を処理す
る必要がない場合がある。

【０００４】本発明は、この点に着目したもので後者の
簡易監視システムである。このような、複数のカメラ映
像を１台の画像処理装置で順次切り替えながら監視する
ようなシステムはこれまでは、処理速度，ハードウエア
規模などの面で実用化されていなかった。

【０００５】

【発明が解決しようとする課題】この画像処理装置１台
で複数地点の映像を処理する簡易監視システムを実現さ
せるためには、色々な問題が生じる。例えば、道路の監
視などに画像処理を用いる場合、監視画像の内どこの領
域が道路かを指定する必要があるが、各カメラの映像は
それぞれ異なっているため、カメラの数だけこのような
情報が必要である。この情報をカメラの番号に合わせて
変更するためには、選択されている映像が何番目のカメ
ラの映像なのかを認識する必要がある。さらに、画像処
理の手法としては、あらかじめ車が走行していない道路
だけの画像、すなわち背景画像を記憶しておき、この画
像と入力した画像との差分処理を実行して車両の画像を
抽出し、車両の移動速度や通過台数，事故の有無などを
計測することが多い。この場合、背景画像を記憶する必
要があるため複数のカメラ映像を処理する場合、背景を
その数だけ用意しておく必要があり膨大な画像メモリが
必要となる。

【０００６】このように、簡易監視システムを実現する
ためには、画像処理装置に入力されている画像が何番目
のカメラの映像かを認識する必要がある。また、膨大な
カメラ台数に対応するためには背景画像を記憶する手法
では、膨大な画像メモリが必要であり、トータルの設備
構成があまり小さくならない問題がある。また、１台の
カメラの映像は数秒と短いため、高速な画像処理ハード
ウエアが必要であるといった問題がある。

【０００７】本発明の目的は、上記の問題を解決したト
ータル設備の小型化を図った監視システムを提供するこ
とにある。

【０００８】

【課題を解決するための手段】複数のテレビカメラと、
該複数のテレビカメラの映像から任意の映像を選択して
順次切り替える映像切り替え装置と、切り替えられた映
像にカメラ番号を上書きするスーパーインポーズ装置
と、選択された映像を処理して異常の有無を監視する画
像処理装置を有し、該画像処理装置は少なくともカメラ
台数分の画像処理に必要なデータを記憶するパラメータ
記憶部と、入力している映像のカメラ番号を認識するカ
メラ番号認識機能と、認識したカメラ番号に従い該パラ
メータ記憶部から該当するカメラのデータを用いて画像
処理する画像計測機能からなることを特徴とする。

【０００９】

【作用】複数のカメラの映像を順次切り替えるカメラ切
り替え装置と、この切り替え画像にカメラ番号を上書き
したスーパーインポーズ装置と、切り替え画像を対象と
して画像処理する画像処理装置とからなる構成を実現す
るために、入力される映像を処理して画像に上書きされ
ているカメラ番号を認識するカメラ番号認識機能と、カ
メラ毎に用いる画像処理パラメータを記憶する画像処理
パラメータファイルとを有し、入力される映像を処理し
て画像に上書きされているカメラ番号を認識し、この番
号に従い記憶している画像処理パラメータを呼び出し、
各種画像処理を実行する。

【００１０】また、従来のような背景画像を用いない手
法を採用することで、画像の記憶手段を不要にしてい
る。これらの機能は高速画像処理プロセッサを用いるこ
とで処理速度的には問題ない。

【００１１】

【実施例】以下、本発明の実施例を図面を用いて説明す
る。

【００１２】図１に本発明の機器配置図を示す。複数の
テレビカメラ１の映像はカメラ制御装置２の映像切り替
え装置３に接続されている。カメラ制御装置２は映像切
り替え装置３，スーパーインポーズ装置４，カメラ切り
替え制御装置５からなり、カメラ切り替え制御装置５か
らの信号８によって１つのカメラの映像が選択され、そ
の映像はスーパーインポーズ装置４に送られる。スーパ
ーインポーズ装置４では、カメラ制御装置５からのカメ
ラ番号９に従い、入力した画像上にカメラ番号などの文
字情報をスーパーインポーズして映像を送る。この映像
は画像処理装置６およびモニタ７に送られ、画像処理装
置６では種々の画像処理を実行する。画像処理装置６で
映像に異常があると判断した場合は、カメラ切り替え制
御装置５にカメラ番号の固定指令１０が出され、指定さ
れた画像をモニタに連続的に表示する。この解除は、監
視員がモニタを確認し、所定の作業終了後に解除信号を
入力する１１。

【００１３】ここで、選択された映像上に文字をスーパ
ーインポーズした例を図２−（ａ）（ｂ）に示す。この
ような映像は、３〜５秒周期で２０台のカメラを切り替
えるとすると、６０〜１００秒で１周期するような切り
替え画像となる。従って、３〜５秒程度しか一つのシー
ンは連続しない。この短い時間で、車の動きを計測した
り、車が停止しているかどうかなどの判定を実行するこ
とになる。

【００１４】図３に画像処理装置６の構成を示す。画像
処理装置６は、入力する映像信号をデジタル化するＡ／
Ｄ変換器１２と、処理結果を表示するなどのためにデジ
タル信号をアナログ信号に変換するＤ／Ａ変換器１３
と、このデジタル信号を記憶する画像メモリ１４と、画
像メモリの内容を処理する画像処理プロセッサ１５と、
これら画像処理ハードウエアを制御するＣＰＵ１６，プ
ログラム格納ＲＡＭ／ＲＯＭ１７，画像処理パラメータ
ファイル１８，カメラ毎のデータ記憶部１９からなる。
画像処理プロセッサ１５の機能としては、画像を微分処
理する空間フィルタ処理，複数の画像で差や和を求める
画像間演算，濃淡パターンマッチングする正規化相関処
理，画像の投影分布などを求めるヒストグラム処理など
を実行する。これらの画像処理機能は、現在２５ＭＨｚ
以上の速度で実行可能であり、将来的には１００ＭＨｚ
程度の速度も容易に可能である。

【００１５】画像処理の機能は、図４のように、 （１）スーパーインポーズされた文字を認識する文字認
識機能２０（カメラ番号認識部）。

【００１６】（２）認識文字に従い、記憶している画像
処理パラメータを設定するデータ設定機能２１（データ
ワード部）。

【００１７】（３）車両の追跡処理などの画像計測処理
機能２２（画像計測部。）を有している。以下、上記機
能の詳細について説明する。

【００１８】（１）文字認識機能 これは、スーパーインポーズされた文字を認識する機能
である。通常文字認識では、白い紙に書かれた文字を認
識することが多いが、今回の対象は各カメラの映像上に
スーパーインポーズされているため、文字の背景が大き
く異なる。例えば、道路の監視の場合では、カメラの設
置場所によって文字の背景が、トンネルの照明であった
り、屋外の山などの風景が背景になったりする。このた
め、文字だけを切り出すことが非常に難しい。そこで、
背景の変化に影響されない文字認識手法を採用する。

【００１９】この手法は、図５のようにあらかじめ文字
を含む矩形のパターンを切り出して文字テンプレート記
憶画像２４として記憶しておき、入力画像２３から認識
したい文字パターン２７，２８を切り出してこの画像が
文字テンプレート記憶画像２４のどの文字に最も類似し
ているかを正規化相関処理で求めるものである。図５で
は上り／下りの上下の区別、及びカメラ番号の認識例を
示している。上下の文字は色々な背景のパターンをあら
かじめ用意しているため、それぞれ４パターンの文字テ
ンプレートを記憶２６している。数字については各文字
毎に一種類しか登録２５していないが、上下の区別と同
様に色々な背景のパターンを用意しておくことで、色々
な背景に対応可能である。

【００２０】ここで、正規化相関処理について簡単に説
明する。

【００２１】正規化相関処理は濃淡パターンマッチング
の一手法であり、テンプレートと、認識したいパターン
の濃度を合わせて類似度を計算する手法であり、数１の
ような演算を実行するもので、処理対象画像ｆに対し濃
淡テンプレートＴを用いて、ある点（ｕ，ｖ）の類似度
ｒ（ｕ，ｖ）が計算される。この類似度はテンプレート
に類似しているほど１の値に近づくものである。

【００２２】

【数１】

【００２３】ここで、ｆ（ｕ＋ｉ，ｖ＋ｊ）は（ｕ，
ｖ）点の近傍の対象画像の濃度値、Ｔ（ｉ，ｊ）はテン
プレート画像の（ｉ，ｊ）点の濃度値、ｐ，ｑはそれぞ
れテンプレート画像のｘ，ｙサイズである。対象画像に
依存しないテンプレートだけに関するデータはあらかじ
め計算できるので、以下の数２，数３の値は相関演算前
に計算することができる。従って、テンプレートデータ
と相関対象画像との相関演算においては、数４，数５，
数６についてリアルタイムに演算し、それぞれの計算結
果を用いて最終的に数１の類似度を求める。

【００２４】

【数２】

【００２５】

【数３】

【００２６】

【数４】

【００２７】

【数５】

【００２８】

【数６】

【００２９】このような演算を文字テンプレート画像に
ついて、上下の文字判別ならその文字が記憶されている
領域全体にわたって演算し、最も類似度の高い座標
(ｘ，ｙ)の点を求める。すなわち、類似度ｒ（ｕ，ｖ）
の（ｕ，ｖ）をサーチエリアだけ移動させ、それぞれの
類似度の内最大の類似度を示すｒ（ｘ，ｙ）の（ｘ，
ｙ）座標がどのパターンの領域に含まれているかを判断
することで、どの文字かを判断することが出来る。図５
の例では数字用テンプレート２５の１９の位置にマッチ
ングが合うので、文字は１９と判定する。このような処
理は画像処理プロセッサにより約１００〜２００ミリ秒
程度で実行可能である。

【００３０】（２）画像処理パラメータの設定 画像処理で計測処理する場合、各種パラメータが必要で
ある。道路画像を処理して車の流れなどを計測する場合
では、図６のようにカメラ毎のデータ２９，３０，３１
が必要となる。例えば、カメラ毎に計測するレーンの領
域を示す始点，終点などの座標データ（３２参照），レ
ーン毎の幅，設置カメラの高さ，焦点距離，向きなどで
ある。これらの情報によって、画像処理する計測領域を
決めたり、画像上での分解能を決めたりする。特に車両
の速度を計測する場合などではカメラの情報を正確に把
握しなければ、ある点からある点までの距離情報などが
狂うため、精度の高い計測は不可能となる。そこで、本
システムではカメラの数だけ上記のデータを記憶してお
き、文字認識機能で判定したカメラ番号に従い、記憶デ
ータを画像処理用のパラメータとして使用する。

【００３１】なお、カメラ番号によって、例えば非常駐
車帯がある場合とない場合で計測処理を変えることも可
能である。これは、非常駐車帯に車が停止していること
を計測する処理は、非常駐車帯を撮影しているカメラだ
けでよいため、カメラ情報に計測項目を設定しておくこ
とで最適な画像処理を実行可能である。従って、設定す
る処理領域毎に画像処理項目（計測項目）を設定するこ
とも可能である。

【００３２】（３）計測処理 切り替え画像の監視の画像処理には、道路画像監視，侵
入者監視など色々考えられるが、ここでは道路画像の監
視を例に説明する。

【００３３】道路監視にサイクリック画像を用いる場
合、正確に台数を計測したりすることは不可能である。
このため、処理のメインとしては監視映像が正常か否か
を監視する。この場合の異常と判断する要因としては、 ・速度が異常（遅い，速い） ・渋滞している（物体密度が高い） ・停止車両・落下物がある（静止物体が存在する） などである。このような、判定を実行するために本発明
では、速度計測及び静止物体存在計測処理を実行する。
まず速度計測の原理について説明する。

【００３４】＜速度計測の原理＞速度計測の原理を図７
で説明する。この処理は前述の文字認識処理と同様に正
規化相関処理を応用したものである。まず、入力画像ｆ
（ｔ）３３に対し、車の水平方向のエッジを検出する
（白線などのエッジを除去するため）３４。このエッジ
の集合が車らしければ、そのエッジ近傍の画像をテンプ
レートとして登録する３５。このテンプレート画像３５
が次の時刻にどの位置に移動したかを計測するため、所
定時間経過した入力画像ｆ（ｔ＋ｄｔ）３６に対し、正
規化相関処理でマッチング処理し、類似度が高い位置を
求める３７。登録した位置座標と移動した位置の変動か
ら速度を算出することが出来る。切り替え画像の時間は
３〜５秒程度であるため、この時間分だけ上記の処理を
繰り返し処理する。

【００３５】すなわち、入力画像ｆ（ｔ＋ｄｔ）３６の
画像に対してマッチング処理するとともに、水平エッジ
検出３８，テンプレート登録３９、次の画像に対するマ
ッチング処理を実行する。このような処理により、非常
に短い監視時間を有効に活用可能である。なお、登録す
るテンプレート画像はエッジの画像を登録する場合と、
エッジの位置に相当する入力画像の画像を登録する場合
がある。エッジ位置に相当する入力画像の方が、マッチ
ング処理には適している（図７ではエッジの位置に相当
する入力画像の画像を登録する場合を示している）。

【００３６】なお、１画面に複数のエッジのかたまりが
ある場合は、それぞれで追跡処理を実行する。また、全
く車が存在しない場合などは、相関処理を行わず、水平
エッジ抽出を繰り返す。

【００３７】通常、車両の速度計測などでは画面の下側
に検知領域を設け、この位置を通過するタイミングで車
両を追跡処理することが多いが、サイクリック画像にお
いては、車がどの位置を走行している状態から計測を開
始するか決まらないため、かならずしも画面の下側から
車が流れてこない場合が多い（既に画面の中央付近を走
行している場合がある）。従って、検知領域を設けず
に、得られた画像から車両の特徴を求め、この特徴を順
次追跡処理することで、サイクリック画像に対応するこ
とが可能である。

【００３８】また、あらかじめ背景画像を記憶してお
き、この画像と入力画像の差分処理で車を抽出すること
が多く行われているが、本システムのようにサイクリッ
ク画像に対応するためには、カメラの台数分だけ画像を
記憶することが必要であり、また、背景画像の明るさが
変化する環境ではこの画像の更新処理も必要となり、現
実的には背景を持った手法では、対応は不可能である。
これに対し、本正規化相関処理を用いれば、背景を記憶
することが不要であるため、サイクリック画像への対応
が可能である。

【００３９】ここで、各レーン毎に上記追跡処理を実行
すれば、レーン毎の走行速度を把握することが出来た
り、手前側だけ異常に速度が低く、奥側（追越し車線
側）が通常の速度の場合には、手前側に故障車両が走行
していると判断することも可能である。

【００４０】＜静止物体存在計測の原理＞静止物体存在
計測では、監視領域の密度（渋滞度），動き検知を計測
する。図８に処理概要を示す。入力画像ｆ（ｔ）４０を
微分処理して水平エッジを検出する４１。このエッジは
車の多さを表す量（密度）となる。このエッジ検出と平
行して動き検出処理を行う。この処理は入力画像ｆ
（ｔ）４０から所定時間経過した入力画像ｆ（ｔ＋ｄ
ｔ）４２の画像同士で画像間の差分処理（フレーム差分
処理）を実行する４３。この映像で得られる画像は動い
ている部分だけの情報である。このエッジ検出，動き検
出画像を解析し、監視領域が混んでいるか（渋滞してい
るか）、静止物体（停止車両・落下物）が存在するかを
判定する４４。

【００４１】判定処理４４では、水平エッジ画像４１に
対し、各レーン毎にエッジ画像の長さを画像処理プロセ
ッサのヒストグラム機能でチェックし、ノイズか認識対
象（図では車両）のエッジかを判定し、認識対象（車
両）のエッジのみ抽出する。この認識対象（車両）エッ
ジの位置に対応して差分画像４３に差分値があるかどう
かを判定する。すなわち、エッジがあり、かつ差分があ
れば動いている認識対象（車両）であると判断し、エッ
ジがあり、その位置に差分がなければ停止していると判
断する。この静止物体（停止車両）の量が多い場合に渋
滞と判断し、少ない場合に停止車両ありと判断する。通
常走行時は、全く静止物体（停止車両）は検出されな
い。なお、静止物体（停止車両）については前後のカメ
ラの情報から総合的に判断したり、次に回ってくる時
（全カメラを１周した後）に再度静止候補があった場合
にアラームを出すなどの処理も考えられる。

【００４２】このように、水平エッジ検出，フレーム差
分処理で静止物体（停止車両・落下物）の有無を判断す
ることで、速度計測と同様に背景画像を用いずに処理可
能であり、サイクリックな画像に対して良好に処理する
ことが可能である。

【００４３】なお、微分画像（エッジ検出画像）は車両
でないエッジも含まれるが、その量が多い場合は、車が
渋滞していないにも係わらず、渋滞と判定してしまう可
能性がある。このため、カメラ毎にエッジがどの程度初
期値として含まれるかをデータとして記憶しておき、こ
の値を越えたときに渋滞と判断する方法や、常に発生す
るエッジの位置を記憶しておき、この位置のエッジは車
でないと判断するなどで、色々なシーンについて誤検知
が少ないシステムを実現可能である。

【００４４】上記の実施例では、道路監視について説明
したが、侵入者監視の例について次に説明する。侵入者
監視の応用でも、処理領域の設定など道路監視とほとん
ど同じ機能で達成可能である。ただし、侵入者監視で
は、速度の監視でなく異常な動きの監視と、渋滞，停止
車両の概念でなく、所定の領域に不審者がいるかどうか
の判定になる。このため、異常な動き監視には車監視と
同様に正規化相関処理で物体の追跡を実施し、その動き
が直線性がない、速度が速い（走っている）などを計測
し、異常の有無を判定する。あるいは、図８と同様にエ
ッジ検出と、動き検出処理を用いて、存在してはならな
い領域に何らかの物体が存在している場合に異常と判断
することも出来る。

【００４５】この場合、車の場合は水平エッジの検出を
使っていたが、人などの監視では水平，垂直両方向のエ
ッジを検出することで特徴を出せる。

【００４６】

【発明の効果】以上のように、本発明によればサイクリ
ック画像の文字認識機能と、画像処理に必要なデータ記
憶機能と、物体の追跡処理機能と、静止物体存在計測機
能を有することで、サイクリックな画像においての監視
処理を実現することが可能である。これにより、広範囲
な画像監視を少ない画像処理装置で監視可能となる。ま
た、これらの画像処理機能は全て背景画像を必要としな
い処理を採用しており、ハードウエアの大幅な小型化が
達成可能である。

【００４７】なお、上記実施例ではカメラ番号をスーパ
ーインポーズした画像を処理対象としているが、カメラ
切り替え器から画像処理装置に直接番号を伝送する構成
も考えられる。この場合、通信手段が必要となるため、
既に設置されているカメラ制御装置に画像処理装置を接
続する場合に、システム改造が必要となる。

【図面の簡単な説明】

【図１】本発明の機器構成図を示す図。

【図２】文字がスーパーインポーズされた映像の例を示
す図。

【図３】画像処理装置の構成を示す図。

【図４】画像処理の概略フローを示す図。

【図５】スーパーインポーズされた文字を認識する処理
概要を示す図。

【図６】画像処理に必要なパラメータを説明する図。

【図７】速度計測の処理概要を示す図。

【図８】渋滞，停止車両検出の処理概要を示す図。

【符号の説明】

１…テレビカメラ、２…カメラ制御装置、３…映像切り
替え装置、４…スーパーインポーズ装置、５…カメラ切
り替え制御装置、６…画像処理装置、７…モニタ。

Claims (4)

【特許請求の範囲】
1. 【請求項１】複数のテレビカメラと、該複数のテレビカ
   メラの映像から任意の映像を選択して順次切り替える映
   像切り替え装置と、切り替えられた映像にカメラ番号を
   上書きするスーパーインポーズ装置と、選択された映像
   を処理して異常の有無を監視する画像処理装置を有し、
   該画像処理装置は少なくともカメラ台数分の画像処理に
   必要なデータを記憶するパラメータ記憶部と、入力して
   いる映像のカメラ番号を認識するカメラ番号認識機能
   と、認識したカメラ番号に従い該パラメータ記憶部から
   該当するカメラのデータを用いて画像処理する画像計測
   機能からなることを特徴とする監視システム。
2. 【請求項２】請求項１において、 前記カメラ番号認識機能は、あらかじめスーパーインポ
   ーズされた各種文字画像をテンプレートに登録し、この
   テンプレート画像と認識対象の入力画像から切り出した
   文字画像のマッチング処理で最も類似度が高い文字を認
   識結果とする、濃淡パターンマッチング処理であること
   を特徴とする監視システム。
3. 【請求項３】請求項１において、 前記画像処理装置の画像計測機能は、入力画像から物体
   を検知し、この物体を追跡処理することで移動速度を計
   測する速度計測処理部と、入力画像から物体の密度を計
   測する密度計測処理部と、時間差を有する画像の差分処
   理から得られる動き量を計測する動き計測処理部を有す
   ることを特徴とする監視システム。
4. 【請求項４】請求項３において、 前記速度計測処理部は入力画像を微分処理し、この微分
   画像が多い領域の画像をテンプレートに登録し、このテ
   ンプレート画像と次に入力される画像との濃淡パターン
   マッチング処理で移動位置を求める処理であることを特
   徴とする監視システム。