JP3613301B2

JP3613301B2 - 映像監視追跡装置

Info

Publication number: JP3613301B2
Application number: JP15941896A
Authority: JP
Inventors: 健志鈴木
Original assignee: Fujitsu General Ltd
Current assignee: Fujitsu General Ltd
Priority date: 1996-06-20
Filing date: 1996-06-20
Publication date: 2005-01-26
Anticipated expiration: 2016-06-20
Also published as: JPH1013821A

Description

【０００１】
【発明の属する技術分野】
本発明は映像監視追跡装置に係り、テレビジョンカメラによる画像をディジタル処理し、侵入者等の異常を監視し、被監視物体の移動に応じてテレビジョンカメラの視野角を移動し被監視物体を追跡するものに関する。
【０００２】
【従来の技術】
テレビジョンカメラ（以降、カメラと略す）で撮像した監視画像の変化を検出し侵入者等の異常を報知する装置では、背景画像を異常物体の存在しない状態で撮像し、この画像と逐次撮像される画像（参照画像）との差分の画像を算出し、この差分の画像により異常発生の有無を判断し、異常と判断した場合、警報音あるいは警報表示を発し、監視用モニタの画面で異常物体等を確認し、適宜に処置することとなるが、異常物体が監視画面の中を通り過ぎるような場合、画面での確認が困難で的確な処置をとれないという問題が生ずる。
【０００３】
【発明が解決しようとする課題】
本発明はこのような点に鑑み、監視視野内に不審者の侵入等の異常が発生した場合、異常物体がカメラの視野角の中心になるようにカメラの向きを旋回し、異常物体が動いている場合は移動量（ベクトル量）を算出し、異常物体をカメラで追跡し、監視を容易にすることにある。
【０００４】
【課題を解決するための手段】
本発明は上述の課題を解決するため、カメラよりの異常物体の存在しないときの背景画像とカメラより逐次出力される参照画像との差の画像に基づいて異常を監視するものにおいて、前記カメラよりの背景画像を記憶する背景画像メモリと、参照画像を記憶する参照画像メモリと、前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの相関を算出する相関演算部と、相関演算部よりのデータに基づき異常を判別する異常判別部と、異常判別部よりの信号に基づき前記参照画像メモリより読出したデータにて参照画像のエッジを抽出する第１エッジ抽出部と、前記異常判別部よりの信号に基づき前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの差を演算する減算器と、減算器よりのデータに基づき差分画像のエッジを抽出する第２エッジ抽出部と、前記第１エッジ抽出部よりのデータおよび第２エッジ抽出部よりのデータを演算する論理積回路と、論理積回路よりのデータを基にエッジに外接する四角形の座標を算出するエッジ外接座標算出部と、前記参照画像メモリより読出した画像からエッジ外接座標算出部よりのデータに相応する範囲の画像を切出す画像切出部と、前記エッジ外接座標算出部よりの座標および画像切出部よりの画像を記憶するエッジ外接座標・画像メモリと、前記参照画像メモリより次画像のデータを読出し、エッジ外接座標・画像メモリよりの画像のデータと比較し、エッジ外接座標・画像メモリよりの画像と合致する画像の座標を算出する追跡差分演算部と、カメラの視野角の中心を記憶するメモリ部と、メモリ部よりのデータおよび追跡差分演算部よりのデータに基づきカメラの視野角の中心を前記エッジに外接する四角形の中心に向けるための旋回量を算出する旋回量演算部と、カメラに付設され旋回量演算部よりのデータに基づきカメラを旋回する旋回制御部とからなる映像監視追跡装置を提供するものである。
【０００５】
【発明の実施の形態】
本発明による映像監視追跡装置では、カメラよりの異常物体の存在しないときの背景画像を背景画像メモリに、カメラより逐次出力される参照画像を参照画像メモリにそれぞれ記憶し、背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの相関を相関演算部で算出し、相関演算部よりのデータに基づき異常判別部で異常を判別し、異常判別部よりの信号にて、前記参照画像メモリより読出したデータのエッジを第１エッジ抽出部で抽出し、前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの差を減算器で演算し、減算器よりのデータに基づき第２エッジ抽出部で差分画像のエッジを抽出し、前記第１エッジ抽出部よりのデータおよび第２エッジ抽出部よりのデータを論理積回路で演算し、論理積回路よりのデータを基にエッジに外接する四角形の座標をエッジ外接座標算出部で算出し、前記参照画像メモリより読出した画像からエッジ外接座標算出部よりのデータに相応する範囲の画像を画像切出部で切出し、エッジ外接座標算出部よりの座標および画像切出部よりの画像をエッジ外接座標・画像メモリに記憶し、追跡差分演算部にて、前記参照画像メモリより次画像のデータを読出し、エッジ外接座標・画像メモリよりの画像のデータと比較し、エッジ外接座標・画像メモリよりの画像と合致する画像の座標を算出し、メモリ部に記憶されているカメラの視野角の中心を読出し、このデータおよび追跡差分演算部よりのデータに基づきカメラの視野角の中心を前記エッジに外接する四角形の中心に向けるための旋回量を旋回量演算部で算出し、カメラに付設した旋回制御部を介しカメラの向きを旋回し、異常物体を追跡する。
【０００６】
【実施例】
以下、図面に基づいて本発明による映像監視追跡装置の実施例を詳細に説明する。図１は本発明による映像監視追跡装置の一実施例の要部ブロック図である。図において、１はカメラで、視野角を予め設定した方向に向けて設置する。２はＡ／Ｄ変換部で、カメラ１よりの映像信号をディジタル信号に変換する。３は背景画像メモリで、異常物体の存在しないときの背景画像を記録する。４は参照画像メモリで、カメラ１より逐次出力される時々刻々の画像を記録する。５は相関演算部で、背景画像メモリ３より読出した画像データおよび参照画像メモリ４より読出した画像データの相関（似具合）を算出する。６は異常判別部で、相関演算部５よりのデータに基づき異常の有無を判別する。７は制御部で、異常判別部６で異常状態を判別した場合に異常物体の特定・追跡等の制御を行う。８はエッジ抽出部で、参照画像メモリ４より読出した画像のエッジを抽出（画像の濃淡の段差を微分）する。９は減算器で、参照画像メモリ４より読出した画像データと背景画像メモリ３より読出した画像データの差を算出する。10はエッジ抽出部で、減算器９よりの差分の画像のエッジを抽出する。11は論理積回路（ＡＮＤゲート）で、エッジ抽出部８およびエッジ抽出部10よりのデータを演算する。
【０００７】
12はエッジ外接座標算出部で、論理積回路11よりのデータを基にエッジ画像に外接する四角形の上辺、下辺、左辺および右辺の各座標を算出する。13は画像切出部で、参照画像メモリ４より読出された次画像データからエッジ外接座標算出部12で算出された四角形の領域の画像データを切出す。14はエッジ外接座標・画像メモリで、エッジ外接座標算出部12よりの四角形の座標データおよび画像切出部13で切出した四角形の領域の画像データを記憶する。15は追跡差分演算部で、エッジ外接座標・画像メモリ14よりの画像データを前記参照画像メモリ４より読出した画像データと順次移動させて比較し、エッジ外接座標・画像メモリ14よりの画像と合致する画像の座標を算出する。16は旋回量演算部で、追跡差分演算部15よりのデータに基づきカメラ１の視野角の中心をエッジ外接座標算出部12で算出された四角形の中心に向けるための旋回量（ベクトル量）を算出する。17は旋回制御部で、旋回量演算部16よりのデータに基づきカメラ１の向きを旋回する。18はメモリ部で、予め設定されたカメラ１の向きのデータ、および旋回制御部17よりの旋回量のデータを積算し記録する。
【０００８】
図２はエッジ抽出部８および10の後段にデータ処理部21および22を設けた例である。データ処理部21および22は、エッジ抽出部８または10よりの各画素のビットデータが「１」の最上位のビットから最下位のビットまでを全て「１」データに切上げる。例えば、入力データが８ビットで「００１０００１０」であった場合、上から４桁目以下を「１」に切上げ、「００１１１１１１」にする。これによりエッジが強調され、異常物体のエッジが明瞭になり、異常物体を特定しやすくなる。あるいは、図３に示す如く、エッジ抽出部８および10の後段に２値化処理部31および32を設け、エッジ抽出部８または10よりの各画素のデータを予め設定された閾値により２値のデータに変換し、ノイズ等を含めて不明瞭なデータを消去し、異常物体を明瞭に抽出できるようにする。
【０００９】
次に、本発明による映像監視追跡装置の動作を図４の画像図を参照しながら説明する。まず、監視開始に先立ち、カメラ１よりの背景画像（イ）の映像信号をＡ／Ｄ変換部２でディジタル信号に変換し、背景画像メモリ３に入力し１画面分を記憶する。この背景画像（イ）は建物の入口付近で、ドア41および階段42があり、画面内に異常物体の存在しないときのものである。以降、カメラ１より逐次出力される参照画像の映像信号をＡ／Ｄ変換部２でディジタル変換し、参照画像メモリ４に入力し、１画面分を記録する。
【００１０】
そして、背景画像メモリ３および参照画像メモリ４より画像データを読出し、それぞれ相関演算部５に入力する。相関演算部５により、例えば、２つの画面をそれぞれ同一サイズの多数区分に分割し、各区分ごとに２画像の相関（似具合）を算出し、このデータを異常判別部６に入力する。異常判別部６は相関演算部５よりのデータを所要の閾値と比較し、閾値より大きい場合、異常が発生したものとして信号を出力する。そして、この信号に基づき、制御部７を介し以降に述べる制御を行う。
【００１１】
前記参照画像メモリ４に画像データの記録される都度、参照画像メモリ４より画像データを読出し、エッジ抽出部８および減算器９に入力する。そして、エッジ抽出部８で参照画像の濃淡の段差で生ずるエッジ画像を微分等により抽出し、また、減算器９にて、入力された参照画像（ロ）から背景画像メモリ３より読出した背景画像（イ）を減算する。この減算により、参照画像（ロ）に異常物体43が存在する場合、差分の画像データが出力され、この画像データはエッジ抽出部10に入力し、差分の画像のエッジを抽出する。そして、エッジ抽出部８よりのエッジ画像およびエッジ抽出部10よりのエッジ画像を論理積回路11に入力し、演算により異常物体のエッジ画像（ハの43）を生成する。この方法によれば、本出願人の出願した特願平第７−１７２２３１号に記述した如く、背景に輝度の差がある（図４・ロの異常物体43の左半分は白壁の前なので背景が明るく、右半分はドア41の前なので背景が暗い）場合に背景の輝度の段差の箇所（ドア41の左辺の縦線等、＝異常物体43の略中央を縦に通る）がエッジとなって抽出され、抽出されるべきエッジに重なり、異常物体が段差のエッジで分断され、１物体が２物体であるかの如くに誤認されるのを防止できる。
【００１２】
論理積回路11よりのエッジ画像43のデータはエッジ外接座標算出部12に入力し、（ニ）に示す如く、エッジ画像43に外接する四角形の上辺、下辺、左辺および右辺の各座標（x1、x2、y1、y2）を算出する。そして、画像切出部13により、参照画像メモリ４より読出された次画像データから上記座標x1、x2、y1、y2で囲む四角形の領域の画像データを切出し、上記座標データと共にエッジ外接座標・画像メモリ14に記録する。そして、これらのデータを読出し、追跡差分演算部15に入力し、参照画像メモリ４より読出した参照画像データと比較し、画像の合致する位置の座標を算出する。すなわち、（ホ）に示す如く、エッジ外接座標・画像メモリ14よりの画像データ（ニの43）を参照画像メモリ４よりの画像データ上でｘ軸方向、およびｙ軸方向に所要画素数ずつ（１画素ずつ、あるいは数画素ずつ）移動（走査）し、その都度参照画像との相関を求め、差分値が最小となる座標（x11 、x12 、y11 、y12 ）を求め、このデータを旋回量演算部16に入力する。メモリ部18には前回までのカメラ１の旋回量の積算データが記録されており、旋回制御部17を介しこのデータを読出し、旋回量演算部16により、メモリ部18よりのデータと追跡差分演算部15よりのデータに基づき演算し、カメラ１の視野角の中心を座標（x11 、x12 、y11 、y12 ）で囲む四角形の中心に向けるための旋回量（ベクトル量）を算出する。そして、旋回制御部17により、異常物体43が（ヘ）の如く画面の略中心になるようにカメラ１の向きを旋回する。
【００１３】
旋回制御部17は、旋回量演算部16よりのベクトル量の方向にカメラ１を旋回するので、旋回に無駄が生じず、異常物体の早い動きにも対応が可能となる。また、異常物体が同じ方向に動いている場合、カメラ１を同一ベクトル量先行させて旋回し、異常物体の動きを先取りするように応用することも考えられる。なお、監視視野から異常物体が消滅した、すなわち、参照画像にて異常物体を囲む四角形に合致する画像データが得られなくなった場合、メモリ部18に予め記憶されている初期設定された向きに戻すようにする。
【００１４】
【発明の効果】
以上に説明したように、本発明による映像監視追跡装置によれば、異常物体が判別された場合、エッジを抽出して異常物体を特定し、異常物体に動きがある場合は移動量（ベクトル量）を算出し、このデータに基づいてカメラの向きを旋回し異常物体を追跡するものであるから、カメラの旋回に無駄がなく、また、監視画面で異常物体を的確かつ迅速に捉えることができる。
【図面の簡単な説明】
【図１】本発明による映像監視追跡装置の一実施例の要部ブロック図である。
【図２】本発明による映像監視追跡装置の他の実施例の部分ブロック図である。
【図３】本発明による映像監視追跡装置の他の実施例の部分ブロック図である。
【図４】本発明による映像監視追跡装置の動作を説明するための画像図である。
【符号の説明】
１テレビジョンカメラ
２Ａ／Ｄ変換部
３背景画像メモリ
４参照画像メモリ
５相関演算部
６異常判別部
７制御部
８、10 エッジ抽出部
９減算器
11 論理積回路（ＡＮＤゲート）
12 エッジ外接座標算出部
13 画像切出部
14 エッジ外接座標・画像メモリ
15 追跡差分演算部
16 旋回量演算部
17 旋回制御部
18 メモリ部
21、22 データ処理部
31、32 ２値化処理部

Claims

テレビジョンカメラよりの異常物体の存在しないときの背景画像とテレビジョンカメラより逐次出力される参照画像との差の画像に基づいて異常を監視するものにおいて、前記テレビジョンカメラよりの背景画像を記憶する背景画像メモリと、参照画像を記憶する参照画像メモリと、前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの相関を算出する相関演算部と、相関演算部よりのデータに基づき異常を判別する異常判別部と、異常判別部よりの信号に基づき前記参照画像メモリより読出したデータにて参照画像のエッジを抽出する第１エッジ抽出部と、前記異常判別部よりの信号に基づき前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの差を演算する減算器と、減算器よりのデータに基づき差分画像のエッジを抽出する第２エッジ抽出部と、前記第１エッジ抽出部よりのデータおよび第２エッジ抽出部よりのデータを演算する論理積回路と、論理積回路よりのデータを基にエッジに外接する四角形の座標を算出するエッジ外接座標算出部と、前記参照画像メモリより読出した画像からエッジ外接座標算出部よりのデータに相応する範囲の画像を切出す画像切出部と、前記エッジ外接座標算出部よりの座標および画像切出部よりの画像を記憶するエッジ外接座標・画像メモリと、前記参照画像メモリより次画像を読出し、エッジ外接座標・画像メモリよりの画像と合致する画像の座標を算出する追跡差分演算部と、テレビジョンカメラの視野角の中心を記憶するメモリ部と、メモリ部よりのデータおよび追跡差分演算部よりのデータに基づきテレビジョンカメラの視野角の中心を前記エッジに外接する四角形の中心に向けるための旋回量を算出する旋回量演算部と、テレビジョンカメラに付設され旋回量演算部よりのデータに基づきテレビジョンカメラを旋回する旋回制御部とからなる映像監視追跡装置。
前記テレビジョンカメラの後段にＡ／Ｄ変換部を設け、テレビジョンカメラよりの映像信号をディジタル信号に変換し、前記背景画像メモリあるいは参照画像メモリに入力するようにした請求項１記載の映像監視追跡装置。
前記第１エッジ抽出部および第２エッジ抽出部の後段にそれぞれデータ処理部を設け、各エッジ抽出部よりの各画素のビットデータをデータが「１」の最上位のビットから最下位のビットまでを全て「１」データに変換し、それぞれ前記論理積回路に入力するようにした請求項１または請求項２記載の映像監視追跡装置。
前記第１エッジ抽出部および第２エッジ抽出部の後段にそれぞれ２値化処理部を設け、各エッジ抽出部よりの各画素のデータを予め設定された閾値により２値のデータに変換し、それぞれ前記論理積回路に入力するようにした請求項１または請求項２記載の映像監視追跡装置。
前記エッジ外接座標・画像メモリは、前記エッジ外接座標算出部にてエッジに外接する四角形の座標が算出される都度、記憶のデータを新しいデータに書替える請求項１、請求項２、請求項３または請求項４記載の映像監視追跡装置。
前記追跡差分演算部は、前記エッジ外接座標・画像メモリよりの画像データを順次移動させて前記参照画像メモリより読出された画像データと比較し、画像の合致する位置の座標を算出する請求項１、請求項２、請求項３、請求項４または請求項５記載の映像監視追跡装置。
前記追跡差分演算部は、前記エッジ外接座標・画像メモリよりの画像データを所要画素数ずつ水平方向および垂直方向に順次移動させて前記参照画像メモリより読出された画像データと比較し、画像の合致する位置の座標を算出する請求項１、請求項２、請求項３、請求項４または請求項５記載の映像監視追跡装置。
前記メモリ部に予め設定されたテレビジョンカメラの視野角の中心の向きを記憶し、前記追跡差分演算部で前記参照画像メモリより読出した画像にてエッジ外接座標・画像メモリよりの画像と合致する座標が算出されなくなったとき、前記旋回制御部によりメモリ部より読出したデータに基づきテレビジョンカメラの視野角を前記メモリ部に予め設定された向きに旋回するようにした請求項１、請求項２、請求項３、請求項４、請求項５、請求項６または請求項７記載の映像監視追跡装置。