JPH09224237A - 画像監視システム - Google Patents

Abstract

(57)【要約】 【課題】監視すべき目標物体の判定精度が向上する画像
監視システムを提供する。 【解決手段】目標物体を監視する画像監視システムは、
目標物体を検知判定し該目標物体の画像信号を出力する
検知判定手段10と、該画像信号を伝達する伝達手段20
と、画像信号に基づいて検知判定した目標物体の画像を
表示するモニタ手段30を備え、検知判定手段10は、判定
した目標物体の画像信号に対応して順次判定信号700aを
出力し、伝達手段20は、該判定信号700aを計数し、所定
数の画像信号を時系列に繋ぎ合わせて時系列画像信号10
00aを作成し、モニタ手段30は、該時系列画像信号1000a
を用いて、検知判定した複数個の目標物体の画像を時系
列に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理により目
標物体を検知し、モニタで目標物体を監視する画像監視
システムに関する。

【０００２】

【従来の技術】従来技術の画像監視システムは、画像処
理により目標物体を検知し、離れた場所のモニタに一時
点だけの目標物体を表示し監視するものであった。

【０００３】

【発明が解決しようとする課題】上記のように従来技術
は、離れた場所のモニタに一時点の目標物体を表示する
方法であり、また、オンラインで重ね合わせて時系列的
に表示するという方法が未確定であったために、目標物
体の行動追跡や情報把握等に不充分な点があり目標物体
を判定するに難しく、目標物体を誤判定する問題があっ
た。

【０００４】したがって、本発明の目的は、離れた場所
のモニタで目標物体の時系列な行動追跡や情報把握を実
施し、目標物体の判定精度を向上する画像監視システム
を提供することにある。

【０００５】

【課題を解決するための手段】上記目的は、目標物体を
検知判定し該目標物体の画像信号を出力する検知判定手
段と、該画像信号を伝達する伝達手段と、前記画像信号
に基づいて検知判定した前記目標物体の画像を表示する
モニタ手段とを備え、前記目標物体を監視する画像監視
システムにおいて、前記検知判定手段は、判定した前記
目標物体の画像信号に対応して、順次、判定信号を出力
し、前記伝達手段は、該判定信号に基づいて、複数個の
前記画像信号を時系列に繋ぎ合わせて時系列画像信号を
作成し、前記モニタ手段は、該時系列画像信号を用い
て、検知判定した複数個の前記目標物体の画像を時系列
に表示することにより達成される。

【０００６】本発明によれば、監視すべき目標物体の行
動追跡や情報把握が充分に行われ、目標物体の判定精度
が向上する画像監視システムが提供される。

【０００７】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照し説明する。図１は、本発明による一実
施例の画像監視システムを示すブロック図である。ま
ず、本実施例の検知判定手段10では、ITVカメラ100が対
象を撮影すると、画像入力部200が画像信号を取り込ん
でA／D変換して入力する。特徴抽出部300は、画像入力
部200でA／D変換して入力した画像信号から、入力画像
のフレーム間差分または基準画像(例えば、サンプリン
グ開始時に取り込んだ画像)を背景画像とした背景差分
から差分画像を作成して差分画像の濃度頻度分布を算出
し、また、濃度頻度分布のノイズを除去した濃度情報か
ら自動算出したしきい値で、２値化した２値画像や該差
分画像から変化領域を抽出して変化領域の特徴量を算出
する。

【０００８】対象検知部500は、特徴量抽出部300で抽出
した特徴量から、監視対象か否か判定する。監視対象を
検知すると、目標物体判定部700は、対象検知部500で検
知した監視対象が目標物体か否かを判定する。そして、
目標物体判定部700は、目標物体であると判定したら、
判定したときの目標物体の画像データ(目標物体を捕ら
えた画像や関連情報)を、データ格納部900に送ると共
に、順次、判定信号700ａを出力する。すなわち、対象
検知部500は、例えば、監視対象としての人物を検知
し、目標物体判定部700は、該人物を目標物体としての
不審者と判定し、判定すると同時にその都度、検知判定
したときの不審者を捕らえた画像や関連情報、即ち、後
述する時系列画像信号1000ａが作成される基となる情報
をその都度出力し、かつ、判定信号700ａをその都度出
力する。このとき、判定回数が判定毎に計数され、判定
回数自体や目標物体の画像データなどには番号が付加さ
れる。そして、データ格納部900は、送られてきた目標
物体の画像データを格納する。

【０００９】次に、伝達手段20では、送受信制御部950
が、上記の判定信号700ａをカウントして判定回数がｎ
回に達したか否かを判定し、ｎ回に達したらデータ格納
部900からｎ回分に対応しているｎ個分の目標物体の画
像データ等(不審者を捕らえた画像や関連情報)を取り出
して、該ｎ個分の目標物体の画像データ等をデータ送受
信部1000へ送る。すなわち、伝達手段20は、該判定信号
700ａを計数し、予め設定した所定数ｎの画像信号を時
系列に繋ぎ合わせて時系列画像信号1000ａを作成し、該
時系列画像信号をデータ送受信部1000へ送る。

【００１０】データ送受信部1000は、送られてきた画像
データから後述する図１４に示すようなプロコトルで、
ｎ個分の目標物体の画像データから構成される時系列画
像信号1000ａを作成する。また、ｎ個分の画像データか
ら成る時系列画像信号1000ａが出来上がったら、ｎ個分
の画像データの表示が可能であることを知らせる表示可
能信号1000ｂを出力する。さらに、データ送受信部1000
は、作成した時系列画像信号1000ａを受信データ格納部
1100に送信する。 そして、 受信データ格納部1100は、
該時系列画像信号1000ａを格納する。

【００１１】次に、モニタ手段30では、表示制御部1200
は、受信した表示可能信号1000ｂに基づいて、ｎ個分の
画像データの表示が可能であると判定し、表示指示を出
力する。表示データ作成部1350は、上記表示指示にした
がって受信データ格納部1100に格納されているｎ個分の
画像データである時系列画像信号1000ａを取り出してｎ
個分の画像データの表示データを作成する。 そして、
表示装置1400は、上記の表示データに基づいて、検知判
定した目標物体の画像や関連情報を重ね合わせた時系列
画像を画面上に表示する。

【００１２】このような画像監視システムを利用してセ
ンターで監視している監視者は、センターにある表示装
置1400にて、目標物体の変化状態や移動軌跡に関する時
系列画像と関連情報をリアルタイムに監視することがで
きる。例えば、侵入禁止区域に作為してゆっくりとまた
はジグザクに近づく場合や、また、たまたま偶発的に侵
入禁止区域に近づいた場合であっても、監視者は判定す
ることができる。さらに、表示指示部1300で、監視者の
必要に応じて表示装置1400の画面を見ながら再表示や拡
大表示したい監視対象画像の位置などを対話指示し、目
標物体に関する画像や情報を表示装置に取り出して詳細
に把握するものである。

【００１３】尚、目標物体とは、立ち入り禁止領域へ近
づく不審者(物)、持ち込み禁止区域へ移動する不審者
(物)、発火禁止場所で発生した火(熱)などといった監視
対象に向かう移動物体を指し、検知対象へ移動する物体
なら何でもよい。 また、本実施例では検知判
定手段10と伝達手段20とを分離したが、両手段は一体で
あるも可である。したがって、送受信制御部950が検知
判定手段10に含まれるものであっても可である。

【００１４】図２は、 本発明による他の実施例の画像
監視システムを示すブロック図である。本実施例の検知
判定手段10において、ITVカメラ100、画像入力部200、
特徴抽出部300、対象検知部500、データ格納部900は、
図１と同様である。 伝達手段20において、送受信制御
部950、データ送受信部1000、受信データ格納部1100は
図１と同様である。モニタ手段30において、表示制御部
1200、表示指示部1300、表示データ作成部1350、表示装
置1400も、図１と同様である。

【００１５】本実施例では、検知判定手段10の目標物体
判定部700は、対象検知部500での監視対象検知結果と、
外部の目標物体検知センサと接続しているセンサ検知部
800の目標物体検知結果とから目標物体か否か判定す
る。したがって、二重検知であるので判定精度が良い。

【００１６】図３は、本発明による画像入力部200の内
部の一実施例を示すブロック図である。ITVカメラ100が
対象シーンを撮影すると、画像入力部200が取り込んでA
／D変換する画像のうち、一方の画像取り込み部Fk 210
により取り込まれた画像信号を基準とする(例えば、取
り込み開始時の最初にサンプリングした画像を基準とす
る)背景画像とし、又は、フレーム間差分を行う直前の
画像として、もう一方の画像取り込み部Fi 220により取
り込まれた画像信号を処理対象とする入力画像として、
A／D変換部230でA／D変換し、特徴抽出部300に送信す
る。

【００１７】図４は、本発明による特徴抽出部300の内
部の一実施例を示すブロック図である。画像入力部200
が画像信号を取り込んでA／D変換すると、差分画像算出
部310が、 画像間の画素毎の差を算出して差分画像を作
成する。 濃度頻度分布算出部320が、差分画像の濃度頻
度分布を算出した後、 ノイズ除去部330が濃度頻度分布
Hj(j=0,1,・・・,n)を次の式で平滑化してノイズ除去を行
う。n は濃度の最大値である。

【００１８】 Hj ＝（（ Hj-1 + 2Hj + Hj+1 ）／４）−１ (数１) 但し、j ＝ 1,・・・,n-1 H0 ＝（（ 2H0 + H1 ）／３)−１ Hn ＝（（ 2Hn + Hn-1 ）／３)−１ ２値化しきい値算出部360が、ノイズ除去部330で作成し
た濃度頻度分布から差分画像算出部310が算出した差分
画像の２値化しきい値を自動的に算出すると、２値化処
理部370が、２値化しきい値算出部360で算出したしきい
値で２値化処理し２値画像を作成して、検知対象に不適
切な大きさの面積をもつかたまりをノイズとして除外
し、２値画像を作成する。特徴量算出部380は、差分画
像算出部310で算出した差分画像と２値化処理部370で２
値化した画像から、検知する対象の特徴を算出して、監
視対象検知に用いる。ここで、監視場所が暗く、目標物
体が存在しても差分画像算出部310に差分画像を抽出で
きない場合、不審者がモニタ上に目視でみえるような明
るさに照明装置を点灯させる。照明装置の存在を不審者
に感知させないようにしたい場合は、LED赤外照明（近
赤外）装置等がよい。

【００１９】図５は、本発明による特徴抽出部300の内
部の他の実施例を示すブロック図である。 画像入力部2
00が画像信号を取り込んでA／D変換すると、差分画像算
出部310が、領域設定部390で設定した領域に限定して画
像間の画素毎の差を算出して差分画像を作成する。領域
設定部390で設定した領域に限定することにより、処理
時間の短縮や処理領域以外の外乱が無視できる。領域設
定部390における領域の設定は、予め人手により、マウ
スを用いたり、 キィボードのキィ入力でもよく、検出
対象の領域が設定できる手段であれば何で設定してもよ
い。濃度頻度分布算出部320、ノイズ除去部330、２値化
しきい値算出部360、２値化処理部370、特徴量抽出部38
0に関し、領域設定部390で設定した領域に限定して、図
３と同様に処理する。

【００２０】図６は、本発明による２値化しきい値算出
部360で２値化のしきい値を算出するための一実施例を
示す図である。２値化しきい値算出部360は、 ノイズ除
去部330で平滑化した濃度頻度分布から求めた最大濃度
値max362から、２値化のしきい値(th)を自動算出する。

【００２１】まず、変化部分の領域が多い場合、平滑化
した濃度頻度分布は、図６（1）に示すようになる。最
大濃度max362から小さい方に濃度を探索すると、少なく
とも１個の極大値363が存在する。この極大値363を基準
に、更に小さい方に濃度を探索すると、最大濃度に最も
近い極小値364が存在する。この極小値364の濃度値から
最大濃度max362までが、変化部分の濃度分布である。従
って、極小値364の濃度値を２値化しきい値th364とす
る。これは、画像処理では、モード法による２値化しき
い値の決定方法である。

【００２２】しかし、変化部分の領域が少ない場合、即
ち、変化部分の濃度の度数が少ないため、図６（1）の
ような極大値363が存在しないで、図６（2）に示すよう
な濃度頻度分布となる。この場合の２値化しきい値th36
8は、最大濃度max362からある定数C を引いた値に設定
する。即ち次式で算出する。(数２)式で算出したしきい
値th368が予め設定した下限しきい値thmin366より小さ
くなる場合は、下限しきい値thmin366とする。定数C
は、対象画像の正常画像から、予め算出した正常状態で
の白色ノイズの上限しきい値thmaxと下限しきい値thmin
の差の値とする。

【００２３】又は、対象画像の正常状態におけるノイズ
の最大変動幅を示す値ならば、何でもよい。例えば、昼
間の屋外環境を監視するシーンならば、上限しきい値th
maxは12〜14階調程度で、 下限しきい値thminは、 4〜5
階調程度である。 従って、(数２)式の定数Cは、7〜10
階調程度である。 th ＝ max − C（ 但し、th≧thmin ，C：定数値） (数２) 一方、変化部分の最大値に白色ノイズが加味された場合
でも、(数１)式の平滑化処理でこれらのノイズが低減さ
れるので、濃度差のわずかな変化でも精度良く設定でき
る。

【００２４】図７は、本発明による２値化処理部370の
内部の一実施例を示すブロック図である。２値化処理部
で２値画像を作成するための実施例を示す図である。２
値化部374が、２値化しきい値算出部 360で算出したし
きい値で２値画像を作成すると、微小面積除去部376
が、検知対象に不適切な微小面積の領域をノイズとして
除去し、変化領域のみの２値画像を作成する。２値化処
理部 370が変化領域として２値化するのは、例えば、検
知対象が人物の場合、人物に適切な大きさの面積をもつ
領域であり、 例えば、画像の分解精度が512×512の場
合、 約数十画素〜100画素程度以下の領域をノイズとし
て除外する。作成した変化領域のみの２値画像は、抽出
対象物体が分離している場合が多く、画像補正部378
が、これら分離領域を膨張して連結した後、収縮して２
値画像を補正する。画像補正部378の膨張回数と収縮回
数は同一回数で、例えば、人物の抽出の例では２〜３回
程度である。

【００２５】図８は、本発明による特徴量算出部380の
内部の一実施例を示すブロック図である。特徴量算出部
380 は、差分画像算出部310で算出した差分画像と２値
化処理部 370で２値化した２値画像から、特徴量を算出
する。特徴量は、差分画像算出部310で求めた差分画像
を用いて、 濃度の分散算出部381で算出した濃度の分散
値、 ２値化処理部370で求めた２値画像を用いて、面積
算出部383で算出した面積、縦横比算出部385で算出した
縦横比、移動距離算出部387で算出した移動距離、位置
移動方向算出部388で算出した移動方向であり、これら
を、i-1回目、i回目、i+1回目毎に時系列に算出する。

【００２６】濃度の分散算出部381は、差分画像算出部3
10で求めた差分画像の濃度の分散値でも、該差分画像を
２値化処理部370で２値化して抽出した部分に限定して
マスクした領域の差分画像の濃度の分散値でもよい。
面積算出部383は、２値化処理部370で２値化した2値画
像の画素数を計算して面積を算出する。縦横比算出部38
5は、２値化処理部370で２値化した2値画像を、X方向に
投影してX軸の位置毎の画素数を累積したX投影分布と、
Y方向に投影してY軸の位置毎の画素数を累積したY投影
分布の割合を縦横比として算出する。移動距離算出部 3
87は、２値化処理部370で２値化したi-1回目の２値画像
の重心とi回目の２画画像の重心間の長さをi回目の距離
として算出する。移動方向算出部 388は、２値化処理部
370で２値化したi-1回目の２値画像の重心とi回目の２
画画像の重心間のベクトルをi回目の移動方向として算
出する。１回目、即ち、i＝1の場合、移動距離算出部38
7の移動距離＝0、移動方向算出部388の移動方向＝0とす
る。

【００２７】図９は、本発明による対象検知部500 の検
知手順の一実施例を示す図である。人物検知の例であ
る。まず、i回目において、ステップ505で形状が縦長で
あるか否かチェックし、形状が縦に長い場合、ステップ
510で面積をチェックし、面積が中程度ならば、ステッ
プ515で濃度の分散値をチェックし、濃度の分散値が大
きいならば、ステップ520で人物と判定するが、ステッ
プ515で濃度の分散値が大きくない場合、ステップ525で
外乱と判定する。ここで、全身人物像の場合、縦横比
は、縦／横の比は約4／1〜6／1であり、面積は、カメラ
の視野範囲に追随するが、例えば、画像の分解精度が51
2×512において、画面最上部が人物頭部最上部で最下部
の足が映る状態の視野範囲の場合、約25000〜35000画素
程度が中程度である。ステップ510で面積が大きいさい
と判定（上記の条件で約35000画素程度以上の場合）し
た場合、ステップ525で外乱と判定する。

【００２８】次に、i回目において、ステップ510で面積
が小さいと判定(上記条件で約25000画素程度以下の場
合)した場合、ステップ530の手順を経過する場合の連続
検知回数をカウントして、ｎ回の連続通過の場合、ステ
ップ535で移動方向をチェックして、移動方向が同一方
向の場合、ステップ540で人物と判定する。ステップ530
の連続検知回数ｎは、例えば、人物の通常歩行の場合で
約2〜4回である(i-2回目i-1回目、i回目と連続通過する
場合がｎ=3)。ステップ530の通過が１回限り又は連続し
ない場合、ステップ525で外乱と判定する。ステップ535
で移動方向が同一方向でない場合、ステップ525で外乱
と判定する。 なお、図１０は、図９のステップ535に
おける移動方向を示す図である。i-1回目のベクトルai-
1 536の角度をθとすると、 i回目のベクトル ai 537の
角度がθ-π/2からπ/2+θの範囲内にある場合を同一方
向とし、これ以外を同一方向でないとする。

【００２９】最後に、ステップ505で形状が縦長でない
場合、ステップ545で移動距離をチェックし、移動距離
が小さい場合、ステップ550で移動方向をチェックし、
移動方向が規則的でない場合、ステップ553で面積をチ
ェックし、面積が小さい場合、ステップ555で所定時間
内の検知回数をカウントし、ｎ回検知した場合、ステッ
プ560で人物（特に、同一場所付近で作業をしている人
物）と判定する。 ステップ545で移動距離が小く
ない場合、ステップ565で外乱と判定する。ステップ545
の移動距離は、カメラの視野範囲に追随するが、例え
ば、画像の分解精度が512×512において、画面最上部が
人物頭部最上部で最下部に足が映る状態の視野範囲で、
人物の通常歩行の場合、約50画素程度以下を小さい場合
とする。

【００３０】ステップ550の移動方向が規則的の場合
は、ステップ565で外乱と判定する。ステップ550におけ
る移動方向はステップ535と同じであり、直前のベクト
ルと比較して同一方向でない場合や移動方向に周期性が
ない場合を規則的でないとする。ステップ553でチェッ
クした面積が小さくない場合、ステップ565で外乱と判
定する。ステップ553における面積は、約25000画素程度
以上が小さくない場合であり、これ以下が小さい場合で
ある。ステップ555において、所定時間内の検知回数を
カウントし、ｎ回検知しない場合、ステップ565で外乱
と判定する。ステップ555における所定時間は、監視対
象に追随するが、例えば不審な作業者検知の場合、約数
分以内でよく、この時間内にステップ555の手順を通過
する回数が、１回の処理時間が約500msecの場合で数回
以上カウントできればよい。

【００３１】図１１は、本発明による目標物体判定部70
0の判定手順の一実施例を示す図である。人物検知のう
ち、特に、不審者検知の例である。まず、ステップ705
で i回目における対象検知部500での対象検知である人
物の有無をチェックし、人物を検知した場合、ステップ
715で警告として記憶し、ステップ725で警告の記憶回数
をチェックし、警告がｎ回以上になると、ステップ735
で不審者有りと判定する。警告がｎ回以上でない場合
は、ステップ745で不審者無しと判定する。

【００３２】ステップ725におけるｎ回は、例えば、ビ
ル等の施設では、約２〜4回程度でよく、重要施設等で
は約1回でもよく、任意に設定すればよい。ステップ705
で人物を検知しない場合、ステップ745で不審者無しと
判定する。そして、不審者有りと判定した場合、別途、
目標物体判定部700は、順次、判定信号700ａを送受信制
御部950へ出力する。また、検知判定したときの不審者
を捕らえた画像や関連情報、すなわち、時系列画像信号
1000ａを作成する基となる情報をデータ格納部900へ出
力する。

【００３３】図１２は、本発明による目標物体判定部70
0の判定手順の他の実施例を示す図であり、図２で示し
たセンサ検知部800を用いた不審者検知の例である。 ま
ず、ステップ710でi 回目における対象検知部500での対
象検知である人物の有無をチェックし、人物を検知した
場合、ステップ720で、図２で示したセンサ検知部800で
の人物検知の有無をチェックし、人物を検知した場合、
ステップ730で不審者有りと判定する。ステップ720で人
物を検知しない場合、ステップ750で警告として記憶
し、ステップ760で警告の記憶回数をチェックし、警告
がｎ回以上になると、ステップ730で不審者有りと判定
する。そうでない場合は、ステップ770で不審者無しと
判定する。ステップ760におけるｎ回は、ステップ725と
同様である。ステップ710で人物を検知しない場合、ス
テップ740で、センサ検知部800での人物検知の有無をチ
ェックし、人物を検知した場合、ステップ750で警告と
して記憶し、ステップ760で警告の記憶回数をチェック
し、警告がｎ回以上になると、ステップ730で不審者有
りと判定し、そうでない場合は、ステップ770で不審者
無しと判定する。ステップ740で人物を検知しない場
合、ステップ770で不審者無しと判定する。

【００３４】図１３は、本発明によるデータ格納部900
の内部の一実施例を示すブロック図である。データ格納
部900では、目標物体判定部700から送られてきた目標物
体を捕らえた画像や関連情報から、送受信情報格納部91
0は、データを送受信するための送受信情報をメモリに
格納し、ユーザ情報格納部920は、目標物体を検知した
場所等のユーザ情報をメモリに格納する。そして、異常
情報格納部930は、異常メッセージ等の異常情報をメモ
リに格納し、画像データ格納部940は、検知判定したと
きの不審者を捕らえた画像を画像メモリに格納する。そ
して、データ格納部900は、要求に応じて、格納したデ
ータを送受信制御部950へ出力する。

【００３５】図１４は、本発明による一実施例の時系列
画像信号1000ａを示す図である。データ送受信部1000が
作成する時系列画像信号1000ａを構成するプロトコルの
例である。送信用および／または受信用のプロトコルで
ある。データ送受信部1000は、目標物体判定部700が出
力した判定信号700ａに基づき送受信制御部950がデータ
格納部900との間で遣り取りした「不審者を捕らえた画像
や関連情報からなる画像データ等」を受け取り、オンラ
インで繋がっている離れた場所で不審者を時系列に監視
するための時系列画像信号1000ａを作成する。

【００３６】即ち、送受信制御部950が、判定信号700ａ
を計数(カウント)して判定回数がｎ回に達したか否かを
判定し、ｎ回に達したらデータ格納部900からｎ回分に
対応しているｎ個分の目標物体の画像データを取り出し
て、該ｎ個分の目標物体の画像データ(例えば、画像番
号ｉ₁を有する１回目の画像から画像番号ｉ_nのｎ回目の
画像)をデータ送受信部1000へ送るので、データ送受信
部1000は、ｎ個分の目標物体の画像データが繋ぎ合わさ
れた時系列画像信号1000ａを作成する。 そして、作成
された該時系列画像信号1000ａは、モニタ手段30へ送信
される。

【００３７】尚、ｉ時間の１回目(ｉ₁)からｎ回目(ｉ_n)
が終了したら、次のｊ時間に移行し１回目(ｊ₁)からｎ
回目(ｊ_n)へと繰り返される。ｎ回の具体的な数値とし
ては、表示装置の画面表示能力や監視者の監視判定能力
から５〜10回が好ましいと言える。勿論、ｎの設定は自
由に変えられる。たとえば、ｉ₁からｉ₂まで、ｉ₂から
ｉ₃まで、…、ｊ_nからｊ_n+1までの時間Ｔ(または、平均
時間Ｔm)を計測しつつ、時間Ｔが短い場合は、ｎの設定
を大きくし、Ｔが長い場合は、ｎの設定を小さくする。
このようにすれば、表示効率、判定精度等の向上に結び
付けることができる。

【００３８】一方、画像部分のプロトコルは、順次出力
される判定信号の計数に基づいて目標物体の画像に付加
した画像番号と、該各画像番号に対応した目標物体の画
像の異常情報，画像データ数，画像データとから構成さ
れている。すなわち、時系列画像信号1000ａを構成する
送受信プロトコルは、送受信情報格納部910から転送コ
ード1010と転送画面数1040と画像データの圧縮手法1045
との情報を送受信し、図１４に示されているように作成
される。 また、ユーザ情報格納部920からユーザ番号10
15と場所番号1020との情報を送受信し、 異常情報格納
部930から異常種類1025と異常レベル1030と異常メッセ
ージ1035と異常位置1050との異常情報を送受信し、作成
される。

【００３９】そして、時系列画像を構成する送受信プロ
トコルは、 送受信制御部950を介して、 ｎ回検知判定
し不審者を捕らえた画像であるｎ個分の画像データ1060
(または、 圧縮画像データ1060)と画像データの数であ
る画像データ数1055とが送受信されて作成される。 す
なわち、出力された判定信号700ａに基づいて、後述す
るように、 １回目に検知判定したｉ₁時刻の不審者画像
の画像データ1060及び画像データ数1055、 ｎ回目に検
知したｉ_n時刻の不審者画像の画像データ1060及び画像
データ数1055などの複数個の画像信号を、時系列に繋ぎ
合わせて時系列画像信号1000ａを作成する。

【００４０】ところで、 画像データ格納部940に格納し
た画像メモリの画像データは、検知した目標物体の映像
を圧縮又は非圧縮で格納するが、送受信を高速に行って
オンラインで監視するためには、データ送受信部1000に
おいて画像データを圧縮して送信することが望ましいと
言える。送信手段は、例えば RS-232CやISDN等の標準的
な手段でよい。画像データの圧縮手法1045は、例えば、
画像圧縮の標準化手法を用い、JPEGやMPEG等でよい。ま
た、オンライン監視ができる高速な送受信手法であれ
ば、圧縮しない画像データや他の圧縮手法による画像デ
ータでもよく、監視側で高速で高精度に表示できれば何
でもよい。そして、データ送受信部1000で送受信した画
像データ等は、離れた場所でオンラインの監視側にある
受信データ格納部1100に、データ送受信部1000のプロト
コルによるデータと同様な構成で、即ち、図１４と同様
な構成で格納される。

【００４１】図１５は、本発明による表示制御部1200の
内部の一実施例を示すブロック図である。表示制御部12
00が、データ送受信部1000から表示制御部1200に送信さ
れたきた表示可能信号1000ｂに基づいて、上記のプロト
コルからなる時系列画像信号1000ａから表示制御する実
施例を示している。

【００４２】コマンド表示制御部1210は、離れた場所で
オンライン監視する場合の通信やカメラ制御や受信デー
タの表示ファイル制御等のコマンドの表示制御を実行す
る。送受信情報表示制御部1220は、受信データ格納部11
00に格納した転送画面数1040と画像データの圧縮手法10
45の表示制御を行い、ユーザ情報表示制御部1230は、受
信データ格納部1100に格納したユーザ番号1015と場所番
号1020の表示制御を行い、異常情報表示制御部1240は、
受信データ格納部1100に格納した異常種類1025と異常レ
ベル1030と異常メッセージ1035と異常位置1050の表示制
御を実行する。

【００４３】そして、画像データ表示制御部1250は、受
信した表示可能信号1000ｂに基づいて、ｎ個分の画像デ
ータの表示が可能であると判定し、表示指示を出力す
る。画像データ表示制御部1250に含まれている表示デー
タ作成部1350は、上記表示指示にしたがって受信データ
格納部1100に格納されているｎ個分の画像データである
時系列画像信号1000ａを取り出して、ｎ個分の画像デー
タの表示データを作成する。すなわち、画像データ1060
と画像データ数1055とを取り出し、時系列に表示制御を
行うものである。図１６や図１７にて後述するように、
１回目に検知判定したｉ₁時刻の不審者画像、２回目に
検知したｉ₂時刻の不審者画像など…を、順次、表示制
御するものである。

【００４４】図２０は、複数個の目標物体画像を時系列
に同時表示する一実施例を示すフローチャートである。
すなわち、モニタ手段が、複数個の目標物体画像を同一
画面に重ね合わせて同時表示する手段と同一画面に同時
表示される目標物体画像の画面上の所定座標のそれぞれ
を結び、当該目標物体画像の移動軌跡を表示する手段と
を有する実施例である。図２０において、図１４に示し
た時系列画像信号1000ａを用いて、後述する図１６の移
動軌跡を重ね合わせて同時表示処理する手順の一実施例
を説明する。

【００４５】ステップ1355で、転送された画面の数(ｉ
n)と転送した画像の圧縮手法を読みだし、ステップ1360
で、転送画面数ｉnを用いて、異常検知した位置(ｘ,ｙ)
を読みだす。ステップ1365では、直前のｉ_j-1回目の異
常位置と今回のｉ_j回目の異常位置とを直線などで結
ぶ。なお、１回目の場合は、直前と今回は同一異常位置
とする。

【００４６】ステップ1370が圧縮した画像を読みだし、
ステップ1375で、ステップ1355で読みだした圧縮手法に
従って、画像データを伸長する。ステップ1380では、伸
長した画像データに異常位置を重ね合わせた画像を作成
する。この時、重ね合わせの画像は、同一画像メモリに
異常として検出した領域のみを上書きして作成する。そ
して、ステップ1385で、ステップ1360〜1380が転送画面
数のｉ1〜ｉn回目まで終了したかをチェックする。終了
であれば、ステップ1390で、画像データに繰り返して異
常位置を重ね合わせた画像を、表示装置1400に同時表示
する。

【００４７】図１６は、本発明による一実施例の時系列
的な画面表示を示す図である。本発明における表示制御
部1200(具体的には画像データ表示制御部1250に含まれ
ている表示データ作成部1350)で表示制御を行って、表
示装置1400に時系列的な画面を表示する例を示し、不審
者検知の場合の表示例である。まず、コマンド表示制御
部1210を用いて、コマンド1410を表示する。ユーザ情報
表示制御部1230におけるユーザ番1015と場所番号1020と
を用いて、ユーザ情報1450を表示し、異常情報表示制御
部1240における異常種類1025と異常レベル1030を用い
て、異常情報1460と警報1420を表示し、異常メッセージ
1035を用いて、例えば、不審者有り等の異常メッセージ
1470を表示する。

【００４８】次に、送受信情報表示制御部1220における
転送画面数1040と画像データの圧縮手法1045に加えて、
画像データ表示制御部1250は、画像データ1060と画像デ
ータ数1055を用いて、送受信状態1430と画像の画面表示
状態1440と検知した不審者の画像を伸張し、画面1480に
表示する。

【００４９】そして、画像データ表示制御部1250の表示
データ作成部1350は、ｉ時間における１回目に検知した
ｉ₁時刻の不審者1510と、 ２回目に検知したｉ₂時刻の
不審者1530と、例えば、不審者の重心位置(すなわち、
モニタ画面上の所定座標)を直線(または、点線、曲線な
ど)で結んだ移動軌跡1520を画面1480に表示する。すな
わち、同一画面に同時表示されたｉ₁時刻からｉ₂時刻の
複数個の目標物体の画像の一例としての重心位置のそれ
ぞれを結び、当該目標物体の画像の移動軌跡を表示する
ものである。なお、移動軌跡を表示するに、直線などで
結ぶことを省略しても可である。同様に、３回目に検知
したｉ₃時刻の不審者1550と移動軌跡1540を、ｎ回目に
検知したｉ_n時刻の不審者1570と移動軌跡1560を同一の
１画面1480に表示する。更に、監視現場の背景1580も同
一画面1480に重ね合わせて表示する。 本実施例によ
り、センターにおいて、不審者を検知した現場環境と現
場環境における不審者の移動状態や変化状態を、画面上
において明確に把握できる。

【００５０】図２１は、複数個の目標物体画像を時系列
に同時表示する他の実施例を示すフローチャートであ
る。すなわち、モニタ手段が、複数個の目標物体画像を
複数に分割した分割画面に同時表示する手段と同一画面
に同時表示される目標物体画像の画面上の所定座標のそ
れぞれを結び、当該目標物体画像の移動軌跡を表示する
手段とを有する実施例である。図２１において、図１４
に示した時系列画像信号1000ａを用いて、後述する図１
７の４画面を同時表示処理する手順の一実施例を説明す
る。

【００５１】ステップ1355,1360,1365,1370は、前述し
た図２０のフローチャートと同じであるので説明を省略
する。ステップ1381では、圧縮したままの画像データに
異常位置を重ね合わせた画像を作成する。この時、重ね
合わせの画像は、同一画像メモリに異常として検出した
領域のみを上書きして作成する。ステップ1387で、ステ
ップ1380で作成した画像を、例えば、表示装置1400の画
面のｉ1回目は左上に表示し、ｉ2回目は右上に表示し、
ｉ3回目は左下に表示し、ｉ4回目は右下に表示するなど
して、圧縮した４コマの画像を表示装置1400に同時表示
する。 そして、ステップ1392で、ステップ1360〜13
87が転送画面数のｉ1〜ｉn回目まで終了したかをチェッ
クする。YESであれば、処理を終了する。

【００５２】図１７は、本発明による他の実施例の時系
列的な画面表示を示す図である。本発明における表示制
御部1200で表示制御を行って、表示装置1400に時系列的
な画面を表示した他の不審者検知の例である。コマンド
1410の表示、ユーザ情報1450の表示、異常情報1460の表
示、警報1420の表示、異常メッセージ1470の表示、送受
信状態1430の表示、画面表示状態1440の表示、背景1580
の表示に関しては、図１６と同様である。図１７の実施
例の図１６との違いは、検知した不審者を時系列に４分
割画面表示する点にある。

【００５３】送受信情報表示制御部1220における転送画
面数1040と、画像データの圧縮手法1045とに加えて、画
像データ表示制御部1250は、画像データ1060と画像デー
タ数1055を用いて、検知した不審者画像の画像伸張を行
って４分割画面に表示する。画像データ表示制御部1250
の表示データ作成部1350は、１回目に検知したｉ₁時刻
の不審者1515を分割画面1590に表示し、不審者1515の重
心位置と２回目に検知したｉ₂ 時刻の不審者1535の重心
位置を直線で結んだ移動軌跡1525を、分割画面1592に表
示する。

【００５４】同様に、３回目に検知したｉ₃時刻の不審
者1555と、移動軌跡1525と、移動軌跡1545とを分割画面
1594に表示する。さらに、ｎ回目に検知したｉ_n時刻の
不審者1575と移動軌跡1525と移動軌跡1545と移動軌跡15
65とを分割画面1596に表示する。これらの各分割画面15
90，1592，1594，1596に、監視現場の背景1580も表示す
る。本実施例では、不審者の移動が少なく重なった場合
(不審者の移動が遅く不審者検知の検知時間が長い場合)
において、検知した不審者を明確に画像で把握できると
いう効果がある。

【００５５】図１８は、本発明による一実施例の対話指
示を示す図である。本発明における表示指示部1300で画
像データ表示制御部1250へ表示指示を行う場合の例であ
り、不審者検知の例である。 コマンド1410、ユーザ情
報1450、 異常情報1460、警報1420、 異常メッセージ14
70、送受信状態1430、画面表示状態1440、画面1480、不
審者1510、 不審者1530、移動軌跡1520、不審者1550、
移動軌跡1540、 不審者1570、移動軌跡1560、背景1580
に関しては、図１６と同様である。

【００５６】本実施例の場合、監視者が監視用の表示装
置1400を見て、例えば、詳細に監視する必要があるとの
要求がある不審者が不審者1550である場合、監視現場か
ら離れたセンターにある表示装置上から、マウス等の位
置を指定できる対話指示装置で、監視者1310がオフライ
ン操作で不審者1550の重心位置付近1320を対話指示す
る。対話指示があると、表示指示部1300は、指定された
モニタ画面上の座標を取り込み、次に説明するような不
審者1550の詳細表示を実行する。

【００５７】図１９は、図１８の対話指示により目標物
体を詳細表示した実施例を示す図である。本発明におけ
る表示指示部1300で指定した目標物体を詳細表示した例
であり、目標物体が不審者である場合の例である。コマ
ンド1410、ユーザ情報1450、異常情報1460、警報1420、
異常メッセージ1470、送受信状態1430、画面表示状態14
40、画面1480に関しては、図１８と同様である。 表示
指示部1300が、監視者1310から詳細表示の指示要求があ
ったモニタ上の座標を取り込むと、表示制御部1200(画
像データ表示制御部1250)が、該座標に最も近い位置(ま
たは範囲)にある検知人物の画像に対応している画像番
号ｎを読み取り、該画像番号ｎを検索コードとして受信
データ格納部1100のメモリから指示要求の画像を検索
し、該指示要求位置(または範囲)の不審者の情報を取り
出し、表示装置1400へ該不審者1550の詳細表示を行うも
のである。 これにより、不審者の拡大
画像や詳細情報を監視現場から離れたセンターで、任意
の時間に要求する見たい部分の不審者の詳細情報を取り
出しり把握することができる。

【００５８】

【発明の効果】本発明によれば、監視対象領域を撮影し
た画像を検知判定手段で目標物体を検知すると、伝達手
段が、検知判定手段で検知した目標物体の画像信号を画
面毎に位置情報と画面データ数と画面データを時系列的
な複数個の画面として、伝達手段を介してモニタ手段に
伝送すると、モニタ手段は、検知判定手段が検知した画
像信号を同一画面に複数個の画面を時系列で重ねあわせ
て表示したり、同一画面に複数の個画面を時系列で複数
分割画面で表示したりするので、離れた場所で監視して
いる監視者は、目標物体の変化状態や軌跡に関する映像
等を表示手段でリアルタイムに監視できる効果がある。

【００５９】また、監視者は表示指示手段で対話したい
映像の位置を表示手段上で指示すれば、要求のあった目
標物体に関する画像や情報を表示手段上へ表示したりし
て、監視現場に出向かないで、離れた場所で詳細に把握
することが可能となる効果があリ、目標物体の判定精度
が向上する効果がある。

【図面の簡単な説明】

【図１】本発明による一実施例の画像監視システムを示
すブロック図である。

【図２】本発明による他の実施例の画像監視システムを
示すブロック図である。

【図３】本発明による画像入力部の内部の一実施例を示
すブロック図である。

【図４】本発明による特徴抽出部の内部の一実施例を示
すブロック図である。

【図５】本発明による特徴抽出部の内部の他の実施例を
示すブロック図である。

【図６】本発明による２値化しきい値算出部で２値化の
しきい値を算出するための一実施例を示す図である。

【図７】本発明による２値化処理部の内部の一実施例を
示すブロック図である。

【図８】本発明による特徴量算出部の内部の一実施例を
示すブロック図である。

【図９】本発明による人物検知部の検知手順の一実施例
を示す図である。

【図１０】図９のステップ535における移動方向を示す
図である。

【図１１】本発明による不審者判定部の判定手順の一実
施例を示す図である。

【図１２】本発明による不審者判定部の判定手順の他の
実施例を示す図である。

【図１３】本発明によるデータ格納部の内部の一実施例
を示すブロック図である。

【図１４】本発明による一実施例の時系列画像信号を示
す図である。

【図１５】本発明による表示制御部の内部の一実施例を
示すブロック図である。

【図１６】本発明による一実施例の時系列的な画面表示
を示す図である。

【図１７】本発明による他の実施例の時系列的な画面表
示を示す図である。

【図１８】本発明による一実施例の対話指示を示す図で
ある。

【図１９】図１８の対話指示により目標物体を詳細表示
した実施例を示す図である。

【図２０】複数個の目標物体画像を時系列に同時表示す
る一実施例を示すフローチャートである。

【図２１】複数個の目標物体画像を時系列に同時表示す
る他の実施例を示すフローチャートである。

【符号の説明】

10…検知判定手段、20…伝達手段、30…モニタ手段、10
0…ITVカメラ、200…画像入力部、300…特徴抽出部、50
0…人物検知部、700…不審者判定部、700ａ…判定信
号、800…センサ検知部、900…データ格納部、950…送
受信制御部 1000…データ送受信部、1000ａ…時系列画像信号、1000
ｂ…表示可能信号、1100…受信データ格納部、1200…表
示制御部、1300…表示指示部、1350…表示データ作成
部、1400…表示装置。

Claims (6)

【特許請求の範囲】
1. 【請求項１】目標物体を検知判定し該目標物体の画像信
   号を出力する検知判定手段と、該画像信号を伝達する伝
   達手段と、前記画像信号に基づいて検知判定した前記目
   標物体の画像を表示するモニタ手段とを備え、前記目標
   物体を監視する画像監視システムにおいて、 前記検知判定手段は、判定した前記目標物体の画像信号
   に対応して、順次、判定信号を出力し、 前記伝達手段は、該判定信号に基づいて、複数個の前記
   画像信号を時系列に繋ぎ合わせて時系列画像信号を作成
   し、 前記モニタ手段は、該時系列画像信号を用いて、検知判
   定した複数個の前記目標物体の画像を時系列に表示する
   ことを特徴とする画像監視システム。
2. 【請求項２】請求項１において、前記モニタ手段は、複
   数個の前記目標物体画像を同一画面に重ね合わせて同時
   表示することを特徴とする画像監視システム。
3. 【請求項３】請求項１において、前記モニタ手段は、複
   数個の前記目標物体画像を複数に分割した分割画面に同
   時表示することを特徴とする画像監視システム。
4. 【請求項４】請求項２または請求項３において、前記モ
   ニタ手段は、同一画面に同時表示される前記目標物体画
   像の画面上の所定座標のそれぞれを結び、当該目標物体
   画像の移動軌跡を表示することを特徴とする画像監視シ
   ステム。
5. 【請求項５】請求項１または請求項２または請求項３に
   おいて、前記モニタ手段は、時系列表示した前記目標物
   体画像と対話する表示指示部を有することを特徴とする
   画像監視システム。
6. 【請求項６】請求項１において、前記時系列画像信号の
   プロトコルは、順次出力される前記判定信号の計数に基
   づいて前記目標物体画像に付加した画像番号と、該各画
   像番号に対応した前記目標物体画像の異常情報，画像デ
   ータ数，画像データとから構成されていることを特徴と
   する画像監視システム。