JPH11113022A

JPH11113022A - ピクチャタイプ毎符号化モード別移動物体検出方法及び装置

Info

Publication number: JPH11113022A
Application number: JP29027297A
Authority: JP
Inventors: Takeshi Kurosawa; 黒澤岳史東洋通信機株式会社内
Original assignee: Toyo Communication Equipment Co Ltd
Current assignee: Toyo Communication Equipment Co Ltd
Priority date: 1997-10-07
Filing date: 1997-10-07
Publication date: 1999-04-23

Abstract

(57)【要約】【課題】移動物体検出方法及び装置において、ピクチ
ャタイプ毎符号化モード別により、動きベクトルの修正
方法を変えることにより、移動物体を見失うことを防止
したピクチャタイプ毎符号化モード別移動物体検出方法
及び装置を提供する。【解決手段】移動物体を見失うのを防止するため、移
動物体を検出する移動物体検出部に、動きベクトル修正
部と動きベクトル情報記憶部備えた。

Description

【発明の詳細な説明】

【０００１】従来、監視カメラを用いて防犯や防災等の
監視を行うには、監視センタに監視員が常駐し、監視モ
ニタを四六時中チェックしていなければならないので監
視員の負担が大きかった。このため、移動物体の自動検
出が行われるようになった。移動物体を検出するには、
連続した画像フレーム（画面）を比較し、差異が生じて
いる箇所に移動物体が存在していると認識するものであ
る。そうするための手段としては、例えば、国際標準の
ＭＰＥＧを例に示すと、画像フレームを１６×１６画素
単位の縦１５×横２２にマクロブロック分割し、前画像
フレームと現画像フレームそれぞれにおける各々の画像
を比較し、両者の差異に基づいて動きベクトルを求める
ものである。例えば図１０に示す例は、Ｐピクチャの画
像フレームをマクロブロック化したものである。図１０
中の２８がマクロブロック化された最小単位である。画
像フレームの丸枠２９に示す矢印は動きベクトルの大き
さと方向を示し、その周辺の空白部分は前画像フレーム
と比較の結果、差異がないため動きベクトルが発生して
いないことを示している。即ち、前画像フレームと現画
像フレームの画像におけるデータを比較し、差異のある
マクロブロックの一塊を移動物体として検知するもので
ある。尚、画像フレームのマクロブロックに基づき動き
ベクトルを求める方法は、日経ＢＰ出版センター発行
「ディジタル画像圧縮の基礎」（著者安田浩，渡辺
裕）に詳しく開示されているので、その説明はここでは
省略する。

【０００２】このように監視カメラにより自動的に移動
物体を検出する手段を用いて、遠隔監視システムで移動
物体を検出した際、警報等により監視員に知らせれば、
これに基づいて監視員が監視モニタ上に表示された画像
を見て容易に不審者等の進入の有無の確認ができるよう
になり、監視員の負担が大幅に軽減される。図６は従来
の遠隔監視システムの形態例を示すブロック図である。
図６において６は監視エリア側装置であって、監視カメ
ラ７で撮影した画像を、画像符号化器８で画像符号化デ
ータとし、その画像符号化データを送信部９から伝送路
１０に送出するように構成されたものである。１１は監
視センタ側装置であって、受信部１２を介して受信した
画像符号化データを分配器１３により画像復号器１４と
動きベクトルを求める移動物体検出部１５の二つに分配
すると共に、前記画復号器１４と移動物体検出部１５の
出力を合成器１６で合成し、監視モニタ１７に表示する
よう構成されたものである。移動物体検出部１５は、図
７に示すようなブロック構成となる。復号処理部１９は
画像符号化データにより動きベクトルを求め画像処理部
２０へ送り、画像処理部２０において監視対象の移動物
体の検出を行い、監視対象の移動物体の有無と中心座
標，大きさ，方向，形状等の情報を状態変化検出部２１
に渡し、予め保持していた移動物体情報と比較して状態
変化があれば監視者に知らせる警報と監視モニタ上の移
動物体を示す矢印等を表示するための状態変化表示信号
及び移動物体情報を合成器１６に出力すると共に、画像
復号器１４で再生される画像を合成器１６に出力する。
復号処理部１９は図８のブロック構成に示すように、画
像符号化データをバッファ２３に蓄積し、可変長復号器
２４により量子化情報と量子化ＤＣＴ係数と符号化モー
ド種別情報と動きベクトルとに復号する。このとき、移
動物体の検出は動きベクトルのみ必要だったため、他の
量子化情報と量子化ＤＣＴ係数と符号化モード種別情報
は特に使用していなかった。

【０００３】画像を表示するための画像符号化データに
ついてＭＰＥＧ１を例に簡単に示す。画像を表示する際
の画像符号化データは図９に示すように、通常０．５秒
の画像情報を１５枚程度の画像フレームをＧＯＰ（Ｇｒ
ｏｕｐＯｆＰｉｃｔｕｒｅｓ）としてまとめ、管理
されている。即ち、０．５秒で１５枚の画像フレームを
作成する。その１５枚の画像フレームの構成は、最初の
１枚目２５が画像を全て表示できる完結画像符号化デー
タを保持しており、それ以降の画像データは１枚目の完
結画像符号化データを基にして動きベクトルから最新画
像を表示させたり、適当な周期で挿入されている完結画
像符号化データ等から最新画像を表示させている。前記
画像フレームには、前記１枚目の画像フレームのように
移動物体の動き予測を用いない（完結画像符号化データ
を保持している）符号化画像フレーム（Ｉピクチャ）
と、現画像フレームに対するひとつ前のＩピクチャまた
はＰピクチャの画像フレームに基づいて求めた動きベク
トルを含む画像フレーム間順方向予測符号化画像フレー
ム（以下Pピクチャと記す）と、現画像フレームに対す
るひとつ前の画像フレームとひとつ後のＩピクチャまた
はＰピクチャの画像フレームに基づいて求めた動きベク
トルを含む双方向予測符号化画像フレーム（以下Ｂピク
チャと記す）とがある。通常、画像符号化データ内にお
けるピクチャの挿入割合は「ＩＰＢＢＰＢＢ」となって
いる。それぞれのピクチャをマクロブロック化すると、
Ｉピクチャは完結符号化データのみであることから、そ
の画像フレーム内だけのデータで動き予測を用いず符号
化するフレーム内予測符号化（以下イントラ符号化と記
す）モードとなる。Ｐピクチャは、現画像を表示するた
めに、ひとつ前の画像から既存のマクロブロックの動き
ベクトルを利用して動きを予測し表示させる方が圧縮効
率が高いと判断された場合は順方向フレーム間符号化モ
ードとし、新しく画像を表示させた方が良いと判断され
たものはイントラ符号化モードとしている。Ｂピクチャ
は、Ｐピクチャと同様に順方向フレーム間符号化モード
とイントラ符号化モードの他に、時間的にひとつ後のＩ
ピクチャやＰピクチャから動きを予測した方が圧縮効率
が高いと判断された場合は逆方向フレーム間符号化モー
ドとし、時間的にひとつ前とひとつ後のＩピクチャやＰ
ピクチャによる動きを予測をした方が圧縮効率が高いと
判断された場合は内挿的フレーム間符号化モードとして
いる。内挿的フレーム間符号化モードは、順方向フレー
ム間符号の動きベクトルと逆方向フレーム間符号の動き
ベクトルの二つの動きベクトルを持っている。よって、
イントラ符号化モードは既存のマクロブロックの動きベ
クトルを利用して動きを予測し、表示させるものではな
いため動きベクトルを持たなことになる。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
移動物体検出方法及びそのための装置においては、以下
のような欠点があった。例えば、図６に示す監視エリア
側装置６から送られてきた画像符号化データ中のＢピク
チャをマクロブロック化したサンプル画像フレームを図
１０に示すと、実際は、一つの移動物体を検出していた
状態から図１０のような動きベクトルが求められ、次の
画像フレームが図１１のサンプル画像フレームその２の
動きベクトルが得られた時、図１１中３０のイントラ符
号化モードが存在すると動きベクトルが得られず、丸枠
３１と丸枠３２の二つの移動物体が新たに発見されたも
のと認識してしまう。また、次画像フレームがＩピクチ
ャの場合は動きベクトルが前記述により得られないの
で、１つの移動物体として認識されるような動きベクト
ルが得られる状態が繰り返されると誤認識が生ずる。即
ち、状態変化検出部２１では任意の複数画像フレームに
ついて移動物体の中心座標，大きさ，形状等を基づき、
画像フレーム中の移動物体に連続性がある場合にのみ移
動物体の存在を判断しているため、元々認識していた一
つの移動物体が二つになったり無くなったりを繰り返す
と、認識していた一つの移動物体を追従できず見失うと
いった誤認識が発生してしまう。要約すれば、従来の画
像符号化技術では、画像フレームが各ピクチャ毎の符号
化モードにより、全てのマクロブロックの動きベクトル
を得られるわけではないため、復号処理部１９で画像符
号化データからのみでは移動物体の検出を行う場合は上
述したように誤認識を起こす。本発明は、監視エリア側
装置６の画像符号化器８で画像符号化技術で各ピクチャ
毎符号化モードにより動きベクトルの修正方法を変え、
移動物体を見失うことを防止したピクチャタイプ毎符号
化モード別移動物体検出方法及び装置を提供することを
目的としている。

【０００５】

【課題を解決するための手段】本発明は、画像符号化手
段により、ピクチャタイプ別に分割された画像フレーム
を、所要の画素単位毎にマクロブロック化した画像符号
化データの各マクロブロックの動きベクトルを利用し
て、監視画像中の移動物体の存在を検出する方法におい
て、前記マクロブロックの符号化モードにより、動きベ
クトルの修正方法を変えるのを特徴としている。上記目
的を達成するため、請求項１の前記ピクチャタイプ別画
像フレーム毎に各マクロブロックの符号化モードによ
り、動きベクトルの修正方法を変えるのを特徴とする画
像監視方法。請求項２の前記ピクチャタイプ別画像フレ
ーム毎の各マクロブロックの符号化モードにより、動き
ベクトルの修正方法を変える手段を備えたことを特徴と
する画像監視装置。

【０００６】

【発明の実施の形態】以下、添付図面に基づいて本発明
の一実施例を詳細に説明する。図１は本発明の一実施例
のブロック図であって、図８に示した従来の復号処理部
２２との相違点は、動きベクトル修正部４と動きベクト
ル情報記憶部５を加えたものである。従来、可変長復号
器３で復号されたが使用していなかった符号化モード種
別情報と動きベクトルとを動きベクトル修正部４に渡
し、図２に示す概略フローチャートを実施する。先ず、
現画像フレームのピクチャタイプを調べ（ＳＴ１）、Ｐ
ピクチャならばＰピクチャ動きベクトル修正処理（ＳＴ
２）を実施し、Ｂピクチャならば、Ｂピクチャ動きベク
トル修正処理（ＳＴ３）を実施し、Ｉピクチャならば、
Ｉピクチャ動きベクトル修正処理（ＳＴ４）を実施す
る。その後、ＰピクチャまたはＢピクチャの場合は、次
画像フレームにおいて動きベクトルが得られないような
状況が発生しても修正できるように、動きベクトル情報
を動きベクトル情報記憶部に保存させる（ＳＴ５）。そ
の後、修正が行われた動きベクトル情報を画像処理部に
送る（ＳＴ６）。

【０００７】Ｐピクチャ動きベクトル修正処理（ＳＴ
２）は、図３に示すように各マクロブロックの符号化モ
ードを調べ（ＳＴ１）、順方向フレーム間予測符号化な
らば動きベクトルをそのまま使用し（ＳＴ２）、イント
ラ符号化ならば動きベクトル記憶部から動きベクトル情
報を読み込み使用する（ＳＴ３）。その処理を、全ての
マクロブロックに対して処理を繰り返す（ＳＴ４）。

【０００８】Ｂピクチャ動きベクトル修正処理（ＳＴ
３）は、図４に示すように各マクロブロックの符号化モ
ードを調べ（ＳＴ１）、イントラ符号化ならば（ＳＴ
１）動きベクトル記憶部から動きベクトル情報を読み込
み使用し（ＳＴ２）、順方向フレーム間予測符号化なら
ば（ＳＴ３）動きベクトルをそのまま使用し（ＳＴ
４）、逆方向フレーム間予測符号化ならば（ＳＴ５）動
きベクトルの成分を反転して使用し（ＳＴ６）、内挿的
フレーム間予測符号化ならば、順方向フレーム間予測符
号の動きベクトルと逆方向フレーム間予測符号の動きベ
クトルの平均値を求め、その平均値を内挿的フレーム間
予測符号の動きベクトルとして使用する（ＳＴ７）。そ
の処理を、全てのマクロブロックに対して処理を繰り返
す（ＳＴ８）。

【０００９】Ｉピクチャ動きベクトル修正処理（ＳＴ
４）は、図５に示すようにイントラ符号化のため、動き
ベクトル記憶部から全マクロブロックの動きベクトル情
報を読み込み使用する（ＳＴ１）。

【００１０】以上は、ＭＰＥＧに限らず動き補償を行う
画像符号化モードを使用していれば、ＭＰＥＧ２やＨ．
２６１等でも上記の処理にて対応可能である。

【００１１】

【発明の効果】本発明は以上説明したように、ピクチャ
タイプ別に分割された画像フレームを、所要画素単位毎
にマクロブロック化した画像符号化データの各マクロブ
ロックの動きベクトルを利用して、動きベクトルの一塊
を移動物体として検出する際、前記ピクチャタイプ別画
像フレーム毎に各マクロブロックの符号化モードにより
動きベクトルの修正することで、動きベクトルが求めら
れないマクロブロックが存在する場合であっても移動物
体を見失うことを防止し、常に正しい移動物体の検出が
可能となる。

【図面の簡単な説明】

【図１】本発明に関わる移動物体検出装置の主要部ブロ
ック構成図。

【図２】本発明に関わる移動物体検出装置の主要部フロ
ーチャート図。

【図３】本発明に関わるＰピクチャ動きベクトル修正処
理フローチャート図。

【図４】本発明に関わるＢピクチャ動きベクトル修正処
理フローチャート図。

【図５】本発明に関わるＩピクチャ動きベクトル修正処
理フローチャート図。

【図６】従来の遠隔監視システムブロック図。

【図７】従来の移動物体検出部ブロック図。

【図８】従来の復号処理部ブロック図。

【図９】ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ
ｓ）構成図。

【図１０】画像フレームサンプルその１。

【図１１】画像フレームサンプルその２。

【符号の説明】

１，１５，１８，２２・・・移動物体検出部２，２３・・・バッファ３，２４・・・可変長復号器４・・・動きベクトル修正部５・・・動きベクトル情報記憶部６・・・監視エリア側装置７・・・監視カメラ８・・・画像符号化器９・・・送信部１０・・・伝送路１１・・・監視センタ側装置１２・・・受信部１３・・・分配器１４・・・画像復号器１６・・・合成器１７・・・監視モニタ１，１９，２２・・・復号処理部２０・・・画像処理部２１・・・状態変化検出部２５・・・Ｉピクチャ２６・・・Ｐピクチャ２７・・・Ｂピクチャ２８・・・マクロブック２９・・・移動物体の一塊３０・・・イントラ符号化されたマクロブロック３１，３２・・・一塊の移動物体が二つに分離したもの

Claims

【特許請求の範囲】

【請求項１】動画像符号化手段により、ピクチャタイ
プ別に分割された画像フレームを、所要の画素単位毎に
マクロブロック化した各マクロブロックの符号化モード
により求めた動きベクトルを利用して、監視画像中の移
動物体の存在を検出する方法において、前記ピクチャタ
イプ別画像フレーム毎の各マクロブロックにおける符号
化モードにより、動きベクトルの修正方法を変えるのを
特徴とする画像監視方法。
【請求項２】動画像符号化手段により、ピクチャタイ
プ別に分割された画像フレームを、所要の画素単位毎に
マクロブロック化した各マクロブロックの符号化モード
により求めた動きベクトルを利用して、監視画像中の移
動物体の存在を検出する手段を備えた装置において、前
記ピクチャタイプ別画像フレーム毎の各マクロブロック
における符号化モードにより、動きベクトルの修正方法
を変える手段を備えたことを特徴とする画像監視装置。