JPH11113002A - Method and device for detecting mobile object in different micro block - Google Patents
Method and device for detecting mobile object in different micro blockInfo
- Publication number
- JPH11113002A JPH11113002A JP29027197A JP29027197A JPH11113002A JP H11113002 A JPH11113002 A JP H11113002A JP 29027197 A JP29027197 A JP 29027197A JP 29027197 A JP29027197 A JP 29027197A JP H11113002 A JPH11113002 A JP H11113002A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- macroblock
- image
- moving object
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【説明の属する技術分野】本発明は、画像を用いた画像
監視に関し、詳しくは画像符号化された画像符号化デー
タから移動物体の検出を行う画像監視方法及び装置に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to image monitoring using images, and more particularly to an image monitoring method and apparatus for detecting a moving object from image-encoded image data.
【０００２】[0002]
【従来の技術】従来、監視カメラを用いて防犯や防災等
の監視を行うには、監視センタに監視員が常駐し、監視
モニタを四六時中チェックしていなければならないので
監視員の負担が大きかった。このため、移動物体の自動
検出が行われるようになった。移動物体を検出するに
は、連続した画像フレーム（画面）を比較し、差異が生
じている箇所に移動物体が存在していると認識するもの
である。そうするための手段としては、例えば、国際標
準のＭＰＥＧを例に示すと、画像フレームを１６×１６
画素単位の縦１５×横２２にマクロブロック分割し、前
画像フレームと現画像フレームそれぞれにおける各々の
画像を比較し、両者の差異に基づいて動きベクトルを求
めるものである。例えば図７に示す例は、画像フレーム
をマクロブロック化したものであり、画像フレーム中央
部に示す矢印は動きベクトルの大きさと方向を示し、そ
の周辺の空白部分は前画像フレームと比較の結果、差異
がないため動きベクトルが発生していないことを示して
いる。即ち、このように前画像フレームと現画像フレー
ムの画像におけるデータを比較し、差異のあるマクロブ
ロックの一塊を移動物体として検知するものである。
尚、画像フレームのマクロブロックに基づき動きベクト
ルを求める方法は、日経ＢＰ出版センター発行「ディジ
タル画像圧縮の基礎」（著者 安田浩，渡辺裕）に詳し
く開示されているので、その説明はここでは省略する。
このように監視カメラにより自動的に移動物体を検出す
る手段を用いて、遠隔監視システムで移動物体を検出し
た際、警報等により監視員に知らせれば、これに基づい
て監視員が監視モニタ上に表示された画像を見て容易に
不審者等の進入の有無の確認ができるようになり、監視
員の負担が大幅に軽減される。2. Description of the Related Art Conventionally, in order to monitor crime prevention and disaster prevention using a surveillance camera, a surveillance staff must be stationed at a surveillance center and check the surveillance monitors all the time. Was big. For this reason, automatic detection of a moving object has come to be performed. In order to detect a moving object, successive image frames (screens) are compared, and it is recognized that the moving object exists at a place where a difference occurs. As a means for doing so, for example, if an international standard MPEG is shown as an example, an image frame is 16 × 16
The macroblock is divided into 15 × 22 pixels in pixel units, the respective images in the previous image frame and the current image frame are compared, and a motion vector is obtained based on the difference between the two. For example, the example shown in FIG. 7 is a macroblock of an image frame. The arrow at the center of the image frame indicates the magnitude and direction of the motion vector, and the blank portion around the frame indicates the result of comparison with the previous image frame. Since there is no difference, no motion vector is generated. That is, the data in the image of the previous image frame and the data in the image of the current image frame are compared in this way, and a block of the macro block having a difference is detected as a moving object.
The method of obtaining a motion vector based on a macroblock of an image frame is disclosed in detail in "Basics of Digital Image Compression" (author Hiroshi Yasuda, Hiroshi Watanabe) published by Nikkei BP Publishing Center, and the description is omitted here. I do.
When the remote monitoring system detects a moving object using the means for automatically detecting the moving object by the surveillance camera in this way, if the warning is notified to the surveillance staff, the surveillance staff will be notified on the surveillance monitor based on this. , It is possible to easily confirm whether a suspicious person or the like has entered, by looking at the image displayed on the screen, and the burden on the observer can be greatly reduced.
【０００３】図５は従来の画像監視システムの形態例を
示すブロック図である。図５において１３は監視エリア
側装置であって、監視カメラ１４で撮影した画像を、画
像符号化器１５で画像符号化データとし、その画像符号
化データを送信部１６から伝送路１７に送出するように
構成されたものである。１８は監視センタ側装置であっ
て、受信部１９を介して受信した画像符号化データを分
配器２０により画像復号器２１と動きベクトルを求める
移動物体検出部２２の二つに分配すると共に、前記画像
復号器２１と移動物体検出部２２の出力を合成器２３で
合成し、監視モニタ２４に表示するよう構成されたもの
である。移動物体検出部２２は、図６に示すようなブロ
ック構成となる。即ち、復号処理部２６で画像符号化デ
ータから各々のマクロブロックの動きベクトルに復号
し、その中の動きベクトルから画像処理部２７で監視対
象の移動物体の検出を行い、監視対象の移動物体の有無
と中心座標，大きさ，方向，形状等の情報を状態変化検
出部２８に渡し、予め保持していた移動物体情報と比較
して状態変化があれば監視者に知らせる警報と監視モニ
タ上の移動物体を示す矢印等を表示するための状態変化
表示信号及び移動物体情報を合成器２３に出力すると共
に、画像復号器２１で再生される画像を合成器２３に出
力する。FIG. 5 is a block diagram showing an embodiment of a conventional image monitoring system. In FIG. 5, reference numeral 13 denotes a monitoring area side device, which converts an image captured by the monitoring camera 14 into image encoded data by the image encoder 15 and sends the image encoded data from the transmission unit 16 to the transmission path 17. It is configured as follows. Reference numeral 18 denotes a monitoring center side device, which distributes the encoded image data received via the receiving unit 19 to two parts, an image decoder 21 and a moving object detecting unit 22 for obtaining a motion vector, by a distributor 20; The output of the image decoder 21 and the output of the moving object detector 22 are combined by a combiner 23 and displayed on a monitoring monitor 24. The moving object detection unit 22 has a block configuration as shown in FIG. That is, the decoding processing unit 26 decodes the coded image data into the motion vector of each macroblock, detects the moving object to be monitored by the image processing unit 27 from the motion vector therein, Information such as presence / absence, center coordinates, size, direction, shape, etc. is passed to the state change detection unit 28, and compared with the moving object information held in advance, an alarm notifying the observer if there is a state change, and an alarm on the monitor monitor. A state change display signal for displaying an arrow or the like indicating a moving object and moving object information are output to the synthesizer 23, and an image reproduced by the image decoder 21 is output to the synthesizer 23.
【０００４】画像を表示するための画像符号化データに
ついてＭＰＥＧ１を例に簡単に示す。画像を表示する際
の画像符号化データは、通常０．５秒の画像情報を１５
枚程度の画像フレームにまとめ管理されている。即ち、
０．５秒で１５枚の画像フレームを作成する。その１５
枚の画像フレームの構成例は、最初の１枚目がフレーム
内の画像を全て表示できる完結画像符号化データを保持
しており、それ以降の画像データには後述する動きベク
トルを含んでおり、１枚目の完結画像符号化データまた
は適当な周期で挿入されている完結画像符号化データ等
と、それぞれが含む動きベクトルとからモニタ画像を作
出するものである。前記画像フレームには、前記１枚目
の画像フレームのように移動物体の動き予測を用いない
（完結画像符号化データを保持している）符号化画像フ
レーム（Ｉピクチャ）と、現画像フレームに対するひと
つ前のＩピクチャまたはＰピクチャの画像フレームに基
づいて求めた動きベクトルを含む画像フレーム間順方向
予測符号化画像フレーム（以下Pピクチャと記す）と、
現画像フレームに対するひとつ前の画像フレームとひと
つ後のＩピクチャまたはＰピクチャの画像フレームに基
づいて求めた動きベクトルを含む双方向予測符号化画像
フレーム（以下Ｂピクチャと記す）とがある。それぞれ
のピクチャをマクロブロック化すると、Ｉピクチャは完
結符号化データのみであることから、その画像フレーム
内だけのデータで動き予測を用いないで符号化するイン
トラ符号化マクロブロック（以下イントラ・マクロブロ
ックと記す）となる。また、ＰピクチャとＢピクチャに
は、前述イントラ・マクロブロックと後述するインター
符号化マクロブロックの二種類のマクロブロックタイプ
があり、それぞれのピクチャ内に混在し得るものであ
る。Ｐピクチャのインター符号化マクロブロックは、例
えば、現画像フレームを作出するために現画像フレーム
のひとつ前の画像フレームの各々のマクロブロックの動
きベクトルから移動物体の動きを予測した時に、ひとつ
前の画像フレームのあるマクロブロックが現画像フレー
ムの別のマクロブロックで用いることにより簡単に作出
することができると判断されたものである。即ち、左か
ら右に移動している物体を前述した０．５秒を１５枚の
画像フレームを作成すると、１枚目の画像フレームで左
端マクロブロックＡに移動物体が存在している場合、次
の画像フレームでは一枚目の画像フレームで移動物体を
検出したマクロブロックＡに該当する２枚目の画像フレ
ームのマクロブロックの右隣のマクロブロックＢに移動
しているような場合は、１枚目の画像フレームのマクロ
ブロックＡを２枚目の画像フレームのマクロブロックＢ
と同じ画像を表示する時に、マクロブロックＡをマクロ
ブロックＢに移動させた方が新しく画像情報を作出する
より移動させた方が圧縮効率が高いと判断されたもので
ある。また、Ｂピクチャのインター符号化マクロブロッ
クは、前記Ｐピクチャにて現画像フレームのひとつ前の
画像フレームを使用し動きを予測していた箇所を、現画
像フレームのひとつ前の画像フレームと、現画像フレー
ムのひとつ後の画像フレームとを使用し動きを予測する
ものに置き換えたものと同様である。よって、インター
符号化マクロブロックは移動物体の動きを予測し、その
動き予測量動きベクトルで表している。また、イントラ
・マクロブロックはインター符号化マクロブロックと異
なり、移動物体の動きを予測するものではないため、動
きベクトルを持たない。[0004] MPEG1 is briefly described as an example of image coded data for displaying an image. Image encoded data for displaying an image usually includes 0.5 second image information.
They are collectively managed in about image frames. That is,
Create 15 image frames in 0.5 seconds. Part 15
In the configuration example of one image frame, the first image holds complete image encoded data capable of displaying all the images in the frame, and the subsequent image data includes a motion vector described later, A monitor image is created from the first complete encoded image data, the complete encoded image data inserted at an appropriate period, and the like, and the motion vectors included therein. The image frame includes an encoded image frame (I picture) that does not use the motion prediction of the moving object (holds the complete image encoded data) like the first image frame and a current image frame. An inter-frame forward prediction coded image frame (hereinafter, referred to as a P picture) including a motion vector obtained based on the image frame of the immediately preceding I picture or P picture;
There is a bidirectionally predictive coded image frame (hereinafter, referred to as a B picture) including a motion vector obtained based on an image frame immediately before and after the current image frame and an I or P picture image immediately after the current image frame. When each picture is divided into macroblocks, since an I-picture is only complete encoded data, an intra-coded macroblock (hereinafter referred to as an intra-macroblock) which encodes data only within the image frame without using motion prediction. Written). Further, the P picture and the B picture have two types of macroblock types, the above-mentioned intra macroblock and the later-described inter-coded macroblock, which can be mixed in each picture. The inter-coded macroblock of the P picture, for example, when the motion of the moving object is predicted from the motion vector of each macroblock of the previous image frame of the current image frame to create the current image frame, It has been determined that one macroblock of an image frame can be easily created by using it in another macroblock of the current image frame. That is, if the object moving from left to right is created with 15 image frames in the above-described 0.5 second, if the moving object exists in the leftmost macroblock A in the first image frame, In the image frame of the first image frame, when moving to the macro block B on the right of the macro block of the second image frame corresponding to the macro block A in which the moving object is detected in the first image frame, one image Macroblock A of the second image frame is replaced with macroblock B of the second image frame
When the same image is displayed, it has been determined that moving the macroblock A to the macroblock B has higher compression efficiency than moving the macroblock to create new image information. In addition, the inter-coded macroblock of the B picture uses the P picture to predict the motion using the immediately preceding image frame of the current image frame, and replaces the position of the previous image frame of the current image frame with the current image frame. This is the same as the one in which the motion is predicted by using the next image frame after the image frame. Therefore, the inter-coded macroblock predicts the motion of the moving object and represents the motion prediction amount motion vector. Also, unlike an inter-coded macroblock, an intra macroblock does not predict the motion of a moving object, and thus does not have a motion vector.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、従来の
移動物体検出方法及びそのための装置においては、以下
のような欠点があった。例えば、図５に示す監視エリア
側装置１３から送られてきた画像符号化データをマクロ
ブロック化したサンプル画像フレームその２を図７に示
す。また、図７中のイントラ・マクロブロックＩの近傍
を拡大した例を図８に示す。実際は、一つの移動物体を
検出していた状態から図８のような動きベクトルが求め
られた場合、図８中のイントラ・マクロブロックＩ
（Ｘ，Ｙ）の動きベクトルが得られないため、上部と左
下部の二つの移動物体が新たに発見されたものと認識し
てしまう。このように、次の画像フレームではまた１つ
の移動物体として認識されるような動きベクトルが得ら
れる状態が繰り返されると誤認識が生ずる。即ち、状態
変化検出部２８では任意の複数画像フレームについて移
動物体の中心座標，大きさ，形状等を基づき、画像フレ
ーム中の移動物体に連続性がある場合にのみ移動物体の
存在を判断しているため、元々認識していた一つの移動
物体が二つになったり一つになる状態を繰り返すと、認
識していた一つの移動物体を追従できず見失い、移動物
体を見落とすといった誤認識が発生してしまう。要約す
れば、従来の画像フレーム符号化技術では、画像フレー
ムがＰピクチャまたはＢピクチャの場合、全てのマクロ
ブロックが動きベクトルを持っているわけではないた
め、復号処理部２６で画像符号化データからのみでは移
動物体の検出を行う場合は上述したように誤認識を起こ
す。また、伝送路１７を介して画像符号化データを伝送
中の伝送エラーが起こり、監視センタ側１８の復号処理
部２６にて伝送エラーのため画像符号化データを復号す
ることができず、動きベクトルを得ることができないマ
クロブロックが発生する。この場合も前記イントラ・マ
クロブックの動きベクトルが得られない場合と同様に、
移動物体を見失う誤認識を起こしてしまう。本発明は、
監視センタ側装置１８の復号処理部２６にて復号された
情報からイントラ・マクロブロックや伝送エラーマクロ
ブロックを検出したことにより、動ベクトルが求められ
ない場合があっても、動きベクトルの欠損を補充し移動
物体を見失うことを防止したマクロブロック別移動物体
検出方法及び装置を提供することを目的としている。However, the conventional moving object detection method and the conventional apparatus have the following drawbacks. For example, FIG. 7 shows a sample image frame No. 2 in which the image encoded data sent from the monitoring area side device 13 shown in FIG. FIG. 8 shows an example in which the vicinity of the intra macroblock I in FIG. 7 is enlarged. Actually, when a motion vector as shown in FIG. 8 is obtained from a state where one moving object has been detected, the intra macroblock I in FIG.
Since a motion vector of (X, Y) cannot be obtained, it is recognized that two moving objects, the upper and lower left, are newly found. As described above, in the next image frame, erroneous recognition occurs when a state in which a motion vector that can be recognized as one moving object is obtained is repeated. That is, the state change detection unit 28 determines the presence of the moving object only when the moving objects in the image frames have continuity, based on the center coordinates, size, shape, and the like of the moving object for a plurality of arbitrary image frames. Therefore, if the originally recognized moving object becomes two or one repeatedly, the recognized one moving object can not be tracked and loses track, causing false recognition such as overlooking the moving object Resulting in. In summary, according to the conventional image frame coding technique, when an image frame is a P picture or a B picture, not all macroblocks have a motion vector. If only a moving object is detected, erroneous recognition occurs as described above. In addition, a transmission error occurs during transmission of the image coded data via the transmission line 17, and the decoding processing unit 26 of the monitoring center 18 cannot decode the image coded data due to the transmission error. Macroblocks cannot be obtained. Also in this case, as in the case where the motion vector of the intra macrobook cannot be obtained,
Misrecognition of losing a moving object is caused. The present invention
Even if a motion vector cannot be obtained by detecting an intra macroblock or a transmission error macroblock from the information decoded by the decoding processing unit 26 of the monitoring center side device 18, the loss of the motion vector is supplemented. It is an object of the present invention to provide a method and an apparatus for detecting a moving object for each macroblock, which prevent a moving object from being lost.
【０００６】[0006]
【課題を解決するための手段】本発明は、動画像符号化
手段により、所要の画素単位毎にマクロブロック化した
画像符号化データの各マクロブロックの動きベクトルを
利用して、監視画像中の移動物体の存在を検出する方法
において、前記マクロブロックのうち、動きベクトルを
有しないものに対して、動きベクトルを求め補充するこ
とを特徴としている。上記目的を達成するため、請求項
１の発明は前記マクロブロックのうち、動きベクトルを
有しないものに対して、その周辺のマクロブロックの動
きベクトルに基づいて、前記動きベクトルを有しないマ
クロブロックの動きベクトルを求め、補正することを特
徴とする画像監視方法。請求項２の発明は前記マクロブ
ロックのうち、動きベクトルを有しないものに対して、
その周辺のマクロブロックの動きベクトルに基づいて、
前記動きベクトルを有しないマクロブロックの動きベク
トルを求め、補充する手段を備えたことを特徴とする画
像監視装置。請求項３の発明は前記マクロブロックのう
ち、動きベクトルを有しないものに対して、その前後画
像フレームの当該マクロブロックに対応するマクロブロ
ックの動きベクトルに基づいて、動きベクトルを有しな
いマクロブロックの動きベクトルを求め、補充すること
を特徴とする画像監視方法。請求項４の発明は前記マク
ロブロックのうち、動きベクトルを有しないものに対し
て、その前後画像フレームの当該マクロブロックに対応
するマクロブロックの動きベクトルに基づいて、前記動
きベクトルを有しないマクロブロックの動きベクトルを
求め、補充する手段を備えたことを特徴とする画像監視
装置。請求項５の発明は前記マクロブロックのうち、動
きベクトルを有しないものに対して、その周辺のマクロ
ブロックの動きベクトルに基づいて、平滑化フィルタ，
メディアンフィルタ，最大値フィルタ，最小値フィル
タ，最頻値フィルタの少なくともいずれか一つにより、
平均値，中央値，最大値，最小値，最頻値のいずれか一
つを求め、その値を前記動きベクトルを有しないマクロ
ブロックの動きベクトルとして用いる手段を備えたこと
を特徴とする画像監視装置。請求項６の発明は前記マク
ロブロックのうち、動きベクトルを有しないマクロブロ
ックに対して、前記補充する手段がその前後画像フレー
ムのマクロブロックの動きベクトルに基づいて、平均
値，中央値，最大値，最小値，最頻値いづれか一つを、
平滑化フィルタ，メディアンフィルタ，最大値フィル
タ，最小値フィルタ，最頻値フィルタのいづれか一つに
よって求め、その値を動きベクトルを有しないマクロブ
ロックの動きベクトルとして補充するよう構成されたも
のであることを特徴とする画像監視装置。請求項７の発
明は前記マクロブロックのうち、動きベクトルを有しな
いものに該当するその前後画像フレームのマクロブロッ
クの動きベクトルを、前記動きベクトルを有しないマク
ロブロックの動きベクトルとして用いる手段を備えたこ
とを特徴とする画像監視装置。According to the present invention, a moving picture encoding means utilizes a motion vector of each macroblock of picture-encoded data which has been macroblocked for each required pixel unit, and uses a motion vector in a monitoring picture. In the method for detecting the presence of a moving object, a motion vector is obtained and supplemented for a macroblock having no motion vector among the macroblocks. In order to achieve the above object, according to the present invention, the macroblock which does not have a motion vector among the macroblocks is determined based on the motion vectors of the surrounding macroblocks. An image monitoring method, wherein a motion vector is obtained and corrected. According to the invention of claim 2, for the macroblock having no motion vector,
Based on the motion vectors of the surrounding macroblocks,
An image monitoring apparatus comprising: means for obtaining and supplementing a motion vector of a macroblock having no motion vector. According to the invention of claim 3, the macroblock having no motion vector is determined based on the motion vector of the macroblock corresponding to the macroblock of the preceding and succeeding image frames. An image monitoring method, wherein a motion vector is obtained and supplemented. The invention according to claim 4, wherein the macroblock having no motion vector is determined based on the motion vector of the macroblock corresponding to the macroblock in the preceding and succeeding image frames, of the macroblock having no motion vector. An image monitoring apparatus, comprising: means for obtaining and replenishing a motion vector. The invention according to claim 5 is characterized in that, among the macroblocks having no motion vector, a smoothing filter, based on the motion vectors of the surrounding macroblocks,
By at least one of median filter, maximum value filter, minimum value filter, mode filter,
Image monitoring means for obtaining one of an average value, a median value, a maximum value, a minimum value, and a mode value and using the value as a motion vector of a macroblock having no motion vector. apparatus. 7. The invention according to claim 6, wherein, for the macroblock having no motion vector among the macroblocks, the replenishing means calculates an average value, a median value, and a maximum value based on the motion vectors of the macroblocks of the preceding and succeeding image frames. , Minimum value, or mode value,
It is configured to be obtained by any one of a smoothing filter, median filter, maximum value filter, minimum value filter, and mode filter, and to supplement the value as a motion vector of a macroblock having no motion vector. An image monitoring device characterized by the above-mentioned. The invention according to claim 7 includes means for using, as the motion vector of the macroblock having no motion vector, the motion vector of the macroblock of the preceding or succeeding image frame corresponding to the macroblock having no motion vector among the macroblocks. An image monitoring apparatus, comprising:
【０００７】[0007]
【発明の実施の形態】以下、添付図面に基づいて本発明
の一実施例を詳細に説明する。図１は本発明の一実施例
のブロック図であって、図６に示した従来の移動物体検
出部２５との相違点は、その復号処理部２６と画像処理
部２７との間に動きベクトル補充処理部３を加えたもの
である。動きベクトル補充処理部３では、復号処理部２
より送られた画像フレームの動きベクトル情報により図
２に示すフローチャートの処理を行う。まず、画像フレ
ーム内の全てのマクロブックに対して、イントラ・マク
ロブロックまたは伝送エラーマクロブロックが存在する
か否かを走査（ＳＴ１）して検出（ＳＴ２）し、イント
ラ・マクロブロックまたは伝送エラーマクロブックの存
在を検出した場合、近傍マクロブロック等に基づきフィ
ルタを用いて以下説明する値を求め、イントラ・マクロ
ブロックまたは伝送エラーマクロブロックの動きベクト
ルとして用いる（ＳＴ３）処理を行うものである。イン
トラ・マクロブロックまたは伝送エラーマクロブロック
が検出できなかった場合は、そのまま画像処理部４によ
る処理を継続する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is a block diagram of an embodiment of the present invention. The difference from the conventional moving object detecting unit 25 shown in FIG. 6 is that a motion vector is provided between a decoding processing unit 26 and an image processing unit 27. The replenishment processing unit 3 is added. In the motion vector supplement processing section 3, the decoding processing section 2
The processing in the flowchart shown in FIG. First, scanning is performed (ST1) to detect (ST2) whether or not an intra macroblock or a transmission error macroblock exists for all macrobooks in an image frame, and the intra macroblock or the transmission error macroblock is detected. When the presence of a book is detected, a value to be described below is obtained using a filter based on neighboring macroblocks and the like, and processing (ST3) is used which is used as a motion vector of an intra macroblock or a transmission error macroblock. If no intra macroblock or transmission error macroblock is detected, the processing by the image processing unit 4 is continued as it is.
【０００８】第一の形態例は、図７に示すサンプル画像
フレームその２で各々のマクロブロックを走査し、図８
中３０のイントラ・マクロブロックＩ（Ｘ，Ｙ）を検出
した場合、そのイントラ・マクロブロックＩ（Ｘ，Ｙ）
の近傍マクロブロックＩ（Ｘ−１，Ｙ−１），Ｉ（Ｘ−
１，Ｙ），Ｉ（Ｘ−１，Ｙ＋１），Ｉ（Ｘ，Ｙ−１），
Ｉ（Ｘ，Ｙ＋１），Ｉ（Ｘ＋１，Ｙ−１），Ｉ（Ｘ＋
１，Ｙ），Ｉ（Ｘ＋１，Ｙ＋１）の８ヶ所について平滑
化フィルタにより平均値を求め、その平均値を３０のイ
ントラ・マクロブロックＩ（Ｘ，Ｙ）の動きベクトルと
して用いることにより動きベクトルの欠損を補充する。
図３中の６が動きベクトル補充処理部３によって補充さ
れた動きベクトルであり、この処理を全マクロブロック
対して実施する。本発明は上記実施例に限らず、様々な
変形が可能である。例えば、平滑化フィルタによる平均
値の代わりにメディアンフィルタによる中央値，最大値
フィルタによる最大値，最小値フィルタによる最小値，
最頻値フィルタによる最頻値のいずれかを使用し、イン
トラ・マクロブロックの動きベクトルとして用いること
もできる。In the first embodiment, each macro block is scanned by the sample image frame 2 shown in FIG.
When the middle 30 intra macroblock I (X, Y) is detected, the intra macroblock I (X, Y) is detected.
Macroblocks I (X-1, Y-1) and I (X-
1, Y), I (X-1, Y + 1), I (X, Y-1),
I (X, Y + 1), I (X + 1, Y-1), I (X +
1, Y) and I (X + 1, Y + 1) are averaged by a smoothing filter, and the average is used as a motion vector of 30 intra macroblocks I (X, Y) to obtain a motion vector. Fill in the defect.
Reference numeral 6 in FIG. 3 denotes a motion vector supplemented by the motion vector supplement processing unit 3, and this process is performed on all macroblocks. The present invention is not limited to the above embodiment, and various modifications are possible. For example, instead of the average value by the smoothing filter, the median value by the median filter, the maximum value by the maximum value filter, the minimum value by the minimum value filter,
Any one of the mode values obtained by the mode filter can be used and used as a motion vector of an intra macroblock.
【０００９】第二の形態例は、図４に示すサンプル画像
フレームその１の現画像フレーム拡大部９において第一
の形態例と同様に１０のイントラ・マクロブロックＩ
（Ｘ，Ｙ）を検出した際に、前画像フレーム拡大部７中
８のマクロブックＩ（Ｘ，Ｙ）を含めた近傍マクロブロ
ックと、後画像フレーム拡大部１１中１２のマクロブッ
クＩ（Ｘ，Ｙ）を含めた近傍マクロブロックと現画像フ
レーム拡大部９中１０のイントラ・マクロブロックＩ
（Ｘ，Ｙ）の近傍マクロブロック全てから、平滑化フィ
ルタにより平均値を求め、その平均値を現画像フレーム
拡大部９中１０のイントラ・マクロブロックＩ（Ｘ，
Ｙ）の動きベクトルとして欠損を補充する。この処理を
全マクロブロックに対して実施する。この際に、平滑化
フィルタによる平均値の代わりにメディアンフィルタに
よる中央値，最大値フィルタによる最大値，最小値フィ
ルタによる最小値，最頻値フィルタによる最頻値等を使
用し、イントラ・マクロブロックの動きベクトルとして
用いることもできる。In the second embodiment, ten intra macroblocks I are used in the current image frame enlarging section 9 of the first sample image frame shown in FIG.
When (X, Y) is detected, the neighboring macroblocks including the macrobook I (X, Y) of the previous image frame enlarging unit 8 and the macrobook I (X , Y) and the intra macroblock I of the current image frame enlarging unit 10
An average value is obtained from all the neighboring macroblocks of (X, Y) by a smoothing filter, and the average value is used as the intra macroblock I (X,
The defect is supplemented as the motion vector of Y). This process is performed on all macro blocks. At this time, instead of the average value by the smoothing filter, the median filter uses the median filter, the maximum value by the maximum value filter, the minimum value by the minimum value filter, the mode by the mode filter, and the like. Can be used as a motion vector.
【００１０】第三の形態例は、図４に示すサンプル画像
フレームその１の現画像フレーム拡大部９中１０のイン
トラ・マクロブロックＩ（Ｘ，Ｙ）を検出した際、時間
的に隣接した前画像フレーム拡大部７中８のマクロブロ
ックＩ（Ｘ，Ｙ）の動きベクトルまたは後画像フレーム
拡大部１１中１２のマクロブロックＩ（Ｘ，Ｙ）の動き
ベクトルが現画像フレーム拡大部９中１０の動きベクト
ルと類似するものが多いことを利用して、前画像フレー
ム拡大部７中８のマクロブロックＩ（Ｘ，Ｙ）の動きベ
クトルまたは後画像フレーム拡大部１１中１２のマクロ
ブロックＩ（Ｘ，Ｙ）の動きベクトルをそのまま現画像
フレーム拡大部９中１０の動きベクトルとして用いるこ
ともできる。また、上記全ての形態例のイントラ・マク
ロブロックを伝送エラーマクロブロックと置き換えて
も、同様に処理可能である。In the third embodiment, when an intra macroblock I (X, Y) in the current image frame enlarging unit 10 of the sample image frame 1 shown in FIG. The motion vector of the macro block I (X, Y) in the image frame enlargement unit 8 or the motion vector of the macro block I (X, Y) in the subsequent image frame enlargement unit 12 Utilizing the fact that there are many similar motion vectors, the motion vector of the macroblock I (X, Y) in the previous image frame enlarging unit 8 or the macroblock I (X, X, The motion vector of Y) can be used as it is as the motion vector of the current image frame enlarging unit 9. In addition, the same processing can be performed even if the intra macroblocks in all the above-described embodiments are replaced with transmission error macroblocks.
【００１１】[0011]
【発明の効果】本発明は以上説明したように、所要画素
単位毎にマクロブロック化した画像符号化データの各マ
クロブロックの動きベクトルを利用して、動きベクトル
の一塊を移動物体として検出する際、該移動物体のマク
ロブロック中の動きベクトルを有しないものに対し、そ
の周辺のマクロブロックの動きベクトルに基づいて動き
ベクトルを類推作出することによって補充するようにし
たので、動きベクトルが求められないイントラ・マクロ
ブロックまたは伝送エラーマクロブロックが存在する場
合であっても移動物体を見失うことを防止し、常に正し
い移動物体の検出が可能となる。As described above, according to the present invention, when a block of motion vectors is detected as a moving object using a motion vector of each macroblock of the image coded data macroblocked for each required pixel unit. Since a motion vector in a macro block of the moving object which does not have a motion vector is supplemented by estimating a motion vector based on motion vectors of surrounding macro blocks, a motion vector is not obtained. Even if there is an intra macroblock or a transmission error macroblock, it is possible to prevent a moving object from being lost and to always detect a correct moving object.
【図１】本発明に関わる移動物体検出装置の主要部のブ
ロック構成図。FIG. 1 is a block diagram of a main part of a moving object detection device according to the present invention.
【図２】本発明に関わる動きベクトル補充処理部の処理
フローチャート図。FIG. 2 is a processing flowchart of a motion vector supplement processing unit according to the present invention.
【図３】本発明に関わる動きベクトル補充処理部により
求められた動きベクトル図。FIG. 3 is a motion vector diagram obtained by a motion vector supplement processing unit according to the present invention.
【図４】サンプル画像フレーム図その１。FIG. 4 is a first sample image frame diagram.
【図５】従来の遠隔監視システムブロック図。FIG. 5 is a block diagram of a conventional remote monitoring system.
【図６】従来の移動物体検出部のブロック構成図。FIG. 6 is a block diagram of a conventional moving object detection unit.
【図７】サンプル画像フレーム図その２。FIG. 7 is a sample image frame diagram No. 2;
【図８】イントラ・マクロブロックＩ（Ｘ，Ｙ）近傍の
画像フレーム拡大図。FIG. 8 is an enlarged view of an image frame near an intra macroblock I (X, Y).
１，２２，２５・・・移動物体検出部 ２，２６・・・復号処理部 ３・・・動きベクトル補充処理部 ４，２７・・・画像処理部 ５，２８・・・状態変化検出部 ６・・・動きベクトル補充処理部によって補充された動
きベクトル ７・・・前画像フレーム拡大部 ８・・・前画像フレームのマクロブロックＩ（Ｘ，Ｙ） ９・・・現画像フレーム拡大部 １０・・・現画像フレームのイントラ・マクロブロック
Ｉ（Ｘ，Ｙ） １１・・・後画像フレーム拡大部 １２・・・後画像フレームのマクロブロックＩ（Ｘ，
Ｙ） １３・・・監視エリア １４・・・監視カメラ １５・・・画像符号化器 １６・・・送信部 １７・・・伝送路 １８・・・監視センタ １９・・・受信部 ２０・・・分配器 ２１・・・画像復号器 ２３・・・合成器 ２４・・・監視モニタ ２９・・・動きベクトル ３０・・・イントラ・マクロブロック1, 22, 25: Moving object detection unit 2, 26: Decoding processing unit 3: Motion vector supplement processing unit 4, 27: Image processing unit 5, 28: State change detection unit 6 ··· Motion vector supplemented by the motion vector supplement processing unit 7 ··· Previous image frame enlargement unit 8 ··· Macroblock I (X, Y) of previous image frame 9 ··· Current image frame enlargement unit 10 ··· Intra-macroblock I (X, Y) of current image frame 11 ··· Enlarged section of subsequent image frame 12 ··· Macroblock I (X, Y
Y) 13 monitoring area 14 monitoring camera 15 image encoder 16 transmission unit 17 transmission path 18 monitoring center 19 reception unit 20 Distributor 21 ... Image decoder 23 ... Synthesizer 24 ... Monitoring monitor 29 ... Motion vector 30 ... Intra macroblock
─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成１０年４月９日[Submission date] April 9, 1998
【手続補正２】[Procedure amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】全文[Correction target item name] Full text
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【書類名】 明細書[Document Name] Statement
【発明の名称】 マクロブロック別移動物体検出方
法及び装置Patent application title: Method and apparatus for detecting a moving object for each macroblock
【特許請求の範囲】[Claims]
【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【０００１】[0001]
【説明の属する技術分野】本発明は、画像を用いた画像
監視に関し、詳しくは画像符号化された画像符号化デー
タから移動物体の検出を行う画像監視方法及び装置に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to image monitoring using images, and more particularly to an image monitoring method and apparatus for detecting a moving object from image-encoded image data.
【０００２】[0002]
【従来の技術】従来、監視カメラを用いて防犯や防災等
の監視を行うには、監視センタに監視員が常駐し、監視
モニタを四六時中チェックしていなければならないので
監視員の負担が大きかった。このため、移動物体の自動
検出が行われるようになった。移動物体を検出するに
は、連続した画像フレーム（画面）を比較し、差異が生
じている箇所に移動物体が存在していると認識するもの
である。そうするための手段としては、例えば、国際標
準のＭＰＥＧを例に示すと、画像フレームを１６×１６
画素単位の縦１５×横２２にマクロブロック分割し、前
画像フレームと現画像フレームそれぞれにおける各々の
画像を比較し、両者の差異に基づいて動きベクトルを求
めるものである。例えば図７に示す例は、画像フレーム
をマクロブロック化したものであり、画像フレーム中央
部に示す矢印は動きベクトルの大きさと方向を示し、そ
の周辺の空白部分は前画像フレームと比較の結果、差異
がないため動きベクトルが発生していないことを示して
いる。即ち、このように前画像フレームと現画像フレー
ムの画像におけるデータを比較し、差異のあるマクロブ
ロックの一塊を移動物体として検知するものである。
尚、画像フレームのマクロブロックに基づき動きベクト
ルを求める方法は、日経ＢＰ出版センター発行「ディジ
タル画像圧縮の基礎」（著者 安田浩，渡辺裕）に詳し
く開示されているので、その説明はここでは省略する。
このように監視カメラにより自動的に移動物体を検出す
る手段を用いて、遠隔監視システムで移動物体を検出し
た際、警報等により監視員に知らせれば、これに基づい
て監視員が監視モニタ上に表示された画像を見て容易に
不審者等の進入の有無の確認ができるようになり、監視
員の負担が大幅に軽減される。2. Description of the Related Art Conventionally, in order to monitor crime prevention and disaster prevention using a surveillance camera, a surveillance staff must be stationed at a surveillance center and check the surveillance monitors all the time. Was big. For this reason, automatic detection of a moving object has come to be performed. In order to detect a moving object, successive image frames (screens) are compared, and it is recognized that the moving object exists at a place where a difference occurs. As a means for doing so, for example, if an international standard MPEG is shown as an example, an image frame is 16 × 16
The macroblock is divided into 15 × 22 pixels in pixel units, the respective images in the previous image frame and the current image frame are compared, and a motion vector is obtained based on the difference between the two. For example, the example shown in FIG. 7 is a macroblock of an image frame. The arrow at the center of the image frame indicates the magnitude and direction of the motion vector, and the blank portion around the frame indicates the result of comparison with the previous image frame. Since there is no difference, no motion vector is generated. That is, the data in the image of the previous image frame and the data in the image of the current image frame are compared in this way, and a block of the macro block having a difference is detected as a moving object.
The method of obtaining a motion vector based on a macroblock of an image frame is disclosed in detail in "Basics of Digital Image Compression" (author Hiroshi Yasuda, Hiroshi Watanabe) published by Nikkei BP Publishing Center, and the description is omitted here. I do.
When the remote monitoring system detects a moving object using the means for automatically detecting the moving object by the surveillance camera in this way, if the warning is notified to the surveillance staff, the surveillance staff will be notified on the surveillance monitor based on this. , It is possible to easily confirm whether a suspicious person or the like has entered, by looking at the image displayed on the screen, and the burden on the observer can be greatly reduced.
【０００３】図５は従来の画像監視システムの形態例を
示すブロック図である。図５において１３は監視エリア
側装置であって、監視カメラ１４で撮影した画像を、画
像符号化器１５で画像符号化データとし、その画像符号
化データを送信部１６から伝送路１７に送出するように
構成されたものである。１８は監視センタ側装置であっ
て、受信部１９を介して受信した画像符号化データを分
配器２０により画像復号器２１と動きベクトルを求める
移動物体検出部２２の二つに分配すると共に、前記画像
復号器２１と移動物体検出部２２の出力を合成器２３で
合成し、監視モニタ２４に表示するよう構成されたもの
である。移動物体検出部２２は、図６に示すようなブロ
ック構成となる。即ち、復号処理部２６で画像符号化デ
ータから各々のマクロブロックの動きベクトルに復号
し、その中の動きベクトルから画像処理部２７で監視対
象の移動物体の検出を行い、監視対象の移動物体の有無
と中心座標，大きさ，方向，形状等の情報を状態変化検
出部２８に渡し、予め保持していた移動物体情報と比較
して状態変化があれば監視者に知らせる警報と監視モニ
タ上の移動物体を示す矢印等を表示するための状態変化
表示信号及び移動物体情報を合成器２３に出力すると共
に、画像復号器２１で再生される画像を合成器２３に出
力する。FIG. 5 is a block diagram showing an embodiment of a conventional image monitoring system. In FIG. 5, reference numeral 13 denotes a monitoring area side device, which converts an image captured by the monitoring camera 14 into image encoded data by the image encoder 15 and sends the image encoded data from the transmission unit 16 to the transmission path 17. It is configured as follows. Reference numeral 18 denotes a monitoring center side device, which distributes the encoded image data received via the receiving unit 19 to two parts, an image decoder 21 and a moving object detecting unit 22 for obtaining a motion vector, by a distributor 20; The output of the image decoder 21 and the output of the moving object detector 22 are combined by a combiner 23 and displayed on a monitoring monitor 24. The moving object detection unit 22 has a block configuration as shown in FIG. That is, the decoding processing unit 26 decodes the coded image data into the motion vector of each macroblock, detects the moving object to be monitored by the image processing unit 27 from the motion vector therein, Information such as presence / absence, center coordinates, size, direction, shape, etc. is passed to the state change detection unit 28, and compared with the moving object information held in advance, an alarm notifying the observer if there is a state change, and an alarm on the monitor monitor. A state change display signal for displaying an arrow or the like indicating a moving object and moving object information are output to the synthesizer 23, and an image reproduced by the image decoder 21 is output to the synthesizer 23.
【０００４】画像を表示するための画像符号化データに
ついてＭＰＥＧ１を例に簡単に示す。画像を表示する際
の画像符号化データは、通常０．５秒の画像情報を１５
枚程度の画像フレームにまとめ管理されている。即ち、
０．５秒で１５枚の画像フレームを作成する。その１５
枚の画像フレームの構成例は、最初の１枚目がフレーム
内の画像を全て表示できる完結画像符号化データを保持
しており、それ以降の画像データには後述する動きベク
トルを含んでおり、１枚目の完結画像符号化データまた
は適当な周期で挿入されている完結画像符号化データ等
と、それぞれが含む動きベクトルとからモニタ画像を作
出するものである。前記画像フレームには、前記１枚目
の画像フレームのように移動物体の動き予測を用いない
（完結画像符号化データを保持している）符号化画像フ
レーム（Ｉピクチャ）と、現画像フレームに対するひと
つ前のＩピクチャまたはＰピクチャの画像フレームに基
づいて求めた動きベクトルを含む画像フレーム間順方向
予測符号化画像フレーム（以下Ｐピクチャと記す）と、
現画像フレームに対するひとつ前の画像フレームとひと
つ後のＩピクチャまたはＰピクチャの画像フレームに基
づいて求めた動きベクトルを含む双方向予測符号化画像
フレーム（以下Ｂピクチャと記す）とがある。それぞれ
のピクチャをマクロブロック化すると、Ｉピクチャは完
結符号化データのみであることから、その画像フレーム
内だけのデータで動き予測を用いないで符号化するイン
トラ符号化マクロブロック（以下イントラ・マクロブロ
ックと記す）となる。また、ＰピクチャとＢピクチャに
は、前述イントラ・マクロブロックと後述するインター
符号化マクロブロックの二種類のマクロブロックタイプ
があり、それぞれのピクチャ内に混在し得るものであ
る。Ｐピクチャのインター符号化マクロブロックは、例
えば、現画像フレームを作出するために現画像フレーム
のひとつ前の画像フレームの各々のマクロブロックの動
きベクトルから移動物体の動きを予測した時に、ひとつ
前の画像フレームのあるマクロブロックが現画像フレー
ムの別のマクロブロックで用いることにより簡単に作出
することができると判断されたものである。即ち、左か
ら右に移動している物体を前述した０．５秒を１５枚の
画像フレームを作成すると、１枚目の画像フレームで左
端マクロブロックＡに移動物体が存在している場合、次
の画像フレームでは一枚目の画像フレームで移動物体を
検出したマクロブロックＡに該当する２枚目の画像フレ
ームのマクロブロックの右隣のマクロブロックＢに移動
しているような場合は、１枚目の画像フレームのマクロ
ブロックＡを２枚目の画像フレームのマクロブロックＢ
と同じ画像を表示する時に、マクロブロックＡをマクロ
ブロックＢに移動させた方が新しく画像情報を作出する
より移動させた方が圧縮効率が高いと判断されたもので
ある。また、Ｂピクチャのインター符号化マクロブロッ
クは、前記Ｐピクチャにて現画像フレームのひとつ前の
画像フレームを使用し動きを予測していた箇所を、現画
像フレームのひとつ前の画像フレームと、現画像フレー
ムのひとつ後の画像フレームとを使用し動きを予測する
ものに置き換えたものと同様である。よって、インター
符号化マクロブロックは移動物体の動きを予測し、その
動き予測量を動きベクトルで表している。また、イント
ラ・マクロブロックはインター符号化マクロブロックと
異なり、移動物体の動きを予測するものではないため、
動きベクトルを持たない。[0004] MPEG1 is briefly described as an example of image coded data for displaying an image. Image encoded data for displaying an image usually includes 0.5 second image information.
They are collectively managed in about image frames. That is,
Create 15 image frames in 0.5 seconds. Part 15
In the configuration example of one image frame, the first image holds complete image encoded data capable of displaying all the images in the frame, and the subsequent image data includes a motion vector described later, A monitor image is created from the first complete encoded image data, the complete encoded image data inserted at an appropriate period, and the like, and the motion vectors included therein. The image frame includes an encoded image frame (I picture) that does not use the motion prediction of the moving object (holds the complete image encoded data) like the first image frame and a current image frame. An inter-frame forward prediction coded image frame (hereinafter referred to as a P picture) including a motion vector obtained based on the image frame of the immediately preceding I picture or P picture;
There is a bidirectionally predictive coded image frame (hereinafter, referred to as a B picture) including a motion vector obtained based on an image frame immediately before and after the current image frame and an I or P picture image immediately after the current image frame. When each picture is divided into macroblocks, since an I-picture is only complete encoded data, an intra-coded macroblock (hereinafter referred to as an intra-macroblock) which encodes data only within the image frame without using motion prediction. Written). Further, the P picture and the B picture have two types of macroblock types, the above-mentioned intra macroblock and the later-described inter-coded macroblock, which can be mixed in each picture. The inter-coded macroblock of the P picture, for example, when the motion of the moving object is predicted from the motion vector of each macroblock of the previous image frame of the current image frame to create the current image frame, It has been determined that one macroblock of an image frame can be easily created by using it in another macroblock of the current image frame. That is, if the object moving from left to right is created with 15 image frames in the above-described 0.5 second, if the moving object exists in the leftmost macroblock A in the first image frame, In the image frame of the first image frame, when moving to the macro block B on the right of the macro block of the second image frame corresponding to the macro block A in which the moving object is detected in the first image frame, one image Macroblock A of the second image frame is replaced with macroblock B of the second image frame
When the same image is displayed, it has been determined that moving the macroblock A to the macroblock B has higher compression efficiency than moving the macroblock to create new image information. In addition, the inter-coded macroblock of the B picture uses the P picture to predict the motion using the immediately preceding image frame of the current image frame, and replaces the position of the previous image frame of the current image frame with the current image frame. This is the same as the one in which the motion is predicted by using the next image frame after the image frame. Therefore, the inter-coded macroblock predicts the motion of a moving object, and the motion prediction amount is represented by a motion vector. Also, since intra macroblocks are different from inter-coded macroblocks and do not predict the motion of a moving object,
No motion vector.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、従来の
移動物体検出方法及びそのための装置においては、以下
のような欠点があった。例えば、図５に示す監視エリア
側装置１３から送られてきた画像符号化データをマクロ
ブロック化したサンプル画像フレームその２を図７に示
す。尚、同図においてａはサンプル画像フレームのその
２の全体を示すものであり、ｂはそのイントラ・マクロ
ブロックＩの近傍を拡大したものである。実際は、一つ
の移動物体を検出していた状態からｂの矢印で示すよう
な動きベクトルが求められた場合、イントラ・マクロブ
ロックＩ（Ｘ，Ｙ）の動きベクトルが得られないため、
上部と左下部の二つの移動物体が新たに発見されたもの
と認識してしまう。このように、次の画像フレームでは
また１つの移動物体として認識されるような動きベクト
ルが得られる状態が繰り返されると誤認識が生ずる。即
ち、状態変化検出部２８では任意の複数画像フレームに
ついて移動物体の中心座標，大きさ，形状等を基づき、
画像フレーム中の移動物体に連続性がある場合にのみ移
動物体の存在を判断しているため、元々認識していた一
つの移動物体が二つになったり一つになる状態を繰り返
すと、認識していた一つの移動物体を追従できず見失
い、移動物体を見落とすといった誤認識が発生してしま
う。要約すれば、従来の画像フレーム符号化技術では、
画像フレームがＰピクチャまたはＢピクチャの場合、全
てのマクロブロックが動きベクトルを持っているわけで
はないため、復号処理部２６で画像符号化データからの
みでは移動物体の検出を行う場合は上述したように誤認
識を起こす。また、伝送路１７を介して画像符号化デー
タを伝送中の伝送エラーが起こり、監視センタ側１８の
復号処理部２６にて伝送エラーのため画像符号化データ
を復号することができず、動きベクトルを得ることがで
きないマクロブロックが発生する。この場合も前記イン
トラ・マクロブックの動きベクトルが得られない場合と
同様に、移動物体を見失う誤認識を起こしてしまう。本
発明は、監視センタ側装置１８の復号処理部２６にて復
号された情報からイントラ・マクロブロックや伝送エラ
ーマクロブロックを検出したことにより、動きベクトル
が求められない場合があっても、動きベクトルの欠損を
補充し移動物体を見失うことを防止したマクロブロック
別移動物体検出方法及び装置を提供することを目的とし
ている。However, the conventional moving object detection method and the conventional apparatus have the following drawbacks. For example, FIG. 7 shows a sample image frame No. 2 in which the image encoded data sent from the monitoring area side device 13 shown in FIG. In the figure, a is that of the sample image frame.
2 indicates the whole of the macro, and b is its intra macro
The vicinity of the block I is enlarged. In fact, one
As shown by the arrow b from the state where the moving object was detected
If a strong motion vector is found,
Since the motion vector of the lock I (X, Y) cannot be obtained,
The two moving objects, upper and lower left, are recognized as newly discovered. As described above, in the next image frame, erroneous recognition occurs when a state in which a motion vector that can be recognized as one moving object is obtained is repeated. That is, the state change detection unit 28 determines the center coordinates, size, shape, and the like of the moving object with respect to an arbitrary plurality of image frames,
Since the existence of a moving object is determined only when the moving object in the image frame has continuity, if the state where one moving object originally recognized becomes two or one is repeated, One lost moving object cannot be tracked and is lost, resulting in erroneous recognition that the moving object is overlooked. In summary, with conventional image frame coding techniques,
When the image frame is a P picture or a B picture, not all macroblocks have a motion vector. Therefore, when a moving object is detected by the decoding processing unit 26 only from image encoded data as described above. Cause misrecognition. In addition, a transmission error occurs during transmission of the image coded data via the transmission line 17, and the decoding processing unit 26 of the monitoring center 18 cannot decode the image coded data due to the transmission error. Macroblocks cannot be obtained. In this case, as in the case where the motion vector of the intra macrobook cannot be obtained, erroneous recognition of losing a moving object occurs. According to the present invention, even if a motion vector cannot be obtained due to detection of an intra macroblock or a transmission error macroblock from information decoded by the decoding processing unit 26 of the monitoring center side device 18, the motion vector It is an object of the present invention to provide a moving object detection method and apparatus for each macro block, which compensate for the loss of the moving object and prevent the moving object from being lost.
【０００６】[0006]
【課題を解決するための手段】本発明は、動画像符号化
手段により、所要の画素単位毎にマクロブロック化した
画像符号化データの各マクロブロックの動きベクトルを
利用して、監視画像中の移動物体の存在を検出する方法
において、前記マクロブロックのうち、動きベクトルを
有しないものに対して、動きベクトルを求め補充するこ
とを特徴としている。上記目的を達成するため、請求項
１の発明は前記マクロブロックのうち、動きベクトルを
有しないものに対して、その周辺のマクロブロツクの動
きベクトルに基づいて、前記動きベクトルを有しないマ
クロブロックの動きベクトルを求め、補正することを特
徴とする画像監視方法。請求項２の発明は前記マクロブ
ロックのうち、動きベクトルを有しないものに対して、
その周辺のマクロブロックの動きベクトルに基づいて、
前記動きベクトルを有しないマクロブロックの動きベク
トルを求め、補充する手段を備えたことを特徴とする画
像監視装置。請求項３の発明は前記マクロブロックのう
ち、動きベクトルを有しないものに対して、その前後画
像フレームの当該マクロブロックに対応するマクロブロ
ックの動きベクトルに基づいて、動きベクトルを有しな
いマクロブロックの動きベクトルを求め、補充すること
を特徴とする画像監視方法。請求項４の発明は前記マク
ロブロックのうち、動きベクトルを有しないものに対し
て、その前後画像フレームの当該マクロブロックに対応
するマクロブロックの動きベクトルに基づいて、前記動
きベクトルを有しないマクロブロックの動きベクトルを
求め、補充する手段を備えたことを特徴とする画像監視
装置。請求項５の発明は前記マクロブロックのうち、動
きベクトルを有しないものに対して、その周辺のマクロ
ブロックの動きベクトルに基づいて、平滑化フィルタ，
メディアンフィルタ，最大値フィルタ，最小値フィル
タ，最頻値フィルタの少なくともいずれか一つにより、
平均値，中央値，最大値，最小値，最頻値のいずれか一
つを求め、その値を前記動きベクトルを有しないマクロ
ブロックの動きベクトルとして用いる手段を備えたこと
を特徴とする画像監視装置。請求項６の発明は前記マク
ロブロックのうち、動きベクトルを有しないマクロブロ
ックに対して、前記補充する手段がその前後画像フレー
ムのマクロブロックの動きベクトルに基づいて、平均
値，中央値，最大値，最小値，最頻値いづれか一つを、
平滑化フィルタ，メディアンフィルタ，最大値フィル
タ，最小値フィルタ，最頻値フィルタのいづれか一つに
よって求め、その値を動きベクトルを有しないマクロブ
ロックの動きベクトルとして補充するよう構成されたも
のであることを特徴とする画像監視装置。請求項７の発
明は前記マクロブロックのうち、動きベクトルを有しな
いものに該当するその前後画像フレームのマクロブロッ
クの動きベクトルを、前記動きベクトルを有しないマク
ロブロックの動きベクトルとして用いる手段を備えたこ
とを特徴とする画像監視装置。According to the present invention, a moving picture encoding means utilizes a motion vector of each macroblock of picture-encoded data which has been macroblocked for each required pixel unit, and uses a motion vector in a monitoring picture. In the method for detecting the presence of a moving object, a motion vector is obtained and supplemented for a macroblock having no motion vector among the macroblocks. In order to achieve the above object, according to the first aspect of the present invention, among the macroblocks having no motion vector, the macroblocks having no motion vector are determined based on the motion vectors of the surrounding macroblocks. An image monitoring method, wherein a motion vector is obtained and corrected. According to the invention of claim 2, for the macroblock having no motion vector,
Based on the motion vectors of the surrounding macroblocks,
An image monitoring apparatus comprising: means for obtaining and supplementing a motion vector of a macroblock having no motion vector. According to the invention of claim 3, the macroblock having no motion vector is determined based on the motion vector of the macroblock corresponding to the macroblock of the preceding and succeeding image frames. An image monitoring method, wherein a motion vector is obtained and supplemented. The invention according to claim 4, wherein the macroblock having no motion vector is determined based on the motion vector of the macroblock corresponding to the macroblock in the preceding and succeeding image frames, of the macroblock having no motion vector. An image monitoring apparatus, comprising: means for obtaining and replenishing a motion vector. The invention according to claim 5 is characterized in that, among the macroblocks having no motion vector, a smoothing filter, based on the motion vectors of the surrounding macroblocks,
By at least one of median filter, maximum value filter, minimum value filter, mode filter,
Image monitoring means for obtaining one of an average value, a median value, a maximum value, a minimum value, and a mode value and using the value as a motion vector of a macroblock having no motion vector. apparatus. 7. The invention according to claim 6, wherein, for the macroblock having no motion vector among the macroblocks, the replenishing means calculates an average value, a median value, and a maximum value based on the motion vectors of the macroblocks of the preceding and succeeding image frames. , Minimum value, or mode value,
It is configured to be obtained by any one of a smoothing filter, median filter, maximum value filter, minimum value filter, and mode filter, and to supplement the value as a motion vector of a macroblock having no motion vector. An image monitoring device characterized by the above-mentioned. The invention according to claim 7 includes means for using, as the motion vector of the macroblock having no motion vector, the motion vector of the macroblock of the preceding or succeeding image frame corresponding to the macroblock having no motion vector among the macroblocks. An image monitoring apparatus, comprising:
【０００７】[0007]
【発明の実施の形態】以下、添付図面に基づいて本発明
の一実施例を詳細に説明する。図１は本発明の一実施例
のブロック図であって、図６に示した従来の移動物体検
出部２５との相違点は、その復号処理部２６と画像処理
部２７との間に動きベクトル補充処理部３を加えたもの
である。動きベクトル補充処理部３では、復号処理部２
より送られた画像フレームの動きベクトル情報により図
２に示すフローチャートの処理を行う。まず、画像フレ
ーム内の全てのマクロブックに対して、イントラ・マク
ロブロックまたは伝送エラーマクロブロックが存在する
か否かを走査（ＳＴ１）して検出（ＳＴ２）し、イント
ラ・マクロブロックまたは伝送エラーマクロブックの存
在を検出した場合、近傍マクロブロック等に基づきフィ
ルタを用いて以下説明する値を求め、イントラ・マクロ
ブロックまたは伝送エラーマクロブロックの動きベクト
ルとして用いる（ＳＴ３）処理を行うものである。イン
トラ・マクロブロックまたは伝送エラーマクロブロック
が検出できなかった場合は、そのまま画像処理部４によ
る処理を継続する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is a block diagram of an embodiment of the present invention. The difference from the conventional moving object detecting unit 25 shown in FIG. 6 is that a motion vector is provided between a decoding processing unit 26 and an image processing unit 27. The replenishment processing unit 3 is added. In the motion vector supplement processing section 3, the decoding processing section 2
The processing in the flowchart shown in FIG. First, scanning is performed (ST1) to detect (ST2) whether or not an intra macroblock or a transmission error macroblock exists for all macrobooks in an image frame, and the intra macroblock or the transmission error macroblock is detected. When the presence of a book is detected, a value to be described below is obtained using a filter based on neighboring macroblocks and the like, and processing (ST3) is used which is used as a motion vector of an intra macroblock or a transmission error macroblock. If no intra macroblock or transmission error macroblock is detected, the processing by the image processing unit 4 is continued as it is.
【０００８】第一の形態例は、図７に示すサンプル画像
フレームその２で各々のマクロブロツクを走査し、３０
のイントラ・マクロブロックＩ（Ｘ，Ｙ）を検出した場
合、そのイントラ・マクロブロックＩ（Ｘ，Ｙ）の近傍
マクロブロックＩ（Ｘ−１，Ｙ−１），Ｉ（Ｘ−１，
Ｙ），Ｉ（Ｘ−１，Ｙ＋１），Ｉ（Ｘ，Ｙ−１），Ｉ
（Ｘ，Ｙ＋１），Ｉ（Ｘ＋１，Ｙ−１），Ｉ（Ｘ＋１，
Ｙ），Ｉ（Ｘ＋１，Ｙ＋１）の８ヶ所について平滑化フ
ィルタにより平均値を求め、その平均値を３０のイント
ラ・マクロブロックＩ（Ｘ，Ｙ）の動きベクトルとして
用いることにより動きベクトルの欠損を補充する。図３
中の６が動きベクトル補充処理部３によって補充された
動きベクトルであり、この処理を全マクロブロック対し
て実施する。本発明は上記実施例に限らず、様々な変形
が可能である。例えば、平滑化フィルタによる平均値の
代わりにメディアンフィルタによる中央値，最大値フィ
ルタによる最大値，最小値フィルタによる最小値，最頻
値フィルタによる最頻値のいずれかを使用し、イントラ
・マクロブロックの動きベクトルとして用いることもで
きる。[0008] The first embodiment scans each macroblock in the sample image frame part 2 shown in FIG. 7, 30
When the intra macroblock I (X, Y) of
In this case, the neighboring macroblocks I (X-1, Y-1) and I (X-1,
Y), I (X-1, Y + 1), I (X, Y-1), I
(X, Y + 1), I (X + 1, Y-1), I (X + 1,
Y) and I (X + 1, Y + 1) are averaged by a smoothing filter, and the average value is used as a motion vector of 30 intra macroblocks I (X, Y). refill. FIG.
Reference numeral 6 denotes a motion vector supplemented by the motion vector supplement processing unit 3, and this process is performed on all macroblocks. The present invention is not limited to the above embodiment, and various modifications are possible. For example, instead of the average value by the smoothing filter, one of the median filter, the maximum value by the maximum value filter, the minimum value by the minimum value filter, and the mode by the mode filter is used, and the intra macroblock is used. Can be used as a motion vector.
【０００９】第二の形態例は、図４に示すサンプル画像
フレームその１の現画像フレーム拡大部９において第一
の形態例と同様に１０のイントラ・マクロブロックＩ
（Ｘ，Ｙ）を検出した際に、前画像フレーム拡大部７中
８のマクロブックＩ（Ｘ，Ｙ）を含めた近傍マクロブロ
ックと、後画像フレーム拡大部１１中１２のマクロブッ
クＩ（Ｘ，Ｙ）を含めた近傍マクロブロックと現画像フ
レーム拡大部９中１０のイントラ・マクロブロックＩ
（Ｘ，Ｙ）の近傍マクロブロック全てから、平滑化フィ
ルタにより平均値を求め、その平均値を現画像フレーム
拡大部９中１０のイントラ・マクロブロックＩ（Ｘ，
Ｙ）の動きベクトルとして欠損を補充する。この処理を
全マクロブロックに対して実施する。この際に、平滑化
フィルタによる平均値の代わりにメディアンフィルタに
よる中央値，最大値フィルタによる最大値，最小値フィ
ルタによる最小値，最頻値フィルタによる最頻値等を使
用し、イントラ・マクロブロックの動きベクトルとして
用いることもできる。In the second embodiment, ten intra macroblocks I are used in the current image frame enlarging section 9 of the first sample image frame shown in FIG.
When (X, Y) is detected, the neighboring macroblocks including the macrobook I (X, Y) of the previous image frame enlarging unit 8 and the macrobook I (X , Y) and the intra macroblock I of the current image frame enlarging unit 10
An average value is obtained from all the neighboring macroblocks of (X, Y) by a smoothing filter, and the average value is used as the intra macroblock I (X,
The defect is supplemented as the motion vector of Y). This process is performed on all macro blocks. At this time, instead of the average value by the smoothing filter, the median filter uses the median filter, the maximum value by the maximum value filter, the minimum value by the minimum value filter, the mode by the mode filter, and the like. Can be used as a motion vector.
【００１０】第三の形態例は、図４に示すサンプル画像
フレームその１の現画像フレーム拡大部９中１０のイン
トラ・マクロブロックＩ（Ｘ，Ｙ）を検出した際、時間
的に隣接した前画像フレーム拡大部７中８のマクロブロ
ックＩ（Ｘ，Ｙ）の動きベクトルまたは後画像フレーム
拡大部１１中１２のマクロブロックＩ（Ｘ，Ｙ）の動き
ベクトルが現画像フレーム拡大部９中１０の動きベクト
ルと類似するものが多いことを利用して、前画像フレー
ム拡大部７中８のマクロブロックＩ（Ｘ，Ｙ）の動きベ
クトルまたは後画像フレーム拡大部１１中１２のマクロ
ブロックＩ（Ｘ，Ｙ）の動きベクトルをそのまま現画像
フレーム拡大部９中１０の動きベクトルとして用いるこ
ともできる。また、上記全ての形態例のイントラ・マク
ロブロックを伝送エラーマクロブロックと置き換えて
も、同様に処理可能である。In the third embodiment, when an intra macroblock I (X, Y) in the current image frame enlarging unit 10 of the sample image frame 1 shown in FIG. The motion vector of the macro block I (X, Y) in the image frame enlargement unit 8 or the motion vector of the macro block I (X, Y) in the subsequent image frame enlargement unit 12 Utilizing the fact that there are many similar motion vectors, the motion vector of the macroblock I (X, Y) in the previous image frame enlarging unit 8 or the macroblock I (X, X, The motion vector of Y) can be used as it is as the motion vector of the current image frame enlarging unit 9. In addition, the same processing can be performed even if the intra macroblocks in all the above-described embodiments are replaced with transmission error macroblocks.
【００１１】[0011]
【発明の効果】本発明は以上説明したように、所要画素
単位毎にマクロブロック化した画像符号化データの各マ
クロブロックの動きベクトルを利用して、動きベクトル
の一塊を移動物体として検出する際、該移動物体のマク
ロブロック中の動きベクトルを有しないものに対し、そ
の周辺のマクロブロックの動きベクトルに基づいて動き
ベクトルを類推作出することによって補充するようにし
たので、動きベクトルが求められないイントラ・マクロ
ブロックまたは伝送エラーマクロブロックが存在する場
合であっても移動物体を見失うことを防止し、常に正し
い移動物体の検出が可能となる。As described above, according to the present invention, when a block of motion vectors is detected as a moving object using a motion vector of each macroblock of the image coded data macroblocked for each required pixel unit. Since a motion vector in a macro block of the moving object which does not have a motion vector is supplemented by estimating a motion vector based on motion vectors of surrounding macro blocks, a motion vector is not obtained. Even if there is an intra macroblock or a transmission error macroblock, it is possible to prevent a moving object from being lost and to always detect a correct moving object.
【図面の簡単な説明】[Brief description of the drawings]
【図１】本発明に関わる移動物体検出装置の主要部のブ
ロック構成図。FIG. 1 is a block diagram of a main part of a moving object detection device according to the present invention.
【図２】本発明に関わる動きベクトル補充処理部の処理
フローチャート図。FIG. 2 is a processing flowchart of a motion vector supplement processing unit according to the present invention.
【図３】本発明に関わる動きベクトル補充処理部により
求められた動きベクトル図。FIG. 3 is a motion vector diagram obtained by a motion vector supplement processing unit according to the present invention.
【図４】サンプル画像フレーム図その１。FIG. 4 is a first sample image frame diagram.
【図５】従来の遠隔監視システムブロック図。FIG. 5 is a block diagram of a conventional remote monitoring system.
【図６】従来の移動物体検出部のブロック構成図。FIG. 6 is a block diagram of a conventional moving object detection unit.
【図７】サンプル画像フレーム図その２。FIG. 7 is a sample image frame diagram No. 2;
【符号の説明】 １，２２，２５・・・移動物体検出部 ２，２６・・・復号処理部 ３・・・動きベクトル補充処理部 ４，２７・・・画像処理部 ５，２８・・・状態変化検出部 ６・・・動きベクトル補充処理部によって補充された動
きベクトル ７・・・前画像フレーム拡大部 ８・・・前画像フレームのマクロブロックＩ（Ｘ，Ｙ） ９・・・現画像フレーム拡大部 １０・・・現画像フレームのイントラ・マクロブロック
Ｉ（Ｘ，Ｙ） １１・・・後画像フレーム拡大部 １２・・・後画像フレームのマクロブロックＩ（Ｘ，
Ｙ） １３・・・監視エリア １４・・・監視カメラ １５・・・画像符号化器 １６・・・送信部 １７・・・伝送路 １８・・・監視センタ １９・・・受信部 ２０・・・分配器 ２１・・・画像復号器 ２３・・・合成器 ２４・・・監視モニタ ２９・・・動きベクトル ３０・・・イントラ・マクロブロック[Description of References] 1, 22, 25: Moving object detection unit 2, 26: Decoding processing unit 3: Motion vector supplement processing unit 4, 27: Image processing unit 5, 28 ... State change detection unit 6: Motion vector supplemented by motion vector supplement processing unit 7: Previous image frame enlargement unit 8: Macroblock I (X, Y) of previous image frame 9: Current image Frame enlargement unit 10: Intra macroblock I (X, Y) of current image frame 11: Enlargement unit of subsequent image frame 12: Macroblock I (X, Y,
Y) 13 monitoring area 14 monitoring camera 15 image encoder 16 transmission unit 17 transmission path 18 monitoring center 19 reception unit 20 Distributor 21 ... Image decoder 23 ... Synthesizer 24 ... Monitoring monitor 29 ... Motion vector 30 ... Intra macroblock
【手続補正３】[Procedure amendment 3]
【補正対象書類名】図面[Document name to be amended] Drawing
【補正対象項目名】全図[Correction target item name] All figures
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【図１】 FIG.
【図６】 FIG. 6
【図２】 FIG. 2
【図３】 FIG. 3
【図４】 FIG. 4
【図５】 FIG. 5
【図７】 FIG. 7
Claims (7)
位毎にマクロブロック化した画像符号化データの各マク
ロブロックの動きベクトルを利用して、監視画像中の移
動物体の存在を検出する方法において、前記マクロブロ
ックのうち、動きベクトルを有しないものに対して、そ
の周辺のマクロブロックの動きベクルに基づいて、前記
動きベクトルを有しないマクロブロックの動きベクトル
を求め、補充することを特徴とする画像監視方法。1. A method for detecting the presence of a moving object in a monitoring image by using a motion vector of each macroblock of image-encoded data macroblock-formed for each required pixel unit by a moving image encoding unit. Wherein, for the macroblocks that do not have a motion vector, a motion vector of a macroblock that does not have the motion vector is obtained based on a motion vector of a surrounding macroblock, and supplemented. Image monitoring method.
位毎にマクロブロック化した画像符号化データに含まれ
る各マクロブロックの動きベクトルを利用て、監視画像
中の移動物体の存在を検出する手段を備えた装置におい
て、前記マクロブロックのうち、動きベクトルを有しな
いものに対して、その周辺のマクロブロックの動きベク
トルに基づいて、前記動きベクトルを有しないマクロブ
ロックの動きベクトルを求め、補充する手段を備えたこ
とを特徴とする画像監視装。2. The presence of a moving object in a monitoring image is detected by a moving image coding unit using a motion vector of each macroblock included in image-coded data obtained by forming a macroblock for each required pixel unit. In the apparatus provided with the means, for a macroblock having no motion vector among the macroblocks, a motion vector of the macroblock having no motion vector is obtained based on the motion vectors of surrounding macroblocks, and supplemented. An image monitoring device comprising means for performing:
位毎にマクロブロック化した画像符号化データの各マク
ロブロックの動きベクトルを利用して、監画像中の移動
物体の存在を検出する方法において、前記マクロブロッ
クのうち、動きベクトルを有しないものに対して、その
前後画像フレームの当該マクロブロックに対応するマク
ロブロックの動きベクトルに基づいて、動きベクトルを
有しないマクロブロックの動きベクトルを求め、補充す
ることを特徴とする画像監視方法。3. A method for detecting the presence of a moving object in a supervisory image by using a motion vector of each macro block of image encoded data macro-blocked for each required pixel unit by a moving image encoding unit. In the macroblocks having no motion vector, a motion vector of a macroblock having no motion vector is obtained based on a motion vector of a macroblock corresponding to the macroblock in the preceding and succeeding image frames. , A supplementary image monitoring method.
位毎にマクロブロック化した画像符号化データに含まれ
る各マクロブロックの動きベクトルを利用して、監視画
像中の移動物体の存在を検出する手段を備えた装置にお
いて、前記マクロブロックのうち、動きベクトルを有し
ないものに対して、その前後画像フレームの当該マクロ
ブロックに対応するマクロブロックの動きベクトルに基
づいて、前記動きベクトルを有しないマクロブロックの
動きベクトルを求め、補充する手段を備えたことを特徴
とする画像監視装置。4. The presence of a moving object in a surveillance image is detected by using a motion vector of each macroblock included in image-coded data macroblock-by-pixel-by-pixel required by a moving image encoding unit. The macroblock that does not have a motion vector among the macroblocks does not have the motion vector based on the motion vector of the macroblock corresponding to the macroblock in the preceding and succeeding image frames. An image monitoring apparatus, comprising: means for obtaining and supplementing a motion vector of a macroblock.
位毎にマクロブロック化した画像符号化データに含まれ
る各マクロブロックの動きベクトルを利用て、監視画像
中の移動物体の存在を検出する手段を備えた装置におい
て、前記マクロブロックのうち、動きベクトルを有しな
いものに対して、その周辺のマクロブロックの動きベク
トルに基づいて、平滑化フィルタ，メディアンフィル
タ，最大値フィルタ，最小値フィルタ，最頻値フィルタ
の少なくともいずれか一つにより、平均値，中央値，最
大値，最小値，最頻値のいずれか一つを求め、その値を
前記動きベクトルを有しないマクロブロックの動きベク
トルとして用いる手段を備えたことを特徴とする画像監
視装置。5. The presence of a moving object in a monitoring image is detected by a moving image coding unit using a motion vector of each macroblock included in image-coded data macroblock-formed for each required pixel unit. In the apparatus provided with the means, among the macroblocks having no motion vector, a smoothing filter, a median filter, a maximum value filter, a minimum value filter, Any one of an average value, a median value, a maximum value, a minimum value, and a mode value is obtained by at least one of the mode filters, and the obtained value is used as a motion vector of a macroblock having no motion vector. An image monitoring device comprising means for using.
位毎にマクロブロック化した画像符号化データに含まれ
る各マクロブロックの動きベクトルを利用して、監視画
像中の移動物体の存在を検出する手段を備えた装置にお
いて、前記マクロブロックのうち、動きベクトルを有し
ないマクロブロックに対して、前記補充する手段がその
前後画像フレームのマクロブロックの動きベクトルに基
づいて、平均値，中央値，最大値，最小値，最頻値いづ
れか一つを、平滑化フィルタ，メディアンフィルタ，最
大値フィルタ，最小値フィルタ，最頻値フィルタのいづ
れか一つによって求め、その値を動きベクトルを有しな
いマクロブロックの動きベクトルとして補充するよう構
成されたものであることを特徴とする画像監視装置。6. The presence of a moving object in a surveillance image is detected by using a motion vector of each macroblock included in image-encoded data macroblock-by-pixel-by-pixel required by a moving image encoding unit. In the apparatus, a supplementary means is provided for a macroblock having no motion vector among the macroblocks, based on the motion vectors of the macroblocks of the preceding and succeeding image frames. One of the maximum value, the minimum value, and the mode is obtained by one of a smoothing filter, a median filter, a maximum value filter, a minimum value filter, and a mode filter, and the value is obtained from a macroblock having no motion vector. An image monitoring apparatus characterized in that it is configured to supplement as a motion vector.
位毎にマクロブロック化した画像符号化データに含まれ
る各マクロブロックの動きベクトルを利用して、監視画
像中の移動物体の存在を検出する手段を備えた装置にお
いて、前記マクロブロックのうち、動きベクトルを有し
ないものに該当するその前後画像フレームのマクロブロ
ックの動きベクトルを、前記動きベクトルを有しないマ
クロブロックの動きベクトルとして用いる手段を備えた
ことを特徴とする画像監視装置。7. The presence of a moving object in a monitoring image is detected by using a motion vector of each macroblock included in image-encoded data obtained by macroblock-by-pixel units by a video encoding unit. A device that uses a motion vector of a macroblock of a preceding or succeeding image frame corresponding to one having no motion vector among the macroblocks as a motion vector of a macroblock that does not have the motion vector. An image monitoring device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29027197A JPH11113002A (en) | 1997-10-07 | 1997-10-07 | Method and device for detecting mobile object in different micro block |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29027197A JPH11113002A (en) | 1997-10-07 | 1997-10-07 | Method and device for detecting mobile object in different micro block |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11113002A true JPH11113002A (en) | 1999-04-23 |
Family
ID=17753983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29027197A Pending JPH11113002A (en) | 1997-10-07 | 1997-10-07 | Method and device for detecting mobile object in different micro block |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11113002A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7082210B2 (en) | 2001-02-28 | 2006-07-25 | Mitsubishi Denki Kabushiki Kaisha | Moving object detector and image monitoring system |
| JP2012504878A (en) * | 2008-09-03 | 2012-02-23 | サムスン エレクトロニクス カンパニー リミテッド | Frame interpolation apparatus and method based on precise motion prediction |
| WO2019135270A1 (en) * | 2018-01-04 | 2019-07-11 | 株式会社ソシオネクスト | Motion video analysis device, motion video analysis system, motion video analysis method, and program |
-
1997
- 1997-10-07 JP JP29027197A patent/JPH11113002A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7082210B2 (en) | 2001-02-28 | 2006-07-25 | Mitsubishi Denki Kabushiki Kaisha | Moving object detector and image monitoring system |
| JP2012504878A (en) * | 2008-09-03 | 2012-02-23 | サムスン エレクトロニクス カンパニー リミテッド | Frame interpolation apparatus and method based on precise motion prediction |
| WO2019135270A1 (en) * | 2018-01-04 | 2019-07-11 | 株式会社ソシオネクスト | Motion video analysis device, motion video analysis system, motion video analysis method, and program |
| JPWO2019135270A1 (en) * | 2018-01-04 | 2021-01-07 | 株式会社ソシオネクスト | Video analysis device, video analysis system, video analysis method, and program |
| US11495023B2 (en) | 2018-01-04 | 2022-11-08 | Socionext Inc. | Moving image analysis apparatus, system, and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11070833B2 (en) | Method and system for encoding video with overlay | |
| US6512537B1 (en) | Motion detecting apparatus, motion detecting method, and storage medium storing motion detecting program for avoiding incorrect detection | |
| US10277901B2 (en) | Encoding a video stream having a privacy mask | |
| US20150117553A1 (en) | Block Error Compensating Apparatus of Image Frame and Method Thereof | |
| US6115499A (en) | Repeat field detection using checkerboard pattern | |
| JPH1075457A (en) | Moving object detector in moving image | |
| JPH0220185A (en) | Moving image transmission system | |
| JPH08228356A (en) | Processing system for picture representing signal | |
| US8265138B2 (en) | Image processing apparatus, method and integrated circuit used in liquid crystal display by processing block velocity of noisy blocks | |
| JP2007235191A (en) | Video reproducing apparatus and video reproducing method | |
| JP2005073218A (en) | Image processing apparatus | |
| JP2000059796A (en) | Motion detecting device, motion detecting method and recording medium with motion detection program recorded therein | |
| WO2000005899A1 (en) | Image encoding system | |
| US6754278B1 (en) | Method for recovering moving picture by extending a damaged region in which an error occurs | |
| JPH11113002A (en) | Method and device for detecting mobile object in different micro block | |
| US20220129680A1 (en) | Alert generation based on event detection in a video feed | |
| JP2004214970A (en) | Image display system, image display method and image processor | |
| JPH06261309A (en) | Moving vector detection | |
| JPH11113022A (en) | Method and device for detecting mobile object in each picture type in different coding mode | |
| JPH10257485A (en) | Detection circuit for repetitive image and image coder | |
| JP2001177836A (en) | Method and device for detecting mobile object in moving picture | |
| JPH07184206A (en) | Picture coder | |
| EP4270939A1 (en) | System and method for adding one additional image frame or a sequence of additional image frames to a stream of encoded image frames | |
| JP2001339712A (en) | Motion video monitor | |
| JP2000354238A (en) | Image monitoring system |