JP4818430B2 - Moving object recognition method and apparatus - Google Patents
Moving object recognition method and apparatus Download PDFInfo
- Publication number
- JP4818430B2 JP4818430B2 JP2009298635A JP2009298635A JP4818430B2 JP 4818430 B2 JP4818430 B2 JP 4818430B2 JP 2009298635 A JP2009298635 A JP 2009298635A JP 2009298635 A JP2009298635 A JP 2009298635A JP 4818430 B2 JP4818430 B2 JP 4818430B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- time
- image
- block
- identification code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、移動物体認識方法及び装置に係り、特に非分離移動物体を分割してトラッキングする移動物体認識方法及び装置に関する。 The present invention relates to a moving object recognition method and apparatus, and more particularly to a moving object recognition method and apparatus for dividing and tracking a non-separated moving object.
図6は、高速道路の上方に設置されたカメラの撮像画像である。 FIG. 6 is a captured image of a camera installed above the highway.
画像上で車両同士が頻繁に重なるので、画像処理により各車両をトラッキングするのが困難になる。この問題を解決するには、道路に沿って複数台のカメラを設置し、それらの画像を総合的に処理する必要がある。 Since vehicles frequently overlap each other on an image, it becomes difficult to track each vehicle by image processing. In order to solve this problem, it is necessary to install a plurality of cameras along the road and comprehensively process their images.
しかし、カメラ及び画像処理装置を複数台備える必要があるので、コスト高になる。また、各カメラの撮影画像を関係付けて総合的に処理しなければならないので、処理が複雑になる。 However, since it is necessary to provide a plurality of cameras and image processing apparatuses, the cost increases. In addition, since the captured images of the respective cameras must be related and processed comprehensively, the processing becomes complicated.
本発明の目的は、簡単な構成で、画像上で重なった移動物体同士の動きベクトルがほぼ同一であってもこれらを分割して認識することが可能な移動物体認識方法及び装置を提供することにある。 An object of the present invention is to provide a moving object recognition method and apparatus capable of dividing and recognizing even a motion vector of moving objects overlapped on an image is almost the same with a simple configuration. It is in.
例えば、図3に示すように、カメラの近くの移動物体は分離している。 For example, as shown in FIG. 3, the moving object near the camera is separated.
そこで、本発明による移動物体認識装置の一態様では、複数の時系列画像が格納される画像記憶部と、時間を遡って画像処理を行う画像処理部とを備えている。該画像処理部は、
1)該複数の時系列画像のうち時刻tの画像と時刻(t−1)の画像とのブロックマッチングにより、時刻(t−1)の画像に含まれる移動物体の時刻tから時刻(t−1)への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定し、
処理(1)を1回行い又は複数回繰り返して該移動物体を、時間を遡ってトラッキングすることにより、非分離移動物体を分割する。
Therefore, one aspect of the moving object recognition apparatus according to the present invention includes an image storage unit that stores a plurality of time-series images, and an image processing unit that performs image processing by going back in time. The image processing unit
1) By block matching between the image at time t and the image at time (t−1) among the plurality of time-series images, time (t−) from time t of the moving object included in the image at time (t−1) A motion vector to 1) and a moving object identification code are determined in units of blocks including a plurality of pixels;
The non-separated moving object is divided by performing the process (1) once or by repeating the tracking operation a plurality of times, and tracking the moving object backward in time.
この移動物体認識装置によれば、画像上で重なった移動物体同士の動きベクトルがほぼ同一であってもこれらを分割して認識することが可能となり、道路の長手方向に沿った広い範囲での移動物体をトラッキングすることが可能となる。したがって、道路に沿って複数組のカメラと画像処理装置とを備えてカメラ間の画像データを関連付け複雑な処理を行なう必要がなく、コストを低減することができる。 According to this moving object recognition device, even if the motion vectors of the overlapping moving objects on the image are almost the same, it is possible to divide and recognize them, and in a wide range along the longitudinal direction of the road. It is possible to track a moving object. Therefore, it is not necessary to provide a plurality of sets of cameras and image processing devices along the road and to associate image data between the cameras to perform complicated processing, thereby reducing costs.
本発明の他の目的、構成及び効果は以下の説明から明らかになる。 Other objects, configurations and effects of the present invention will become apparent from the following description.
以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
最初に、図3を参照して本実施例1の移動物体認識方法を概説する。図3は、カメラで撮像された時刻t=1〜4での画像を模式的に示す。 First, the moving object recognition method of the first embodiment will be outlined with reference to FIG. FIG. 3 schematically shows images taken at time t = 1 to 4 captured by the camera.
1台のカメラで道路10の長手方向に沿った広い範囲を撮像して移動物体をトラッキングするために、カメラは道路10の中央線上方に設置されている。このようにカメラを設置すると、移動物体が画像上で重なるというオクルージョンが頻繁に生ずる。図3では、時刻t=1〜3で車両M1とM2の像が重なっており、両者を区別してトラッキングすることができない。
In order to capture a wide range along the longitudinal direction of the
しかし、時刻t=4の画像のように、車両M1とM2とがカメラに近づいたときには、両者が衝突していなければ車両M1とM2の像は分離する。 However, when the vehicles M1 and M2 approach the camera as in the image at time t = 4, the images of the vehicles M1 and M2 are separated if they do not collide.
そこで、これら4フレームの時系列画像を一時記憶しておき、t=4から出発して車両M1とM2を識別し、車両M1とM2の動きベクトルを求め、この動きベクトルでt=4の画像中の車両M1とM2を移動させて、車両M1とM2が識別されているt=3の画像を想定し、これとt=3の実際の画像との相関関係から、t=3の画像中の車両M1とM2を識別する。 Therefore, the time-series images of these four frames are temporarily stored, the vehicles M1 and M2 are identified starting from t = 4, and the motion vectors of the vehicles M1 and M2 are obtained. Assuming an image at t = 3 in which the vehicles M1 and M2 are moved and the vehicles M1 and M2 are identified, and the correlation between this and the actual image at t = 3, Vehicles M1 and M2 are identified.
次に、t=3とt=2の画像について同様の処理により、t=2の画像中の車両M1とM2を識別する。次に、t=2とt=1の画像について同様の処理により、t=1の画像中の車両M1とM2を識別する。 Next, the vehicles M1 and M2 in the t = 2 image are identified by the same processing for the t = 3 and t = 2 images. Next, the vehicles M1 and M2 in the image at t = 1 are identified by the same processing for the images at t = 2 and t = 1.
このような処理により、車両M1とM2とをトラッキングすることが可能となる。 Such processing makes it possible to track the vehicles M1 and M2.
図1は、この移動物体認識方法の処理手順を示すフローチャートである。図1では、nフレームの画像について、時間を逆上って移動物体をトラッキングする場合を示す。例えばn=36で毎秒12フレームである。なお、移動物体が写っていない背景画像は、予め記憶装置に格納されている。 FIG. 1 is a flowchart showing a processing procedure of this moving object recognition method. FIG. 1 shows a case in which a moving object is tracked backward in time for an image of n frames. For example, n = 36 and 12 frames per second. Note that the background image in which the moving object is not captured is stored in the storage device in advance.
(S1)時刻tに初期値nを代入する。 (S1) Substitute an initial value n at time t.
(S2)tの画像と背景画像とを比較して、tの画像中の移動物体を認識し、認識された各移動物体に識別符号(ID)を付与する。 (S2) The image of t is compared with the background image, the moving object in the image of t is recognized, and an identification code (ID) is given to each recognized moving object.
(S3)tの画像と、これと時間的に前又は後の画像とに基づいて、IDが付与されたtの画像中の移動物体の動きベクトルを求める。この時間的に前又は後の画像は、t=nとt=n+1との間又はt=nとt=n−1との間の、動きベクトルを求めるためだけの画像であってもよい。 (S3) The motion vector of the moving object in the image of t to which the ID is assigned is obtained based on the image of t and the image before or after this. This temporally preceding or following image may be an image only for obtaining a motion vector between t = n and t = n + 1 or between t = n and t = n−1.
(S4)tと(t−1)の画像間の上述のような相関関係から、(t−1)の画像中の移動物体のIDを決定する。 (S4) The ID of the moving object in the image of (t-1) is determined from the above correlation between the images of t and (t-1).
(S5)t>2であればステップS6へ進み、t=2であればt=1〜nの時系列画像についての移動物体認識処理を終了する。 (S5) If t> 2, the process proceeds to step S6. If t = 2, the moving object recognition process for the time-series images from t = 1 to n is terminated.
(S6)tの値を1だけデクリメントし、ステップS3へ戻る。 (S6) The value of t is decremented by 1, and the process returns to step S3.
図2において、t=1〜nのF(1)〜F(n)からなる時系列画像1に対し、図1の処理を行なう。次の時刻の画像F(n+1)を取得し、これを画像F(1)の記憶領域に格納する。そして、F(2)〜F(n+1)からなる時系列画像2をt=1〜nの画像として、図1の処理を行なう。このような処理を繰り返して行う。
In FIG. 2, the process of FIG. 1 is performed on the time-
時系列画像2に対する処理において、画像F(2)〜F(n)については、背景画像と比較して移動物体を認識する処理及び図1のステップS3での動きベクトルを求める処理が時系列画像1に対し既に行なわれているので、これらの処理を省略することができる。
In the processing for the time-
本実施例1によれば、1組のカメラと画像処理装置とにより、道路の長手方向に沿った広い範囲での移動物体をトラッキングすることが可能となる。したがって、道路に沿って複数組のカメラと画像処理装置とを備えてカメラ間の画像データを関連付け複雑な処理を行なう必要がなく、コストを大幅に低減することができる。 According to the first embodiment, it is possible to track a moving object in a wide range along the longitudinal direction of the road by a pair of cameras and an image processing device. Therefore, a plurality of sets of cameras and image processing devices are provided along the road, and it is not necessary to associate image data between the cameras and perform complicated processing, and the cost can be greatly reduced.
図4は、道路11がその一方側で道路11aと11bとに分岐し他方側で道路11cと11dとに分岐している場合の時系列画像を模式的に示す。この場合、上述のトラッキングにより、車両M1とM2が道路11aと11bのどちらから来て道路11cと11dのどちらへ行ったかを判別することができ、道路利用状況の交通情報を得ることができる。
FIG. 4 schematically shows a time series image when the
図5は、道路12の側方にカメラを設置して、道路12の長手方向に沿った広い範囲で移動物体を撮像した場合の時系列画像を模式的に示す。この場合も、図3及び図4と同様に時間を逆上ることにより、移動物体をトラッキングすることが可能となる。
FIG. 5 schematically shows a time-series image when a camera is installed on the side of the
トラッキング結果は、画像上での移動物体の重なりのために従来できなかった交通違反の判別や交通事故の自動判定に利用することができる。例えば、車線変更禁止区域で車線を変更して図5に示すように車両M1がM2を追い越したことや、スピード違反を判定することが可能となる。 The tracking result can be used for determination of traffic violations and automatic determination of traffic accidents that could not be done conventionally due to overlapping of moving objects on the image. For example, it is possible to change the lane in the lane change prohibited area and determine that the vehicle M1 has overtaken M2 as shown in FIG.
図1は、本発明の実施例1に係る移動物体認識装置の概略ブロック図である。
FIG. 1 is a schematic block diagram of a moving object recognition apparatus according to
この装置は、移動物体が通る道路を撮像して画像信号を出力する電子カメラ15と、その画像を処理して移動物体をトラッキングし交通違反を判定する画像処理装置20と、交通違反検出時の画像を格納する外部記憶装置40とを備えている。
This apparatus includes an
電子カメラ15からの画像信号は、デジタル化されており、nフレームの時系列画像が画像メモリ21に一時記憶される。例えば、1/12秒毎に1フレームの画像が画像メモリ21に格納される。格納領域は、画像メモリ21中の時系列画像の最も古い画像が記憶されている領域である。
The image signal from the
背景画像生成部22は、画像メモリ21をアクセスし、例えば過去10分間の全画像について、対応するピクセルの画素値のヒストグラムを作成し、その最頻値(モード)をそのピクセルの画素値とする画像を背景画像として生成し、画像メモリ21内の所定領域に格納する。背景画像は、背景画像生成部22により定期的に更新される。
The background
トラッキング処理部23は、メモリ24内にオブジェクトマップを作成する。例えば、1フレームの画像が480×640ピクセルの場合、トラッキング処理部23は、オブジェクトマップメモリ24に、8×8ピクセルを1ブロックに対応させた60×80ブロックの情報を書き込む。トラッキング処理部23は、時系列画像に移動物体が存在するかどうかをブロック単位で判断し、存在すれば、このブロックに移動物体IDを付与する。あるブロックに移動物体が存在するかどうかは、オブジェクトマップに対応してフレーム画像に設定したブロックの各ピクセルと背景画像の対応するピクセルとの差の絶対値の総和が所定値以上であるかどうかにより判定する。移動物体が存在すると判定された隣接ブロックに同一IDを付すことにより、該移動物体に対応したクラスタができる。図8は、図3のt=4での画像に対応したオブジェクトマップであり、車両M1及びM2に対応してそれぞれID=1及びID=2が付与されている。
The tracking processing unit 23 creates an object map in the
トラッキング処理部23は、ID生成/消滅部25、動きベクトル算出部26、移動物体更新部27及び不明ID決定部28を備え、時間を遡って移動物体の軌跡を求め、これを軌跡メモリ29に格納する。
The tracking processing unit 23 includes an ID generation /
交通違反判定部30は、交通ルール記憶部31に格納されたルールに基づいて、上述のように求めた軌跡がルール違反していないかどうかを判定し、違反していると判定した場合には画像メモリ21に対し、違反時の時系列画像を外部記憶装置40に格納させる。
When the traffic
ID生成/消滅部25は、画像上の道路の出口側でIDを付与し、入り口側でIDを消滅させ、また、上述のオブジェクトマップを作成する。
The ID generation /
動きベクトル算出部26は、時刻tのオブジェクトマップ中のIDが付与された各ブロックについて、対応するtの画像中のブロックと、時刻(t−1)の画像中の、ピクセル単位で位置が可変のブロックとの間で、MPEGの符号化で用いられているブロックマッチングを適用して、tの画像中の該ブロックの動きベクトルを求める。動きベクトル算出部26はさらに、クラスタ(移動物体)毎に、求めた複数の動きベクトルの代表値、例えばモード、メジアン又は平均値を、その移動物体の動きベクトルと推定し、これをIDと対応させて記憶する。代表値がメジアン又は平均値である場合には、中心分布から著しく離れる動きベクトルを除外した後に代表値を求めることにより、より正確な値を得るようにしてもよい。 The motion vector calculation unit 26 varies the position of each block to which an ID in the object map at time t is assigned in units of pixels in the corresponding block in the image at t and the image at time (t−1). By applying the block matching used in the MPEG encoding to the current block, the motion vector of the current block in the t image is obtained. The motion vector calculation unit 26 further estimates, for each cluster (moving object), a representative value of the obtained plurality of motion vectors, for example, the mode, median, or average value, as the motion vector of the moving object, and corresponds this to the ID. Let me remember. When the representative value is a median or an average value, a more accurate value may be obtained by obtaining the representative value after excluding a motion vector that is significantly away from the center distribution.
動きベクトル算出部26は、画像上欠落のある移動物体についても、その動きベクトルを推定する。 The motion vector calculation unit 26 also estimates the motion vector of a moving object that is missing on the image.
なお、MPEGでの動きベクトルは、データ圧縮のためのものであって、クラスタ単位の動きベクトルという概念はない。また、動きベクトルが小さい場合には、ブロックマッチングの他にオプティカルフローの推定も有用な手法として用いることができる。 Note that the motion vector in MPEG is for data compression, and there is no concept of a motion vector in units of clusters. If the motion vector is small, optical flow estimation can be used as a useful technique in addition to block matching.
ある移動物体に属するブロック内の各ピクセルの色がほぼ同一である場合、すなわちテクスチャの少ないブロックがクラスタに存在する場合、ブロックマッチングやオプティカルフローなどの手法により正確な動きベクトルを得ることができない。 When the color of each pixel in a block belonging to a certain moving object is almost the same, that is, when a block with less texture exists in the cluster, an accurate motion vector cannot be obtained by a technique such as block matching or optical flow.
そこで動きベクトル算出部26は、このようなブロック、例えばそのブロック内の全画素値の散布度、例えば分散σ2、標準偏差σ、平均偏差MD、四分偏差QD、範囲R又はエントロピーなどが所定値以下であるブロックについては、動きベクトルを求めず、移動物体の動きベクトル推定に使用しない。この場合であっても、タイヤの部分のように色が一様でないブロック群が存在するので、動きベクトル算出部26は移動物体の動きベクトルを推定することができる。 Therefore, the motion vector calculation unit 26 has a predetermined distribution of such a block, for example, a dispersion degree of all pixel values in the block, for example, variance σ 2 , standard deviation σ, average deviation MD, quadrature deviation QD, range R, or entropy. For blocks that are less than or equal to the value, a motion vector is not obtained and is not used for motion vector estimation of a moving object. Even in this case, there is a block group with a non-uniform color such as a tire portion, so the motion vector calculation unit 26 can estimate the motion vector of the moving object.
動きベクトルを求めるべきブロックであるかどうかを判断するのに、エッジ画像を利用することができる。すなわち、原画像に対しエッジ強調処理を行い、次いで2値画像に変換し、ブロック内に‘1’のエッジ画素の数が所定値以下であれば、動きベクトルを求めるのに適しないブロックと判定してもよい。エッジ強調画像は、原画像に1次微分オペレータ又はラプラシアンオペレータなどの2次微分オペレータをかけて簡単なフィルタ処理を行うことにより得られる。エッジ画像取得には、Sobel、Roberts又はPrewittなどの公知手法を用いてもよい。 An edge image can be used to determine whether a motion vector is to be obtained. That is, edge enhancement processing is performed on the original image, and then converted into a binary image. If the number of edge pixels of “1” in the block is equal to or less than a predetermined value, the block is determined to be unsuitable for obtaining a motion vector May be. An edge-enhanced image can be obtained by performing a simple filtering process by applying a secondary differential operator such as a primary differential operator or a Laplacian operator to the original image. For obtaining the edge image, a known method such as Sobel, Roberts, or Prewitt may be used.
次に、移動物体更新部27での処理の具体例を、図9を参照して説明する。 Next, a specific example of processing in the moving object update unit 27 will be described with reference to FIG.
(A)移動物体更新部27は、オブジェクトマップメモリ24からtのオブジェクトマップを読み込む。
(A) The moving object update unit 27 reads the object map t from the
(B)該オブジェクトマップ内でクラスタを−MV平行移動させる。ここにMVは、このクラスタの動きベクトルである。さらに、移動したクラスタの周囲を1ブロック外側まで拡大させる。 (B) The cluster is translated by -MV in the object map. Here, MV is a motion vector of this cluster. Further, the periphery of the moved cluster is expanded to the outside of one block.
(C)拡大した範囲(太線で示す領域)内について、(t−1)の画像に移動物体が存在するかどうかを、ブロック毎に判定することにより、(t−1)のクラスタを決定する。 (C) The cluster of (t-1) is determined by determining, for each block, whether or not there is a moving object in the image of (t-1) within the enlarged range (area indicated by the bold line). .
このようにすることにより、時刻tでカメラに分離して写っていた車同士が時刻(t−1)で隣接し、その際にカメラと移動物体との間の距離及びアングルに依存してクラスタのブロック数や形が変化しても、両者を異なる車として認識することが可能になる。例えば図10(A)に示す1つのクラスタを2台の車として認識することができる。図10中、濃部は移動体のブロックである。 By doing in this way, the cars that were separated and captured by the camera at time t are adjacent at time (t−1), and the cluster depends on the distance and angle between the camera and the moving object at that time. Even if the number and shape of the blocks change, they can be recognized as different cars. For example, one cluster shown in FIG. 10A can be recognized as two cars. In FIG. 10, the dark portion is a block of a moving body.
移動物体更新部27は、前記拡大範囲が移動物体間で重なった場合、重なったブロックがどの移動物体に属するかどうかが不明であるので、重なったブロックはID不明ブロックと判定する。 When the enlarged range overlaps between the moving objects, the moving object update unit 27 determines which moving object the overlapping block belongs to, and therefore determines that the overlapping block is an ID unknown block.
不明ID決定部28は、以下のようにしてID不明ブロックの移動物体IDを決定する。
The unknown
図11は、不明ID決定部28の入出力関係を模式的に示す。
FIG. 11 schematically shows the input / output relationship of the unknown
図11中、F1及びF2はそれぞれ時刻t及び(t−1)での、図7の画像メモリ21に格納されている画像の一部を概略的に示す。1つの枡目は1画素を表している。BL1t及びBL1(t−1)はそれぞれ、時刻t及び(t−1)での移動物体M1の境界線であり。BL2(t−1)は時刻(t−1)での移動物体M2の境界線である。
In FIG. 11, F1 and F2 schematically show part of an image stored in the
Q1及びQ2はそれぞれ画像F1及びF2に対応した、図7のオブジェクトマップメモリ24に格納されているオブジェクトマップの概略を示す図である。1つの枡目は1つのブロックを表している。オブジェクトマップは、移動体IDを持っているブロックと持っていないブロックとからなる。図11では理解を容易にするために、オブジェクトマップ中にも移動物体の境界線を太線で表している。オブジェクトマップQ1及びQ2中のハッチングは、IDが付されたブロックであることを示している。右上がり斜線が付されたブロックはID=1を持ち、右下がり斜線が付されたブロックはID=2を持っている。
Q1 and Q2 are diagrams showing an outline of the object map stored in the
オブジェクトマップQ2中のブロックB1、B2及びB3のいずれにも移動物体M1とM2の一部が含まれているので、移動物体更新部27は、これらのブロックがいずれの移動物体に属するかを判定することができない。 Since all of the blocks B1, B2, and B3 in the object map Q2 include part of the moving objects M1 and M2, the moving object update unit 27 determines to which moving object these blocks belong. Can not do it.
不明ID決定部28は、これら画像F1、F2、オブジェクトマップQ1及びQ2並びに移動物体M1及びM2の動きベクトルに基づき、ブロックB1、B2及びB3のIDを決定して、オブジェクトマップQ3を得る。
The unknown
以下、オブジェクトマップQ2中のブロックB2が移動物体M1とM2のいずれに属するかを決定する方法を、具体的に説明する。この決定は、ブロックB2が移動物体M1であると仮定したときの評価値と、ブロックB2が移動物体M2であると仮定したときの評価値との大小関係に基づいて行なわれる。評価値は、以下の要素(1)〜(3)を含んでいる。 Hereinafter, a method for determining which of the moving objects M1 and M2 the block B2 in the object map Q2 belongs to will be specifically described. This determination is made based on the magnitude relationship between the evaluation value when the block B2 is assumed to be the moving object M1 and the evaluation value when the block B2 is assumed to be the moving object M2. The evaluation value includes the following elements (1) to (3).
(1)時刻(t−1)でのオブジェクトマップのみに関係した評価要素UN
ブロックB2と隣接する8ブロックについて、ID=1を持ったブロックの数N1が多いほどブロックB2が移動物体M1のブロックである確度が高いと考えられる。そこで、ブロックB2のIDが1であることを評価する要素UN(1)を例えば次式で表す。
(1) Evaluation element UN related only to the object map at time (t-1)
Regarding the eight blocks adjacent to the block B2, it is considered that the greater the number N1 of blocks having ID = 1, the higher the probability that the block B2 is a block of the moving object M1. Therefore, an element UN (1) that evaluates that the ID of the block B2 is 1 is expressed by the following equation, for example.
UN(1)=α(N1−9)2
ここに、αは正の定数である。ブロックB1は仮定したID=1を持っていると考える。N1は、ブロックB2とこれに隣接する8ブロックの合計9ブロックについてID=1を持ったブロックの数である。UN(1)の値が小さいほどブロックB2が移動物体M1に属する確度が高いと言える。
UN (1) = α (N1-9) 2
Here, α is a positive constant. Consider that block B1 has the assumed ID = 1. N1 is the number of blocks having ID = 1 for a total of 9 blocks including the block B2 and 8 blocks adjacent thereto. It can be said that the smaller the value of UN (1), the higher the probability that the block B2 belongs to the moving object M1.
同様に、ブロックB2のIDが2であることを評価する要素UN(2)を次式で表す。 Similarly, an element UN (2) that evaluates that the ID of the block B2 is 2 is expressed by the following equation.
UN(2)=α(N2−9)2
ブロックB2は仮定したID=2を持っていると考える。N2は、ブロックB2とこれに隣接する8ブロックの合計9ブロックについてID=2を持ったブロックの数である。
UN (2) = α (N2-9) 2
Consider that block B2 has the assumed ID = 2. N2 is the number of blocks having ID = 2 with respect to a total of 9 blocks including the block B2 and 8 blocks adjacent to the block B2.
図11の場合、UN(1)=9α、UN(2)=49αである。したがって、オブジェクトマップQ2のみから判断すると、ブロックB2は、ID=1である確度が、ID=2である確度よりも高いと言える。 In the case of FIG. 11, UN (1) = 9α and UN (2) = 49α. Therefore, judging from only the object map Q2, it can be said that the probability that the block B2 is ID = 1 is higher than the probability that the ID = 2.
(2)時刻tでのオブジェクトマップと移動物体の動きベクトルとに関係した評価要素US
図12(A)は大略、図11中のオブジェクトマップQ1とQ2とを重ね合わせ、かつ、ハッチングを削除したものである。MV1は移動物体M1の動きベクトルであり、点線はBL1tを−MV1だけ平行移動させたものである。
(2) Evaluation element US related to the object map at time t and the motion vector of the moving object
In FIG. 12A, the object maps Q1 and Q2 in FIG. 11 are generally overlapped and hatching is deleted. MV1 is a motion vector of the moving object M1, and a dotted line is obtained by translating BL1t by -MV1.
図12(B)に示す如く、ブロックB2をMV1だけ平行移動させることにより、移動物体M1に固定された座標系から見て、時刻tでのブロックB2に対応すると推定される判定枠B21が得られる。時刻(t−1)でブロックB2に移動物体M1の一部と移動物体M2の一部とが含まれていても、時刻tで判定枠B21には移動物体M2の一部が含まれていない場合があり、この場合、判定枠B21内を見ることにより、ブロックB2がID=1であるかどうかをより正確に推定することが可能となる。 As shown in FIG. 12B, by moving the block B2 in parallel by MV1, a determination frame B21 estimated to correspond to the block B2 at time t as seen from the coordinate system fixed to the moving object M1 is obtained. It is done. Even if a part of the moving object M1 and a part of the moving object M2 are included in the block B2 at time (t-1), a part of the moving object M2 is not included in the determination frame B21 at time t. In this case, it is possible to more accurately estimate whether or not the block B2 has ID = 1 by looking inside the determination frame B21.
判定枠B21内の右上がり斜線部(ID=1の部分)の面積S1が広いほど、ブロックB2がID=1を持つことの確度が高くなると考えられる。 It is considered that the probability that the block B2 has ID = 1 becomes higher as the area S1 of the upward-sloping hatched portion (ID = 1 portion) in the determination frame B21 is larger.
そこで、オブジェクトマップの各ブロックを、8×8の同一IDアレイに拡大したマップを作成し、この拡大マップ上で、図13(A)に示す如く、ID=1の画素の個数を数えることにより、斜線部面積S1を求める。図13(A)中の斜線部はID=1の領域を示している。S1が64であるとき、ID=1である確度が最大となる。そこで、ブロックB2のIDが1であることを評価する要素US(1)を例えば次式で表す。 Therefore, by creating a map in which each block of the object map is enlarged to the same 8 × 8 ID array, the number of pixels with ID = 1 is counted on this enlarged map as shown in FIG. The hatched area S1 is obtained. A hatched portion in FIG. 13A indicates an area with ID = 1. When S1 is 64, the probability that ID = 1 is maximized. Therefore, an element US (1) that evaluates that the ID of the block B2 is 1 is expressed by the following equation, for example.
US(1)=β(S1−64)2
ここに、βは正の定数である。US(1)の値が小さいほどブロックB2が移動物体M1に属する確度が高いと言える。
US (1) = β (S1-64) 2
Here, β is a positive constant. It can be said that the smaller the value of US (1), the higher the probability that the block B2 belongs to the moving object M1.
同様に、ブロックB2のIDが2であることを評価する要素US(2)を次式で表す。 Similarly, an element US (2) that evaluates that the ID of the block B2 is 2 is represented by the following equation.
US(2)=β(S2−64)2
ここにS2は、図13(A)に示す如く、ブロックB2をMV2だけ平行移動させて得られる判定枠B22内のID=2の個数(右下がり斜線部面積)である。MV2は、移動物体M2の動きベクトルである。
US (2) = β (S2-64) 2
Here, S2 is the number of ID = 2 in the determination frame B22 obtained by translating the block B2 by MV2 as shown in FIG. MV2 is a motion vector of the moving object M2.
(3)時刻(t−1)及びtの画像と移動物体の動きベクトルとに関係した評価要素UD
図12(B)のブロックB2と判定枠B21とに対応した図11の画像F2及びF1中の局所画像の相関が強いほど、ブロックB2がID=1である確度が高いと言える。図13(B)に示すB2F及びB21Fはそれぞれ、図12中のブロックB2及び判定枠B21に対応した画像F2及びF1中の局所画像を示す。
(3) Evaluation element UD related to the image at time (t-1) and t and the motion vector of the moving object
It can be said that the higher the correlation between the local images in the images F2 and F1 in FIG. 11 corresponding to the block B2 and the determination frame B21 in FIG. 12B, the higher the probability that the block B2 is ID = 1. B2F and B21F shown in FIG. 13B indicate local images in the images F2 and F1 corresponding to the block B2 and the determination frame B21 in FIG. 12, respectively.
ブロックB2のIDが1であることを評価する要素UD(1)を例えば次式で表す。 An element UD (1) for evaluating that the ID of the block B2 is 1 is expressed by the following equation, for example.
UD(1)=γΣ|B21F(i,j)−B2F(i,j)|
ここに、γは正の定数であり,B21F(i,j)及びB2F(i,j)はそれぞれ局所画像B2F及びB21F内の第i行第j列の画素値であり、Σはi=1〜8及びj=1〜8についての総和(ブロック内全画素についての総和)を意味している。
UD (1) = γΣ | B21F (i, j) −B2F (i, j) |
Here, γ is a positive constant, B21F (i, j) and B2F (i, j) are the pixel values of the i-th row and j-th column in the local images B2F and B21F, respectively, and Σ is i = 1 -8 and j = 1 to 8 (sum of all pixels in the block).
UD(1)の値が小さいほどブロックB2が移動物体M1に属する確度が高いと言える。 It can be said that the smaller the value of UD (1), the higher the probability that the block B2 belongs to the moving object M1.
同様に、ブロックB2のIDが2であることを評価する要素UD(2)を次式で表す。 Similarly, an element UD (2) for evaluating that the ID of the block B2 is 2 is represented by the following expression.
UD(1)=γΣ|B22F(i,j)−B2F(i,j)|
ここに、B22F(i,j)は局所画像B22F内の第i行第j列の画素値であり、局所画像B22Fは図13(A)中の判定枠B22に対応した画像F1中の局所画像である。
UD (1) = γΣ | B22F (i, j) −B2F (i, j) |
Here, B22F (i, j) is the pixel value of the i-th row and j-th column in the local image B22F, and the local image B22F is the local image in the image F1 corresponding to the determination frame B22 in FIG. It is.
不明IDブロックのIDをより正確に推定するために、以上の(1)〜(3)を総合し、評価関数の値
U(1)=UN(1)+US(1)+UD(1)と、
U(2)=UN(2)+US(2)+UD(2)との大小関係に基づいて、ブロックB2のIDを決定する。すなわち、
U12=U(1)−U(2)の値が負であればID=1と決定し、正であればID2=2と決定する。U(1)及びU(2)の最小値はいずれも0である。U12の値が小さいほど、ブロックB2がID=1である確度が高くなる。
In order to estimate the ID of the unknown ID block more accurately, the above (1) to (3) are combined, and the value of the evaluation function U (1) = UN (1) + US (1) + UD (1),
Based on the magnitude relation of U (2) = UN (2) + US (2) + UD (2), the ID of the block B2 is determined. That is,
If the value of U12 = U (1) −U (2) is negative, ID = 1 is determined, and if it is positive, ID2 = 2 is determined. The minimum values of U (1) and U (2) are both 0. The smaller the value of U12, the higher the probability that block B2 is ID = 1.
図11のオブジェクトマップQ2において、上記具体例ではブロックB1及びB3のIDを考慮しなかったが、実際には、ブロックB1、B2及びB3のIDを同時に仮定し、ブロックB1、B2及びB3の各々の評価関数の総和が最小となるように、ブロックB1、B2及びB3のIDを決定する。 In the object map Q2 in FIG. 11, the IDs of the blocks B1 and B3 are not considered in the above specific example, but actually, the IDs of the blocks B1, B2, and B3 are assumed at the same time, and each of the blocks B1, B2, and B3 is assumed. The IDs of the blocks B1, B2, and B3 are determined so that the total sum of the evaluation functions is minimized.
この際、メトロポリス(Metropolis)アルゴリズム又はギッブスサンプラー(Gibbs Sampler)アルゴリズムなどの確率的緩和アルゴリズムを用いて最小値へ導く。また、評価値の極小値を最小値と間違えないようにすると共に、極小の谷から速く脱出するために、公知のシミュレーティッドアニーリング(Simulated Annealing)法を適用する。 At this time, a minimum value is obtained by using a stochastic relaxation algorithm such as a Metropolis algorithm or a Gibbs Sampler algorithm. In addition, a known simulated annealing method is applied in order to prevent the minimum value of the evaluation value from being mistaken for the minimum value and to quickly escape from the minimum valley.
これにより、複数のID不明ブロックのIDを、より正確かつ容易に決定することができる。 Thereby, ID of a some ID unknown block can be determined more correctly and easily.
定数α、β及びγは、実際の画像を処理して、移動物体トラッキング成功率が高くなるように定められる。 The constants α, β, and γ are determined so that a moving object tracking success rate is increased by processing an actual image.
本発明者らは、上記のような評価関数を用いることが適切であることを数学的に確かめた。すなわち、マルコフ・ランダム・フィールド(Markov Random Field)モデルを時空間画像に拡張して適用し、表現された画像のエネルギー分布を確率緩和過程により最適化した結果、上記結果評価関数の最小化と同一になった。この点は、後述する実施例2についても同様である。 The inventors have mathematically confirmed that it is appropriate to use the evaluation function as described above. In other words, the Markov Random Field model is extended and applied to the spatio-temporal image, and the energy distribution of the expressed image is optimized by the stochastic relaxation process. As a result, the result evaluation function is minimized. Became. This also applies to Example 2 described later.
上記実施例1では、時刻(t−1)でのID不明ブロックが、互いに接近し又は重なった移動物体M1又はM2に属すると仮定して評価関数の値の大小関係に基づき不明IDを決定した。 In the first embodiment, the unknown ID is determined based on the magnitude relationship of the evaluation function values on the assumption that the ID unknown block at time (t-1) belongs to the moving object M1 or M2 that approaches or overlaps each other. .
しかし、1つのブロックに3以上の移動物体の一部が含まれる場合がある。また、多くの移動物体について、互いに接近しようとしている移動物体がどれであるかを判断しなければならない。 However, there are cases where a part of three or more moving objects is included in one block. Also, for many moving objects, it is necessary to determine which moving objects are approaching each other.
他方、評価要素US及びUDはいずれも、時刻tと時刻(t−1)での相関度が低いブロック間では値が大きく高いブロック間では値が小さい。これらの値を見るだけで上記のことを判断することができる。また、評価値の計算は容易である。 On the other hand, both the evaluation elements US and UD have a large value between blocks having a low degree of correlation at time t and time (t−1), and a small value between blocks having a high correlation. It is possible to determine the above only by looking at these values. Also, the evaluation value can be easily calculated.
そこで、本発明の実施例2では、図7の不明ID決定部28において、ID不明ブロックは、時刻tのオブジェクトマップに含まれる全てのID=1〜mのいずれかを持つと考えて、評価関数の値の大小関係に基づき不明IDを決定する。
Therefore, in the second embodiment of the present invention, the unknown
時刻(t−1)でのID不明ブロックを、BK1〜BKpで表し、ID不明ブロックBKiのIDがIDj(1≦IDj≦m)であると仮定したときの、ID不明ブロックBKiの上記評価関数U=UN+US+UDの値をU(BKi,IDj)で表すと,次のようにしてID不明ブロックBK1〜BKpのIDを決定する。 The above-mentioned evaluation function of the ID unknown block BKi when the ID unknown block at time (t-1) is represented by BK1 to BKp and the ID of the ID unknown block BKi is assumed to be IDj (1 ≦ IDj ≦ m). If the value of U = UN + US + UD is represented by U (BKi, IDj), the IDs of the ID unknown blocks BK1 to BKp are determined as follows.
すなわち、ID不明ブロックBK1〜BKpのIDをそれぞれID1〜IDpと仮定し、評価関数の値
Ut=U(BK1,ID1)+U(BK2,ID2)+・・・+U(BKp,IDp)を計算する。この値が最小になるID1〜IDpを、繰り返し計算により求め、求めたものをID不明ブロックBK1〜BKpのIDと決定する。この繰り返し計算において、上記確率的緩和アルゴリズム及びシミュレーティッドアニーリング法を適用する。
That is, assuming that IDs of ID unknown blocks BK1 to BKp are ID1 to IDp, respectively, the value of the evaluation function Ut = U (BK1, ID1) + U (BK2, ID2) +... + U (BKp, IDp) is calculated. . ID1 to IDp at which this value is minimized are obtained by repeated calculation, and the obtained one is determined as the ID of the ID unknown block BK1 to BKp. In this iterative calculation, the stochastic relaxation algorithm and the simulated annealing method are applied.
他の点は上記実施例1と同一である。 Other points are the same as those of the first embodiment.
次に、図14を参照して、メトロポリスアルゴリズムを用いて解を求める場合を説明する。 Next, a case where a solution is obtained using the metropolis algorithm will be described with reference to FIG.
(S1)ID不明ブロックBK1〜BKpの識別符号ID1〜IDp及びその解IID1〜IIDpに初期値ID10〜IDp0を与える。i及びjに初期値1を代入する(i←1、j←1)。Utの前回値UtBに、大きな初期値UtBmaxを与える。
(S1) Initial values ID10 to IDp0 are given to identification codes ID1 to IDp of ID unknown blocks BK1 to BKp and their solutions IID1 to IIDp. The
(S2)評価関数の値
Ut=U(BK1,ID1)+U(BK2,ID2)+・・・+U(BKp,IDp)
を計算する。
(S2) Value of Evaluation Function Ut = U (BK1, ID1) + U (BK2, ID2) +... + U (BKp, IDp)
Calculate
(S3、S4)Ut<UtBであれば、IIDi←IDi、UtB←Ut。 (S3, S4) If Ut <UtB, then IDi ← IDi, UtB ← Ut.
(S5)j←j+1
(S6、S7)j≦mであればブロックBKiのIDiの値を更新してステップS2へ戻り、そうでなければ次のステップS6へ進む。
(S5) j ←
(S6, S7) If j ≦ m, the value of IDi of the block BKi is updated and the process returns to step S2. Otherwise, the process proceeds to the next step S6.
(S8)IDi←IIDi、i←i+1
(S9)i≦pであればステップS2へ戻り、そうでなければ処理を終了する。
(S8) IDi ← IIDi, i ← i + 1
(S9) If i ≦ p, the process returns to step S2, otherwise the process ends.
このようにして、ID不明ブロックBK1〜BKpのIDがそれそれIID1〜IIDpと決定される。 In this way, the IDs of the ID unknown blocks BK1 to BKp are determined as IID1 to IIDp, respectively.
理論的には、時刻(t−1)での全ブロックをID不明ブロックとして上記計算により適正なIDを決定可能である。 Theoretically, an appropriate ID can be determined by the above calculation with all blocks at time (t-1) as unknown ID blocks.
なお、本発明には外にも種々の変形例が含まれる。 Note that the present invention includes various other modifications.
例えば、要求される処理速度によっては、図7の画像処理装置での全処理をコンピュータで実行することも可能である。 For example, depending on the required processing speed, the entire processing in the image processing apparatus in FIG. 7 can be executed by a computer.
また、評価関数は上記3要素のうち少なくとも1つを含むものであればよい。各要素の上記関数は一例であり、推定の確度が上がるほど一方向に変化(単調変化)する種々の形のものを用いることができる。 Further, the evaluation function only needs to include at least one of the three elements. The above function of each element is an example, and various types that change in one direction (monotonic change) as the estimation accuracy increases can be used.
(付記1) 複数の時系列画像と背景画像とが格納される画像記憶部と、
画像処理部とを有し、該画像処理部は、
(1)該複数の時系列画像のうち時刻tの画像について、該背景画像と比較して移動物体を認識し、認識された該移動物体に識別符号を付与し、
(2)該時刻tの画像と、該時刻tより前の時刻(t−1)の画像との相関関係から該時刻(t−1)の画像に含まれる移動物体に識別符号を付与する、
ことにより該時刻(t−1)の画像に含まれている非分離移動物体を分割することを特徴とする移動物体認識装置。
(Supplementary Note 1) An image storage unit that stores a plurality of time-series images and background images;
An image processing unit, the image processing unit,
(1) For the image at time t among the plurality of time-series images, a moving object is recognized as compared with the background image, and an identification code is assigned to the recognized moving object,
(2) An identification code is given to the moving object included in the image at the time (t−1) from the correlation between the image at the time t and the image at the time (t−1) prior to the time t.
Accordingly, the non-separated moving object included in the image at the time (t-1) is divided.
(付記2) 上記画像処理部は、上記(2)の処理を繰り返すことにより上記移動物体をトラッキングすることを特徴とする付記1記載の移動物体認識装置。
(Supplementary note 2) The moving object recognition apparatus according to
(付記3) 上記画像処理部は、上記トラッキングにより得られた軌跡が交通ルールに違反しているかどうかを判定することを特徴とする付記2記載の移動物体認識装置。
(Supplementary note 3) The moving object recognition device according to
(付記4) 上記画像処理部は、
(3)上記時刻(t−1)の画像について、上記背景画像との比較により移動物体の存否を判定し、
上記(2)では、該時刻(t−1)の画像中に移動物体が存在すると判定された各領域が、上記時刻tの画像中の移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該領域に付与すべき識別符号を決定する、
ことを特徴とする付記1記載の移動物体認識装置。
(Appendix 4) The image processing unit
(3) For the image at time (t-1), the presence or absence of a moving object is determined by comparison with the background image,
In (2) above, it is assumed that each region determined to have a moving object in the image at time (t-1) has an identification code for any of the moving objects in the image at time t. Based on the magnitude relationship between the evaluation function values at the time, an identification code to be assigned to the area is determined.
The moving object recognizing device according to
(付記5) 上記画像処理部は、
(4)上記時刻tの画像に含まれる各移動物体の動きベクトルを求め、
上記(2)では、
上記時刻(t−1)の画像に含まれる移動物体上の第1領域が識別符号Xを持っていると仮定して、該第1領域に対応した該時刻tでの画像上の第2領域を該動きベクトルに基づき推定し、
該第1領域と該第2領域との相関度を含む上記評価関数の値を求め、
複数の該識別符号Xの各々について求めた該評価関数の値の大小関係に基づいて、該第1領域に付与すべき識別符号を決定する、
ことを特徴とする付記4記載の移動物体認識装置。
(Supplementary Note 5) The image processing unit
(4) Obtain a motion vector of each moving object included in the image at time t,
In (2) above,
Assuming that the first area on the moving object included in the image at time (t-1) has the identification code X, the second area on the image at time t corresponding to the first area. Is estimated based on the motion vector,
A value of the evaluation function including a degree of correlation between the first region and the second region is obtained;
Determining an identification code to be assigned to the first region based on the magnitude relationship of the value of the evaluation function obtained for each of the plurality of identification codes X;
The moving object recognizing device according to
(付記6) 上記画像処理部は、
(5)上記時刻(t−1)での画像を、複数ピクセルからなるブロックに分割し、
(6)移動物体を含む各ブロックに識別符号を仮りに付与し、
上記評価関数は、着目ブロックと隣接するブロックについて、該着目ブロックと同一識別符号のブロック数が多いほど、該着目ブロックが該同一識別符号を持つ確度が高くなる関数を含む、
ことを特徴とする付記5記載の移動物体認識装置。
(Appendix 6) The image processing unit
(5) The image at the time (t-1) is divided into blocks composed of a plurality of pixels,
(6) Temporarily assigning an identification code to each block including a moving object,
The evaluation function includes a function that increases the probability that the target block has the same identification code as the number of blocks having the same identification code as the target block increases with respect to the block adjacent to the target block.
The moving object recognizing device according to
(付記7) 上記画像処理部は、上記(4)において、
上記時刻tの第1画像とこれと時間的に前又は後の第2画像とを、複数ピクセルからなるブロックに分割し、
移動物体の一部が含まれる各ブロックについて、互いに類似した該第1画像中のブロックの画像と該第2画像中のブロックの画像とを見つけて、該ブロックの動きベクトルを求め、
動きベクトルを持つ連続した複数のブロックの各動きベクトルの代表値を、この連続した複数のブロックに対応した移動物体の動きベクトルと決定する、
ことを特徴とする付記5記載の移動物体認識装置。
(Appendix 7) In the image processing unit (4),
Dividing the first image at the time t and the second image before or after in time into blocks composed of a plurality of pixels;
For each block including a part of a moving object, find a block image in the first image and a block image in the second image that are similar to each other, and obtain a motion vector of the block;
Determining a representative value of each motion vector of a plurality of consecutive blocks having a motion vector as a motion vector of a moving object corresponding to the plurality of consecutive blocks;
The moving object recognizing device according to
(付記8) 移動物体を撮像する電子カメラと、
該電子カメラで撮像された、複数の時系列画像と背景画像とが格納される画像記憶部と、
画像処理部とを有し、該画像処理部は、
(1)該複数の時系列画像のうち時刻tの画像について、該背景画像と比較して移動物体を認識し、認識された該移動物体に識別符号を付与し、
(2)該時刻tの画像と、該時刻tより前の時刻(t−1)の画像との相関関係から該時刻(t−1)の画像に含まれる移動物体に識別符号を付与する、
ことにより該時刻(t−1)の画像に含まれている非分離移動物体を分割することを特徴とする移動物体認識装置。
(Appendix 8) an electronic camera that images a moving object;
An image storage unit for storing a plurality of time-series images and background images captured by the electronic camera;
An image processing unit, the image processing unit,
(1) For the image at time t among the plurality of time-series images, a moving object is recognized as compared with the background image, and an identification code is assigned to the recognized moving object,
(2) An identification code is given to the moving object included in the image at the time (t−1) from the correlation between the image at the time t and the image at the time (t−1) prior to the time t.
Accordingly, the non-separated moving object included in the image at the time (t-1) is divided.
(付記9) 複数の時系列画像を処理する移動物体認識方法において、
時刻tの画像について、背景画像と比較して移動物体を認識し、認識された該移動物体に識別符号を付与し、
該時刻tの画像と、該時刻tより前の時刻(t−1)の画像との相関関係から該時刻(t−1)の画像に含まれる移動物体に識別符号を付与する、
ことにより該時刻(t−1)の画像に含まれている非分離移動物体を分割することを特徴とする移動物体認識方法。
(Supplementary Note 9) In the moving object recognition method for processing a plurality of time-series images,
For the image at time t, the moving object is recognized compared with the background image, and an identification code is given to the recognized moving object,
An identification code is assigned to a moving object included in the image at time (t−1) from the correlation between the image at time t and an image at time (t−1) prior to time t.
Accordingly, the non-separated moving object included in the image at the time (t-1) is divided.
(付記10) 複数の時系列画像を処理するプログラムが記録されたコンピュータ読み取り可能な記録媒体において、該プログラムは、
時刻tの画像について、背景画像と比較して移動物体を認識し、認識された該移動物体に識別符号を付与し、
該時刻tの画像と、該時刻tより前の時刻(t−1)の画像との相関関係から該時刻(t−1)の画像に含まれる移動物体に識別符号を付与する、
ことにより該時刻(t−1)の画像に含まれている非分離移動物体を分割することを特徴とするコンピュータ読み取り可能な記録媒体。
(Supplementary Note 10) In a computer-readable recording medium in which a program for processing a plurality of time-series images is recorded, the program includes:
For the image at time t, the moving object is recognized compared with the background image, and an identification code is given to the recognized moving object,
An identification code is assigned to a moving object included in the image at time (t−1) from the correlation between the image at time t and an image at time (t−1) prior to time t.
Thus, a non-separated moving object included in the image at the time (t-1) is divided.
10〜12、11a〜11d 道路
15 電子カメラ
20 画像処理装置
21 画像メモリ
22 背景画像生成部
23 トラッキング処理部
24 オブジェクトマップメモリ
25 ID生成/消滅部
26 動きベクトル算出部
27 移動物体更新部
28 不明ID決定部
29 軌跡メモリ
30 交通違反判定部
31 交通ルール記憶部
40 外部記憶装置
M1、M2 車両
10-12, 11a-
Claims (8)
該記憶装置に結合されたプロセッサと、
を有し、該プログラムは該プロセッサに対し、
(1)該複数の時系列画像のうち時刻tの画像と時刻(t−1)の画像とのブロックマッチングにより、該時刻(t−1)の画像に含まれる移動物体の時刻tから時刻(t−1)への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定し、
処理(1)を1回行い又は複数回繰り返して該移動物体を、時間を遡ってトラッキングすることにより、非分離移動物体を分割する、
移動物体認識装置であって、該プログラムは該プロセッサに対し、該時刻(t−1)の画像に含まれる1つのブロックの移動物体識別符号を決定させる場合に、
該ブロックを、該時刻(t−1)の画像上の複数の移動物体の動きベクトルのそれぞれに基づいて、該時刻tの画像上に移動させて得られる各領域iの該ブロックに対する相関の評価関数の値を、この領域への動きベクトルに対応する移動物体の識別符号iに関して求めさせ、該複数の移動物体のそれぞれについての該値のうち相対的な最適値に対応した移動物体識別符号を該ブロックに付与させる、
ことを特徴とする移動物体認識装置。 A storage device for storing time-series images and programs;
A processor coupled to the storage device;
The program for the processor
(1) By block matching between the image at time t and the image at time (t−1) among the plurality of time series images, the time (from time t of the moving object included in the image at time (t−1) ( determining a motion vector to t-1) and a moving object identification code in units of blocks including a plurality of pixels;
The non-separating moving object is divided by performing the process (1) once or by repeating the moving object once and tracking the moving object backward in time.
In the moving object recognition apparatus, when the program causes the processor to determine a moving object identification code of one block included in the image at the time (t−1),
Evaluation of correlation with respect to the block in each region i obtained by moving the block onto the image at the time t based on the motion vectors of a plurality of moving objects on the image at the time (t−1) The value of the function is obtained with respect to the identification code i of the moving object corresponding to the motion vector to this region, and the moving object identification code corresponding to the relative optimum value among the values for each of the plurality of moving objects is obtained. Give to the block,
The moving object recognition apparatus characterized by the above-mentioned.
該記憶装置に結合されたプロセッサと、
を有し、該プログラムは該プロセッサに対し、
(1)該複数の時系列画像のうち時刻tの画像と時刻(t−1)の画像とのブロックマッチングにより、該時刻(t−1)の画像に含まれる移動物体の時刻tから時刻(t−1)への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定し、
処理(1)を1回行い又は複数回繰り返して該移動物体を、時間を遡ってトラッキングすることにより、非分離移動物体を分割する、
移動物体認識装置であって、該プログラムは該プロセッサに対し、該時刻(t−1)の画像に含まれる複数のブロックの移動物体識別符号を決定させる場合に、該複数のブロックの各ブロックについて、
該ブロックを、該時刻(t−1)の画像上の複数の移動物体の動きベクトルのそれぞれに基づいて、該時刻tの画像上に移動させて得られる各領域iの該ブロックに対する相関の評価関数の値を、この領域への動きベクトルに対応する移動物体の識別符号iに関して求めさせ、
該複数のブロックのそれぞれの該評価関数の値の総和が相対的な最適値となる移動物体識別符号を該複数のブロックのそれぞれに付与させる、
ことを特徴とする移動物体認識装置。 A storage device for storing time-series images and programs;
A processor coupled to the storage device;
The program for the processor
(1) By block matching between the image at time t and the image at time (t−1) among the plurality of time series images, the time (from time t of the moving object included in the image at time (t−1) ( determining a motion vector to t-1) and a moving object identification code in units of blocks including a plurality of pixels;
The non-separating moving object is divided by performing the process (1) once or by repeating the moving object once and tracking the moving object backward in time.
A moving object recognition apparatus, wherein the program causes the processor to determine a moving object identification code of a plurality of blocks included in the image at the time (t-1), for each block of the plurality of blocks. ,
Evaluation of correlation with respect to the block in each region i obtained by moving the block onto the image at the time t based on the motion vectors of a plurality of moving objects on the image at the time (t−1) The value of the function is determined with respect to the identification code i of the moving object corresponding to the motion vector to this region;
Each of the plurality of blocks is given a moving object identification code in which the sum of the values of the evaluation functions of the plurality of blocks is a relative optimal value.
The moving object recognition apparatus characterized by the above-mentioned.
ことを特徴とする請求項1又は2に記載の移動物体認識装置。 The evaluation function is represented by the sum of a plurality of sub-evaluation functions, and a first sub-evaluation function that becomes a more appropriate value as the total area of the block pieces of the moving object identification code i included in the region i is larger is defined as As one of the evaluation functions,
The moving object recognition apparatus according to claim 1 or 2, wherein
ことを特徴とする請求項1又は2に記載の移動物体認識装置。 The evaluation function is represented by the sum of a plurality of sub-evaluation functions, and the one block of absolute values of differences between the pixel values included in the one block and the corresponding pixel values included in the region i Including, as one of the plurality of sub-evaluation functions, a second sub-evaluation function that becomes an appropriate value as the sum of the pixels included in
The moving object recognition apparatus according to claim 1 or 2, wherein
ことを特徴とする請求項3又は4に記載の移動物体認識装置。 The evaluation function becomes more appropriate as the number of blocks of the moving object identification code i among the moving object identification codes assigned to the blocks around the one block on the image at time (t−1) increases. A third sub-evaluation function as one of the plurality of sub-evaluation functions,
The moving object recognition apparatus according to claim 3 or 4, wherein
該領域iに含まれる移動物体識別符号iのブロック片の合計面積が大きいほど適値になる第1サブ評価関数と、
該1つのブロックに含まれる画素の値と該領域iに含まれる対応する画素の値との差の絶対値の、該1つのブロックに含まれる各画素についての総和が小さいほど適値になる第2サブ評価関数と、
該時刻(t−1)の画像上の該1つのブロックの周囲のブロックに付与されている移動物体識別符号のうち、移動物体識別符号iのブロック数が多いほど適値になる第3サブ評価関数と、
の和を含むことを特徴とする請求項1又は2に記載の移動物体認識装置。 The evaluation function is
A first sub-evaluation function that becomes an appropriate value as the total area of the block pieces of the moving object identification code i included in the region i increases;
The smaller the sum of the absolute value of the difference between the value of the pixel included in the one block and the value of the corresponding pixel included in the region i is, the more appropriate the value is. Two sub-evaluation functions;
Third sub-evaluation that is more appropriate as the number of blocks of the moving object identification code i is larger among the moving object identification codes assigned to the blocks around the one block on the image at the time (t-1). Functions and
The moving object recognition apparatus according to claim 1, wherein the moving object recognition apparatus includes the sum of
(1)該複数の時系列画像のうち時刻tの画像と時刻(t−1)の画像とのブロックマッチングにより、時刻(t−1)の画像に含まれる移動物体の時刻tから時刻(t−1)への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定させ、
処理(1)を1回行わせ又は複数回繰り返し行わせて該移動物体を、時間を遡ってトラッキングさせることにより、非分離移動物体を分割させ、
該プログラムは、該コンピュータに対し、該時刻(t−1)の画像に含まれる1つのブロックの移動物体識別符号を決定させる場合に、
該ブロックを、該時刻(t−1)の画像上の複数の移動物体の動きベクトルのそれぞれに基づいて、該時刻tの画像上に移動させて得られる各領域iの該ブロックに対する相関の評価関数の値を、この領域への動きベクトルに対応する移動物体の識別符号に関して求めさせ、該複数の移動物体のそれぞれについての該値のうち相対的な最適値に対応した移動物体識別符号を該ブロックに付与させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。 In a computer-readable recording medium on which a program for processing a plurality of time-series images is recorded, the program is
(1) By block matching between the image at time t and the image at time (t−1) among the plurality of time-series images, time (t) from time t of the moving object included in the image at time (t−1) -1) to determine a motion vector and a moving object identification code for each block including a plurality of pixels,
The processing (1) is performed once or repeatedly, and the moving object is tracked back in time to divide the non-separating moving object,
When the program causes the computer to determine a moving object identification code of one block included in the image at the time (t-1),
Evaluation of correlation with respect to the block in each region i obtained by moving the block onto the image at the time t based on the motion vectors of a plurality of moving objects on the image at the time (t−1) The value of the function is obtained with respect to the identification code of the moving object corresponding to the motion vector to this region, and the moving object identification code corresponding to the relative optimum value among the values for each of the plurality of moving objects is calculated. To give to the block,
A computer-readable recording medium.
(1)該複数の時系列画像のうち時刻tの画像と時刻(t−1)の画像とのブロックマッチングにより、該時刻(t−1)の画像に含まれる移動物体の時刻tから時刻(t−1)への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定させ、
処理(1)を1回行わせ又は複数回繰り返させて該移動物体を、時間を遡ってトラッキングさせることにより、非分離移動物体を分割させ、
該プログラムは、該コンピュータに対し、該時刻(t−1)の画像に含まれる複数のブロックの移動物体識別符号を決定させる場合に、該複数のブロックの各ブロックについて、
該ブロックを、該時刻(t−1)の画像上の複数の移動物体の動きベクトルのそれぞれに基づき、該時刻tの画像上に移動させて得られる各領域iの該ブロックに対する相関の評価関数の値を、この領域への動きベクトルに対応する移動物体の識別符号iに関して求めさせ、
該複数のブロックのそれぞれの該評価関数の値の総和が相対的な最適値となる移動物体識別符号を該複数のブロックのそれぞれに付与させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。 In a computer-readable recording medium on which a program for processing a plurality of time-series images is recorded, the program is
(1) By block matching between the image at time t and the image at time (t−1) among the plurality of time series images, the time (from time t of the moving object included in the image at time (t−1) ( a motion vector to t-1) and a moving object identification code are determined in units of blocks including a plurality of pixels;
The process (1) is performed once or repeated a plurality of times to track the moving object backward in time, thereby dividing the non-separated moving object,
When the program causes the computer to determine moving object identification codes of a plurality of blocks included in the image at the time (t-1), for each block of the plurality of blocks,
Correlation evaluation function for each block of region i obtained by moving the block on the image at time t based on the motion vectors of a plurality of moving objects on the image at time (t-1) For the moving object identification code i corresponding to the motion vector to this region,
Each of the plurality of blocks is given a moving object identification code in which the sum of the values of the evaluation functions of the plurality of blocks is a relative optimal value.
A computer-readable recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298635A JP4818430B2 (en) | 2009-12-28 | 2009-12-28 | Moving object recognition method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298635A JP4818430B2 (en) | 2009-12-28 | 2009-12-28 | Moving object recognition method and apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000318519A Division JP2002133421A (en) | 2000-10-18 | 2000-10-18 | Moving body recognition method and device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010113732A JP2010113732A (en) | 2010-05-20 |
JP4818430B2 true JP4818430B2 (en) | 2011-11-16 |
Family
ID=42302191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009298635A Expired - Fee Related JP4818430B2 (en) | 2009-12-28 | 2009-12-28 | Moving object recognition method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4818430B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5720275B2 (en) * | 2011-02-03 | 2015-05-20 | 株式会社リコー | Imaging apparatus and imaging method |
JP5921329B2 (en) * | 2012-05-17 | 2016-05-24 | キヤノン株式会社 | Image processing apparatus, tracking object management method, and program |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0863602A (en) * | 1994-08-19 | 1996-03-08 | Fuji Electric Co Ltd | Object tracking device |
JPH08167022A (en) * | 1994-12-12 | 1996-06-25 | Toshiba Corp | Image monitor device |
JPH0991439A (en) * | 1995-09-26 | 1997-04-04 | Fuji Electric Co Ltd | Object monitor |
JPH09161071A (en) * | 1995-12-12 | 1997-06-20 | Sony Corp | Device and method for making areas correspond to each other |
JPH09297580A (en) * | 1996-05-07 | 1997-11-18 | Kawai Musical Instr Mfg Co Ltd | Sound effect adding device of electronic musical instrument |
JP3573895B2 (en) * | 1997-01-20 | 2004-10-06 | 松下電器産業株式会社 | Animal extraction device |
JP4420512B2 (en) * | 1999-06-01 | 2010-02-24 | 富士通マイクロエレクトロニクス株式会社 | Moving object motion classification method and apparatus, and image recognition apparatus |
JP4583493B2 (en) * | 1999-06-01 | 2010-11-17 | 富士通セミコンダクター株式会社 | Moving object recognition method and apparatus |
-
2009
- 2009-12-28 JP JP2009298635A patent/JP4818430B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010113732A (en) | 2010-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Faro et al. | Adaptive background modeling integrated with luminosity sensors and occlusion processing for reliable vehicle detection | |
JP6897335B2 (en) | Learning program, learning method and object detector | |
JP6650657B2 (en) | Method and system for tracking moving objects in video using fingerprints | |
CN110491132B (en) | Vehicle illegal parking detection method and device based on video frame picture analysis | |
WO2013012091A1 (en) | Information processing apparatus, object tracking method, and program storage medium | |
JP2014071902A5 (en) | ||
JP4420512B2 (en) | Moving object motion classification method and apparatus, and image recognition apparatus | |
CN111401196A (en) | Method, computer device and computer readable storage medium for self-adaptive face clustering in limited space | |
JP2019139420A (en) | Three-dimensional object recognition device, imaging device, and vehicle | |
JP2002133421A (en) | Moving body recognition method and device | |
CN111402293A (en) | Vehicle tracking method and device for intelligent traffic | |
Wang et al. | Object counting in video surveillance using multi-scale density map regression | |
JP4583493B2 (en) | Moving object recognition method and apparatus | |
Javadzadeh et al. | Fast vehicle detection and counting using background subtraction technique and prewitt edge detection | |
Rao et al. | Frame difference and Kalman filter techniques for detection of moving vehicles in video surveillance | |
JP4818430B2 (en) | Moving object recognition method and apparatus | |
Hehn et al. | Instance stixels: Segmenting and grouping stixels into objects | |
CN116434156A (en) | Target detection method, storage medium, road side equipment and automatic driving system | |
CN113762027B (en) | Abnormal behavior identification method, device, equipment and storage medium | |
Bernuy et al. | Adaptive and real-time unpaved road segmentation using color histograms and RANSAC | |
Ha et al. | Improved Optical Flow Estimation In Wrong Way Vehicle Detection. | |
US20220270351A1 (en) | Image recognition evaluation program, image recognition evaluation method, evaluation apparatus, and evaluation system | |
CN114399532A (en) | Camera position and posture determining method and device | |
Abdullah et al. | Contour Based Tracking for Driveway Entrance Counting System | |
Yuan et al. | A robust vanishing point estimation method for lane detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110830 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110830 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4818430 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |