JP2012064153A

JP2012064153A - Moving object detector and program

Info

Publication number: JP2012064153A
Application number: JP2010209878A
Authority: JP
Inventors: Mikio Sasaki; 美樹男笹木
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2010-09-17
Filing date: 2010-09-17
Publication date: 2012-03-29
Anticipated expiration: 2030-09-17
Also published as: JP5434861B2

Abstract

PROBLEM TO BE SOLVED: To improve the detection capability of a device for detecting a moving object in an image taken by a camera.SOLUTION: A moving object detector extracts feature points and moving feature points from an obtained image, and compares an extraction result with template data to detect a moving object. In the template data, positional information on an area with the moving object in the obtained image and a spatial distribution feature amount indicating distribution of feature points and moving feature points in the area with the moving object shown are written. The spatial distribution feature amount is a vector amount composed of a factor indicating the number of feature points and the number of moving feature points in each block obtained by dividing the target area. The moving object detector counts, on the basis of the extraction result, the number of feature points and the number of moving feature points in each block in a moving object detection target area corresponding to an area indicated by the template data to generate a spatial distribution feature amount, and then compares the amount with the spatial distribution feature amount indicated by the template data to detect the moving object.

Description

本発明は、移動体を検出するための装置及びプログラムに関する。 The present invention relates to an apparatus and a program for detecting a moving body.

従来、移動体検出装置としては、カメラの撮影画像に映る歩行者を検出する装置であって、撮影画像のサンプルから動きベクトルを抽出し、動きベクトルに対してパラメトリック固有空間法を適用し固有空間上に投影して得られる参照曲線のデータを予め生成する一方、歩行者検出対象の撮影画像から動きベクトルを抽出し、動きベクトルに対してパラメトリック固有空間法を適用して固有空間上に投影される投影点の情報を得て、この投影点と参照曲線との比較により撮影画像に映る歩行者を検出するものが知られている（特許文献１参照）。 Conventionally, as a moving body detection device, a device that detects a pedestrian reflected in a captured image of a camera, extracts a motion vector from a sample of the captured image, and applies a parametric eigenspace method to the motion vector. The reference curve data obtained by projecting up is generated in advance, while the motion vector is extracted from the captured image of the pedestrian detection target, and the motion vector is projected onto the eigenspace by applying the parametric eigenspace method. It is known that a pedestrian appearing in a captured image is detected by obtaining information on a projected point and comparing the projected point with a reference curve (see Patent Document 1).

また、撮影画像から特徴点の動きベクトルを算出し、各特徴点の動きベクトルから自車両に接近してくる複数の特徴点のまとまりを接近移動物体として検出し、モニタ上で、撮影画像における接近移動物体の画像領域を強調表示する装置（特許文献２参照）や、各特徴点の動きベクトルから移動ベクトルが略等しい複数の特徴点のまとまりを移動体として検出する装置（特許文献３参照）が知られている。 In addition, the motion vector of the feature point is calculated from the captured image, and a group of feature points approaching the vehicle is detected from the motion vector of each feature point as an approaching moving object, and the approach in the captured image is displayed on the monitor. A device that highlights an image area of a moving object (see Patent Document 2) and a device that detects a group of a plurality of feature points having substantially the same movement vector from the motion vectors of each feature point (see Patent Document 3). Are known.

この他、撮影画像から特徴点を抽出する方法としては、Ｈａｒｒｉｓ法やＫＬＴ（ＫａｎａｄｅＬｕｃａｓＴｏｍａｓｉＴｒａｃｋｅｒ）法により特徴点を抽出する方法が知られている。ＫＬＴ法によれば抽出した特徴点を追跡して特徴点の動きベクトル（オプティカルフロー）を算出することも可能である。 In addition, as a method for extracting a feature point from a captured image, a method for extracting a feature point by a Harris method or a KLT (Kanade Lucas Tomasi Tracker) method is known. According to the KLT method, the extracted feature points can be tracked to calculate a motion vector (optical flow) of the feature points.

更に、動きベクトルの算出方法としては、勾配法やブロックマッチング法が知られ、これらの技術を利用したものとしては、勾配法に基づき、撮影画像の遠距離に対応する領域の画素の動きベクトルを算出し、ブロックマッチング法に基づき、撮影画像の近距離に対応する領域の画素の動きベクトルを算出するものが知られている（特許文献４参照）。 Further, gradient methods and block matching methods are known as motion vector calculation methods, and those using these techniques are based on the gradient method to calculate the motion vectors of pixels in the region corresponding to the long distance of the captured image. A device that calculates and calculates a motion vector of a pixel in a region corresponding to a short distance of a captured image based on a block matching method is known (see Patent Document 4).

また、複数の手法を用いて移動体を検出する方法としては、車両が停止していない場合には、ブロックマッチング法により算出した動きベクトルに基づき移動体を検出し、車両が停止している場合には、フレーム間の差分画像に基づき、移動体を検出する方法が知られている（特許文献５参照）。この他、移動体が画面上から消える消失点を検出して、その周囲を解析し移動体を検出するものが知られている（特許文献６参照）。 In addition, as a method of detecting a moving body using a plurality of methods, when the vehicle is not stopped, the moving body is detected based on a motion vector calculated by the block matching method, and the vehicle is stopped. Is a method for detecting a moving body based on a difference image between frames (see Patent Document 5). In addition, there is known a method in which a moving object is detected by detecting a vanishing point where the moving object disappears from the screen, and the surroundings are detected (see Patent Document 6).

この他、カメラが搭載されたロボットにおけるカメラの位置及び姿勢を、撮影画像から抽出された特徴点群とモデルから特定される特徴点群とを比較することにより判定する装置であって、撮影画像から抽出された特徴点群とモデルから特定される特徴点群との二乗誤差を算出し、二乗誤差に基づき、撮影画像から抽出された特徴点群とモデルから特定される特徴点群との適合度を判定し、適合する場合にはモデルに対応する位置及び姿勢を、現在のカメラ位置及び姿勢として判定するものが知られている（特許文献７参照）。 In addition, a device for determining the position and orientation of a camera in a robot equipped with a camera by comparing a feature point group extracted from a captured image with a feature point group specified from a model, the captured image The square error between the feature point group extracted from the model and the feature point group specified from the model is calculated, and the feature point group extracted from the photographed image and the feature point group specified from the model are matched based on the square error It is known that the degree is determined and the position and orientation corresponding to the model are determined as the current camera position and orientation when matching (see Patent Document 7).

また、画素ブロック単位で動き情報を取得して移動体を検出する装置であって、動きベクトルがあまり発生しない離れた位置にある歩行者等の移動体を検出するために、動き補償差分画像の二次元ＤＣＴ係数と動きベクトルとを併用して画像評価する装置が知られている（特許文献８参照）。 In addition, it is a device for detecting a moving object by acquiring motion information in pixel block units, and in order to detect a moving object such as a pedestrian in a remote position where a motion vector is not generated so much, a motion compensation difference image An apparatus for evaluating an image using a two-dimensional DCT coefficient and a motion vector in combination is known (see Patent Document 8).

特開２００３−２８８６００号公報JP 2003-288600 A 特開２００５−１２３９６８号公報JP 2005-123968 A 特開２００５−１３２１７０号公報JP-A-2005-132170 特開２００７−１７２５４０号公報JP 2007-172540 A 特開２００９−１４６１５３号公報JP 2009-146153 A 特開２００９−１４３３８５号公報JP 2009-143385 A 特開平６−２６２５６８号公報JP-A-6-262568 特開２００９−２７１７５８号公報JP 2009-271758 A

ところで、本発明者は、車載カメラの撮影画像から、撮影画像に現れる自動車や自転車等の移動体を迅速に検出できるようにすることを考えている。しかしながら、従来技術では、背景雑音による影響で、その検出能力向上に限界があった。 By the way, the present inventor is considering to be able to quickly detect a moving body such as an automobile or a bicycle that appears in the captured image from the captured image of the in-vehicle camera. However, the prior art has a limit in improving its detection capability due to the influence of background noise.

例えば、移動体検出対象の撮影画像から得られた特徴点群と、モデルやサンプルから得られる特徴点群とを比較して移動体を検出する場合について述べると、背景雑音がなくともモデルやサンプルから得られる特徴点群と移動体検出対象の撮影画像から得られる特徴点群とは正確に一致する類のものではないことから、背景雑音が含まれる場合に、モデルやサンプルから得られる特徴点群と移動体検出対象の撮影画像から得られた特徴点群との類似度を適切に評価するのは容易ではなく、従来技術では、特に撮影画像に現れ始めの移動体の検出を精度よく行うのが難しいといった問題があった。 For example, a case where a moving object is detected by comparing a feature point group obtained from a captured image of a moving object detection target with a feature point group obtained from a model or a sample will be described. Since the feature point group obtained from the above and the feature point group obtained from the moving object detection target image are not exactly the same kind, the feature point obtained from the model or sample when background noise is included It is not easy to appropriately evaluate the similarity between a group and a feature point group obtained from a captured image of a moving object detection target, and the conventional technique accurately detects a moving object that first appears in the captured image. There was a problem that it was difficult.

一方、動きベクトルに基づいて移動体を検出する際には、撮影画像に現れ始めの移動体のような撮影画像内において動きの少ない移動体についての動きベクトルを精度よく抽出することが難しく、移動体が撮影画像に表れてから移動体を検出できるようになるまでに時間を要するといった問題があった。 On the other hand, when detecting a moving object based on a motion vector, it is difficult to accurately extract a motion vector for a moving object with little motion in a captured image such as a moving object that first appears in a captured image. There is a problem that it takes time until the moving body can be detected after the body appears in the captured image.

本発明は、こうした問題に鑑みなされたものであり、カメラによる撮影画像から特徴点を抽出して移動体を検出する装置であって、高い検出能力を有する移動体検出装置、及び、当該移動体検出装置としての機能をコンピュータに実現させるためのプログラムを提供することを目的とする。 The present invention has been made in view of these problems, and is a device that detects a moving body by extracting feature points from a photographed image by a camera, and has a high detection capability, and the moving body. It is an object to provide a program for causing a computer to realize a function as a detection device.

上記目的を達成するためになされた本発明の移動体検出装置は、カメラの撮影画像に映る移動体を検出する移動体検出装置であって、撮影画像において移動体が映る領域の位置情報と、この領域に移動体が存在する状態での撮影画像の当該領域における特徴点の空間分布が数値化されてなる空間分布特徴量と、が関連付けられたテンプレートデータを、記憶手段に記憶保持するものである。 The moving body detection device of the present invention made to achieve the above object is a moving body detection device that detects a moving body reflected in a captured image of a camera, and includes position information of a region where the moving body is reflected in the captured image, Template data in which spatial distribution feature values obtained by quantifying the spatial distribution of feature points in a region of a captured image in a state where a moving body exists in this region is stored in a storage unit. is there.

この移動体検出装置は、更に、特徴点抽出手段と、領域設定手段と、空間分布特徴量算出手段と、確度判定手段と、移動体検出手段と、を備える。この移動体検出装置において、特徴点抽出手段は、カメラから取得した移動体検出対象の撮影画像から特徴点を抽出する。また、領域設定手段は、テンプレートデータが備える位置情報に基づき、位置情報が示す領域に対応した移動体検出対象の撮影画像内の領域を、評価領域に設定し、空間分布特徴量算出手段は、特徴点抽出手段により抽出された特徴点に基づき、移動体検出対象の撮影画像における領域設定手段により設定された評価領域の特徴点の空間分布を数値化した空間分布特徴量を算出する。 The moving body detection device further includes a feature point extraction unit, a region setting unit, a spatial distribution feature amount calculation unit, an accuracy determination unit, and a moving body detection unit. In this moving body detection device, the feature point extraction means extracts a feature point from the captured image of the moving body detection target acquired from the camera. The area setting means sets the area in the captured image of the moving object detection target corresponding to the area indicated by the position information based on the position information included in the template data as an evaluation area, and the spatial distribution feature amount calculating means includes: Based on the feature points extracted by the feature point extraction means, a spatial distribution feature quantity is calculated by quantifying the spatial distribution of the feature points in the evaluation area set by the area setting means in the captured image of the moving object detection target.

一方、確度判定手段は、移動体検出対象の撮影画像における上記評価領域にテンプレートデータに対応する移動体が存在する確度として、空間分布特徴量算出手段により算出された空間分布特徴量と、テンプレートデータが示す空間分布特徴量との類似度を算出し、移動体検出手段は、確度判定手段により算出された確度に基づき、移動体検出対象の撮影画像におけるテンプレートデータに対応する移動体の存在有無を判定する。これによって、移動体検出対象の撮影画像に映る移動体を検出する。尚、この移動体検出装置は、例えば、車載カメラの撮影画像に基づき移動体を検出する構成にすることができる。 On the other hand, the accuracy determination unit includes the spatial distribution feature amount calculated by the spatial distribution feature amount calculation unit and the template data as the probability that the mobile unit corresponding to the template data exists in the evaluation area in the captured image of the mobile unit detection target. The mobile body detection means calculates the presence / absence of a mobile body corresponding to the template data in the captured image of the mobile body detection target based on the accuracy calculated by the accuracy determination means. judge. As a result, the moving body shown in the captured image of the moving body detection target is detected. In addition, this moving body detection apparatus can be set as the structure which detects a moving body based on the picked-up image of a vehicle-mounted camera, for example.

本発明によれば、撮影画像から得られる特徴点とテンプレートデータとの比較により移動体を検出する際に、特徴点の空間分布を数値化した空間分布特徴量を用いる。従って、この発明によれば、背景雑音の影響を抑えて、撮影画像から得られる特徴点とテンプレートデータとの一致度を適切に評価することができ、移動体検出装置による移動体の検出能力を高めることができる。 According to the present invention, when a moving object is detected by comparing a feature point obtained from a captured image with template data, a spatial distribution feature value obtained by quantifying the spatial distribution of the feature point is used. Therefore, according to the present invention, it is possible to appropriately evaluate the degree of coincidence between the feature points obtained from the photographed image and the template data while suppressing the influence of background noise, and the ability to detect a moving object by the moving object detection device can be improved. Can be increased.

即ち、テンプレートデータとして移動体の特徴点の各位置座標を表すデータを保持し、このテンプレートデータが示す各特徴点の位置座標と、移動体検出対象の撮影画像から得られた各特徴点の位置座標とを比較して移動体を検出する従来手法では、仮に背景雑音がない場合でも各特徴点の位置座標がテンプレートデータと移動体検出対象の撮影画像との間で正確に一致するわけではないので、背景雑音の影響を排除し辛く、撮影画像から得られる特徴点とテンプレートデータとの一致度を適切に評価することが難しかった。 That is, data representing each position coordinate of the feature point of the moving object is stored as template data, and the position coordinate of each feature point indicated by this template data and the position of each feature point obtained from the captured image of the moving object detection target In the conventional method of detecting the moving object by comparing the coordinates, the position coordinates of each feature point do not exactly match between the template data and the captured image of the moving object detection target even if there is no background noise. Therefore, it is difficult to eliminate the influence of background noise, and it is difficult to appropriately evaluate the degree of coincidence between the feature points obtained from the captured image and the template data.

一方、本発明によれば、特徴点の空間分布を、統計量等を用いて数値化するため、背景雑音の影響を抑えて、特徴点の分布をテンプレートデータとの間で評価して、高精度に移動体を検出することができる。更に言えば、特徴点の空間分布に基づき移動体を検出するため、遠方の移動体のような撮影画像内において動きの少ない移動体についても、高精度に検出することができる。 On the other hand, according to the present invention, since the spatial distribution of feature points is quantified using statistics and the like, the influence of background noise is suppressed, and the distribution of feature points is evaluated with template data. A moving body can be detected with high accuracy. Furthermore, since the moving object is detected based on the spatial distribution of the feature points, it is possible to detect a moving object with little movement in a captured image such as a distant moving object with high accuracy.

従って、本発明によれば、移動体検出装置を、撮影画像に現れる移動体を迅速に検出可能な高い検出能力を有した構成とすることができる。尚、このような特徴を生かして、本発明の移動体検出装置は、例えば、テンプレートデータとして、撮影画像内において移動体が出現する領域についての空間分布特徴量を記述したテンプレートデータを記憶手段に記憶保持し、撮影画像内において側方や正面遠方から出現する移動体を検出するように構成することができる。 Therefore, according to the present invention, the moving body detection device can be configured to have a high detection capability capable of quickly detecting a moving body appearing in a captured image. Taking advantage of such features, the moving body detection device of the present invention stores, for example, template data describing a spatial distribution feature amount for a region where a moving body appears in a captured image as template data. It can be configured to detect and store a moving object that is stored and held and appears from the side or from the front in the captured image.

また、上記空間分布特徴量は、空間分布を数値表現する領域を区画化して得られる各区画に存在する特徴点の数の夫々を要素とするベクトル量とすることができる（請求項２）。例えば、空間分布を数値表現する領域を十字に四分割することによって、右上、右下、左上、左下の区画に分割し、各区画の特徴点数の夫々を要素とする四次元ベクトルを構成することによって、空間分布を表現することが可能である。 Further, the spatial distribution feature amount can be a vector amount having as an element each of the number of feature points existing in each section obtained by partitioning a region for numerically expressing the spatial distribution (claim 2). For example, by dividing the area representing the numerical value of the spatial distribution into four crosses, it is divided into upper right, lower right, upper left, and lower left sections, and a four-dimensional vector is constructed with each of the number of feature points in each section as an element. It is possible to express a spatial distribution.

また、移動体検出装置には、移動体検出対象の撮影画像から動きのある特徴点を抽出する第二特徴点抽出手段を設けて、空間分布特徴量算出手段は、特徴点抽出手段により抽出された特徴点及び第二特徴点抽出手段により抽出された動きのある特徴点に基づき、評価領域の空間分布特徴量として、移動体検出対象の撮影画像における評価領域での特徴点及び動きのある特徴点の空間分布を数値化した空間分布特徴量を算出する構成にされると一層好ましい。この場合、記憶手段には、空間分布特徴量として、位置情報が示す領域に移動体が存在する状態での撮影画像の当該領域における特徴点の空間分布点及び動きのある特徴点の空間分布が数値化されてなる空間分布特徴量を示すテンプレートデータを格納することができる（請求項３）。 Further, the moving object detection device is provided with second feature point extracting means for extracting feature points having movement from the captured image of the moving object detection target, and the spatial distribution feature amount calculating means is extracted by the feature point extracting means. The feature points in the evaluation region and the features in motion in the captured image of the moving object detection target as the spatial distribution feature amount of the evaluation region based on the feature points in motion and the feature points in motion extracted by the second feature point extraction means It is more preferable that the spatial distribution feature value obtained by quantifying the spatial distribution of points is calculated. In this case, the storage means includes the spatial distribution points of the feature points in the region of the captured image and the spatial distribution of the feature points in motion in the state where the moving object exists in the region indicated by the position information as the spatial distribution feature amount. It is possible to store template data indicating a spatial distribution feature value that has been digitized.

このように構成された移動体検出装置によれば、テンプレートデータと撮影画像とを比較して移動体を検出する際に、動きのある特徴点の空間分布の情報を用いるので、移動体を一層高精度に検出することができる。この場合、空間分布特徴量は、空間分布を数値表現する領域を区画化して得られる各区画に存在する特徴点の数及び動きのある特徴点の数の夫々を要素とするベクトル量とすることができる（請求項４）。 According to the moving object detection apparatus configured as described above, when the moving object is detected by comparing the template data and the captured image, the information on the spatial distribution of the feature points having movement is used. It can be detected with high accuracy. In this case, the spatial distribution feature amount is a vector amount having as an element each of the number of feature points and the number of feature points in motion obtained by partitioning a region that expresses the spatial distribution numerically. (Claim 4).

また、空間分布特徴量としてベクトル量を用いる場合、確度判定手段は、空間分布特徴量算出手段により算出された空間分布特徴量とテンプレートデータが示す空間分布特徴量との類似度を、二乗距離及びコサイン距離の少なくとも一方を指標にして算出する構成にすることができる（請求項５）。 In addition, when using a vector quantity as the spatial distribution feature quantity, the accuracy determination means calculates the similarity between the spatial distribution feature quantity calculated by the spatial distribution feature quantity calculation means and the spatial distribution feature quantity indicated by the template data, the square distance and A configuration in which at least one of the cosine distances is used as an index can be employed.

この他、移動体検出装置は、離散コサイン変換（ＤＣＴ）により得られる二次元ＤＣＴ係数を用いて、撮影画像の評価領域に移動体が存在する確度を算出する構成にされてもよい。即ち、移動体検出装置は、移動体検出対象の撮影画像についてのフレーム差分画像を、予め定められたブロック単位で離散コサイン変換（ＤＣＴ）することで、フレーム差分画像の各ブロックにおける二次元ＤＣＴ係数を算出するＤＣＴ係数算出手段と、ＤＣＴ係数算出手段により算出された評価領域に対応する各ブロックの二次元ＤＣＴ係数に基づき、評価領域に移動体が存在する確度を算出する補助判定手段と、を備えた構成にすることができる。この場合、移動体検出手段は、確度判定手段により算出された確度及び補助判定手段により算出された確度に基づき、テンプレートデータに対応する移動体の存在有無を判定して、撮影画像に映る移動体を検出する構成にすることができる（請求項６）。 In addition, the moving body detection apparatus may be configured to calculate the probability that the moving body exists in the evaluation region of the captured image using a two-dimensional DCT coefficient obtained by discrete cosine transform (DCT). That is, the mobile object detection device performs a discrete cosine transform (DCT) on a frame difference image of a captured image to be detected by a mobile object in units of a predetermined block, thereby obtaining a two-dimensional DCT coefficient in each block of the frame difference image. A DCT coefficient calculating means for calculating, and an auxiliary determining means for calculating the probability that the moving object exists in the evaluation area based on the two-dimensional DCT coefficient of each block corresponding to the evaluation area calculated by the DCT coefficient calculating means. It is possible to have a configuration provided. In this case, the moving body detection means determines the presence or absence of the moving body corresponding to the template data based on the accuracy calculated by the accuracy determination means and the accuracy calculated by the auxiliary determination means, and the moving body reflected in the captured image (Claim 6).

撮影画像に動きのある移動体が映っている場合には、例えば、フレーム差分画像に移動体の輪郭が現れるが、この輪郭がシャープに現れていれば、ＤＣＴ係数の交流成分が高い値を採る。従って、空間分布特徴量に加えて、このような二次元ＤＣＴ係数を用いて、移動体を検出すれば、移動体を一層高精度に検出することができる。 For example, when the moving image shows a moving object, the outline of the moving object appears in the frame difference image. If the outline appears sharply, the AC component of the DCT coefficient takes a high value. . Therefore, if a moving body is detected using such a two-dimensional DCT coefficient in addition to the spatial distribution feature quantity, the moving body can be detected with higher accuracy.

具体的に、補助判定手段は、評価領域に対応するブロック群について、ブロック毎に、当該ブロックの二次元ＤＣＴ係数における交流成分の和を交流成分電力として算出し、ブロック毎の交流成分電力に基づき、評価領域に移動体が存在する確度を算出する構成にすることができる（請求項７）。更に言えば、補助判定手段は、評価領域に移動体が存在する確度として、評価領域に対応するブロック群の全体に占める交流成分電力が閾値を超えるブロックの割合を算出する構成にすることができる（請求項８）。 Specifically, the auxiliary determination unit calculates, for each block, the sum of alternating current components in the two-dimensional DCT coefficient of the block as alternating current component power for each block group corresponding to the evaluation region, and based on the alternating current component power for each block. Further, it is possible to adopt a configuration for calculating the probability that the moving object exists in the evaluation area (claim 7). Furthermore, the auxiliary determination means can be configured to calculate the proportion of blocks in which the AC component power occupies the entire block group corresponding to the evaluation region exceeds the threshold as the probability that the moving object exists in the evaluation region. (Claim 8).

この他、移動体検出装置は、主成分分析（ＰＣＡ）の手法を用いて、撮影画像に移動体が存在する確度を算出する構成にすることができる。移動体が映っている状態での時系列ベクトルのサンプルの主成分ベクトルを予め求めておき、移動体検出対象の撮影画像から得られた時系列ベクトルと、主成分ベクトルとにより主成分得点を算出して、撮影画像に移動体が存在する確度を算出するといった具合である。 In addition, the moving body detection apparatus can be configured to calculate the probability that the moving body exists in the captured image using a principal component analysis (PCA) technique. The principal component vector of the time-series vector sample in a state where the moving object is reflected is obtained in advance, and the principal component score is calculated from the time-series vector obtained from the captured image of the moving object detection target and the principal component vector. Then, the probability that the moving object exists in the captured image is calculated.

例えば、補助判定手段は、評価領域に対応するブロック群について、ブロック毎に、当該ブロックの過去所定期間の二次元ＤＣＴ係数を時系列に配列してなる時系列ベクトルの主成分得点を、時系列ベクトルのサンプルから求められた主成分ベクトルに基づき算出し、算出したブロック毎の主成分得点に基づき、評価領域に移動体が存在する確度を算出する構成にすることができる。この場合には、移動体が映っている状態での時系列ベクトルのサンプルを主成分分析して求めた主成分ベクトルを格納した主成分ベクトル記憶手段を、移動体検出装置に設ける（請求項９）。このように移動体検出装置を構成する場合でも、高精度に移動体を検出することができる。 For example, the auxiliary determination means, for each block group corresponding to the evaluation area, calculates a principal component score of a time-series vector obtained by arranging two-dimensional DCT coefficients of the block in the past predetermined period in time series for each block. The calculation can be made based on the principal component vector obtained from the vector sample, and the probability that the moving object exists in the evaluation region can be calculated based on the calculated principal component score for each block. In this case, the moving object detection device is provided with principal component vector storage means for storing principal component vectors obtained by performing principal component analysis on a sample of time series vectors in a state where the moving object is reflected. ). Even when the moving body detection apparatus is configured as described above, the moving body can be detected with high accuracy.

更に言えば、この場合の補助判定手段は、上記評価領域に移動体が存在する確度として、評価領域に対応するブロック群の全体に占める主成分得点が閾値を超えるブロックの割合を算出する構成にすることができる（請求項１０）。 Furthermore, the auxiliary determination means in this case is configured to calculate the proportion of blocks whose principal component score exceeds the threshold in the entire block group corresponding to the evaluation region as the probability that the moving object exists in the evaluation region. (Claim 10).

この他、主成分分析の手法を用いる場合には、時系列ベクトルを二次元ＤＣＴ係数により構成する必要はない。即ち、撮像画像の特徴量に関する時系列ベクトルであれば、どのようなものであってもよい。一般化すると、上記補助判定手段は、「移動体検出対象の撮影画像に基づき、当該撮影画像の評価領域における過去所定期間の所定特徴量を時系列に配列してなる時系列ベクトルの主成分得点を、時系列ベクトルのサンプルから求められた主成分ベクトルに基づき算出し、算出した主成分得点に基づき、評価領域に移動体が存在する確度を算出する」構成にすることができる（請求項１１）。 In addition, when the principal component analysis method is used, it is not necessary to configure the time series vector with two-dimensional DCT coefficients. That is, any time-series vector regarding the feature amount of the captured image may be used. To generalize, the auxiliary determination means is as follows: “Based on a captured image of a moving object detection target, a principal component score of a time series vector in which predetermined feature amounts in a past predetermined period in an evaluation area of the captured image are arranged in time series Is calculated based on the principal component vector obtained from the sample of the time series vector, and the probability that the moving object exists in the evaluation region is calculated based on the calculated principal component score. ).

ところで、上記評価領域として、テンプレートデータが備える位置情報が示す領域に一致する領域のみを設定すると、仮に、その領域においてカメラの視界を遮るような物体がある場合に、テンプレートデータに対応する移動体を検出することができなくなってしまう。 By the way, if only an area that matches the area indicated by the position information included in the template data is set as the evaluation area, if there is an object that obstructs the field of view of the camera in the area, the moving object corresponding to the template data Can no longer be detected.

そこで、領域設定手段は、テンプレートデータが備える位置情報に基づき、位置情報が示す領域に一致する移動体検出対象の撮影画像内の領域及びその周囲の領域の夫々を、評価領域に設定する構成にされるとよい。また、移動体検出手段は、単一のテンプレートデータに対して評価領域毎に算出された確度に基づき、これら評価領域の内、移動体が存在する可能性の最も高い領域を最適な評価領域として抽出し、テンプレートデータに対して評価領域毎に算出された確度の内、当該最適な評価領域に対して算出された確度に基づき、テンプレートデータに対応する移動体の存在有無を判定して、移動体検出対象の撮影画像に映る移動体を検出する構成にすることができる（請求項１２）。 Therefore, the region setting means is configured to set each of the region in the captured image of the moving object detection target that matches the region indicated by the position information and the surrounding region based on the position information included in the template data as the evaluation region. It is good to be done. In addition, the moving body detection means, based on the accuracy calculated for each evaluation area with respect to a single template data, sets the area where the moving body is most likely to be present as the optimal evaluation area. Based on the accuracy calculated for each evaluation area with respect to the template data, the presence / absence of a moving object corresponding to the template data is determined based on the accuracy calculated for the evaluation area. It is possible to adopt a configuration for detecting a moving body reflected in a captured image of a body detection target (claim 12).

このように移動体検出装置を構成すれば、障害物に阻害されて移動体を検出することができなくなるのを抑えることができる。また、このように評価領域をテンプレートデータが有する位置情報が示す領域に一致する領域からずらす場合には、位置情報が示す領域と評価領域とのずれについても評価するために、空間分布特徴量に領域の位置情報を組み込むとよい。 If the moving body detection apparatus is configured in this manner, it is possible to suppress the obstacle from being obstructed by an obstacle and being unable to detect the moving body. In addition, when the evaluation area is shifted from the area corresponding to the area indicated by the position information included in the template data in this way, in order to evaluate the deviation between the area indicated by the position information and the evaluation area, the spatial distribution feature amount is used. It is good to incorporate the position information of the area.

即ち、確度判定手段は、評価領域にテンプレートデータに対応する移動体が存在する確度として、空間分布特徴量算出手段により算出された空間分布特徴量及びこの空間分布特徴量に対応する評価領域の位置パラメータを要素とするベクトル量と、テンプレートデータが示す空間分布特徴量及びテンプレートデータが備える位置情報が示す領域の位置パラメータを要素とするベクトル量との類似度を算出する構成にされるのがよい（請求項１３）。尚、位置パラメータは、評価領域が矩形領域である場合、領域内の所定点の位置座標及び領域の縦幅及び横幅により構成されてもよいし、四つ角夫々の位置座標により構成されてもよい。 In other words, the accuracy determination unit determines the spatial distribution feature amount calculated by the spatial distribution feature amount calculation unit and the position of the evaluation region corresponding to the spatial distribution feature amount as the probability that the mobile object corresponding to the template data exists in the evaluation region. It is preferable that the similarity is calculated between the vector quantity having the parameter as an element and the vector quantity having the spatial distribution feature quantity indicated by the template data and the position parameter of the region indicated by the position information included in the template data as an element. (Claim 13). When the evaluation area is a rectangular area, the position parameter may be configured by position coordinates of a predetermined point in the area and the vertical and horizontal widths of the area, or may be configured by position coordinates of each of the four corners.

この他、移動体検出装置は、障害物にカメラの視界を遮断されて移動体を検出することができなくなるのを抑えるため、次のように構成されてもよい。即ち、領域設定手段は、テンプレートデータが備える位置情報に基づき、位置情報が示す領域に一致する移動体検出対象の撮影画像の領域を、評価領域に設定し、再設定の指示が入力された場合には、移動体検出対象の撮像画像における二次元ＤＣＴ係数に基づき、評価領域の位置を調整して、評価領域を再設定する構成にされ、移動体検出手段は、位置情報が示す領域に一致する評価領域に対して補助判定手段が算出した確度が閾値未満である場合には、再設定の指示を入力し、再設定された評価領域に対して確度判定手段が算出した確度、又は、再設定された評価領域に対して確度判定手段及び補助判定手段の夫々が算出した確度に基づき、テンプレートデータに対応する移動体の存在有無を判定して、移動体検出対象の撮影画像に映る移動体を検出する構成にされてもよい（請求項１４）。 In addition, the moving body detection device may be configured as follows in order to prevent the obstacle from being able to detect the moving body due to an obstacle blocking the field of view of the camera. That is, the area setting means sets the area of the captured image of the moving object detection target that matches the area indicated by the position information based on the position information included in the template data as an evaluation area, and a resetting instruction is input. Is configured to adjust the position of the evaluation area based on the two-dimensional DCT coefficient in the captured image of the moving object detection target and reset the evaluation area, and the moving object detection means matches the area indicated by the position information. If the accuracy calculated by the auxiliary determination means for the evaluation area to be performed is less than the threshold value, an instruction for resetting is input, and the accuracy calculated by the accuracy determination means for the reset evaluation area or Based on the accuracy calculated by each of the accuracy determination means and the auxiliary determination means for the set evaluation area, the presence / absence of the moving body corresponding to the template data is determined and reflected in the captured image of the moving body detection target. Which may be the configuration for detecting the moving body (claim 14).

この他、撮影画像内において左右対称の関係にある移動体が映る領域のテンプレートデータとしては、これらの領域に共通するテンプレートデータであって、位置情報及び空間分布特徴量として、左右対称の関係にある移動体が映る領域の一方についての位置情報及び空間分布特徴量を記述したデータを記憶手段に格納するとよい。このようにテンプレートデータを共通化すれば、記憶手段に対するデータ格納量を抑えることができる。尚、上記共通するテンプレートデータに基づいて、左右対称の関係にある移動体が映る領域の内、位置情報及び空間分布特徴量がテンプレートデータに記述されていない領域に対応する評価領域の確度を算出する際には、左右対称の関係に従って、テンプレートデータが示す位置情報及び空間分布特徴量を読み変えて、確度を算出すればよい（請求項１５）。 In addition, the template data of the region in which the moving body having a symmetrical relationship in the captured image is displayed is template data common to these regions, and the positional information and the spatial distribution feature amount have a symmetrical relationship. Data describing the position information and the spatial distribution feature amount for one of the areas in which a certain moving object is shown may be stored in the storage means. If the template data is shared in this way, the amount of data stored in the storage means can be suppressed. Based on the common template data, the accuracy of the evaluation area corresponding to the area in which the position information and the spatial distribution feature quantity are not described in the template data is calculated from the areas where the moving bodies having a symmetrical relationship are shown. In doing so, the accuracy may be calculated by re-reading the positional information and the spatial distribution feature amount indicated by the template data in accordance with the symmetrical relationship.

また、記憶手段には、移動体の種類毎に、位置情報と、当該種類の移動体が位置情報に対応する領域に映る状態での当該領域における空間分布特徴量と、が関連付けられたテンプレートデータを格納することができる（請求項１６）。このようにテンプレートデータを記憶手段に格納し、移動体検出対象の撮影画像に映る移動体を検出する際には、移動体の種類毎に、当該移動体の種類のテンプレートデータに基づき確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定すれば、形状の異なる複数種類の移動体の夫々を高精度に検出することができる。 In addition, for each type of moving object, the storage unit associates the template data in which the position information and the spatial distribution feature amount in the area in a state where the moving object of the type appears in the area corresponding to the position information. Can be stored (claim 16). As described above, when template data is stored in the storage means and a moving body shown in a captured image of a moving body detection target is detected, the accuracy is calculated for each type of moving body based on the template data of the moving body type. Then, if it is determined whether or not there is a moving body corresponding to the template data, each of a plurality of types of moving bodies having different shapes can be detected with high accuracy.

また、移動体検出装置は、上述したように、自動車等の車両に搭載されて、車載カメラの撮影画像に基づき移動体を検出する構成にすることができ、この場合、記憶手段には、道路環境毎に、当該道路環境において移動体が映る領域夫々のテンプレートデータを格納することができる（請求項１７）。このようにテンプレートデータを記憶手段に格納して、移動体検出対象の撮影画像に映る移動体を検出する際には、移動体検出対象の撮影画像に映る道路環境を特定し、当該特定した道路環境に対応するテンプレートデータ毎に、当該テンプレートデータに対応する確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定することで、テンプレートデータの一群の中から、道路環境に対応したテンプレートデータを選択的に用いて効率的に移動体を検出することができる。 Further, as described above, the moving body detection device can be configured to be mounted on a vehicle such as an automobile and detect a moving body based on a captured image of the in-vehicle camera. For each environment, it is possible to store template data for each area in which a moving object is reflected in the road environment. In this way, when the template data is stored in the storage unit and the moving body reflected in the captured image of the moving object detection target is detected, the road environment reflected in the captured image of the moving object detection target is identified, and the identified road For each template data corresponding to the environment, the accuracy corresponding to the template data is calculated, and the presence / absence of a moving object corresponding to the template data is determined, so that it corresponds to the road environment from a group of template data. The moving object can be efficiently detected by selectively using the template data.

具体的に、記憶手段には、道路環境毎のテンプレートデータとして、交差点の種類毎に、当該種類に対応する交差点がカメラにより撮影されている環境でのカメラの撮影画像において移動体が映る領域夫々についてのテンプレートデータを格納することができる（請求項１８）。このようにテンプレートデータを記憶手段に格納して、移動体検出対象の撮影画像に映る移動体を検出する際には、移動体検出対象の撮影画像に映る交差点の種類を特定して、当該特定した交差点の種類に対応するテンプレートデータ毎に、当該テンプレートデータに対応する確度を算出し、当該テンプレートデータに対応する移動体の存在有無を判定することで、カメラに映る交差点の種類に対応したテンプレートデータを選択的に用いて効率的に移動体を検出することができる。 Specifically, in the storage means, as template data for each road environment, for each type of intersection, each region in which the moving body is reflected in the image captured by the camera in the environment where the intersection corresponding to the type is captured by the camera. Template data for can be stored (claim 18). When the template data is thus stored in the storage means and the moving object appearing in the captured image of the moving object detection target is detected, the type of the intersection appearing in the captured image of the moving object detection target is specified and the identification is performed. For each template data corresponding to the type of intersection, a template corresponding to the type of intersection reflected in the camera is calculated by calculating the accuracy corresponding to the template data and determining the presence or absence of a moving object corresponding to the template data. A moving object can be efficiently detected by selectively using data.

尚、交差点の種類の特定については、移動体検出装置に、現在位置の情報を取得する現在位置取得手段と、交差点の位置及び交差点の種類の情報が関連付けられた地図データを記憶する地図データ記憶装置（外部サーバ装置や自装置の記録媒体等）から地図データを取得する地図データ取得手段とを設けることで、実現可能である。 For specifying the type of intersection, the mobile object detection device stores map data in which current position acquisition means for acquiring information on the current position and map data in which information on the position of the intersection and the type of intersection are associated are stored. This can be realized by providing map data acquisition means for acquiring map data from a device (such as an external server device or a recording medium of the device itself).

また、記憶手段には、移動体の三次元位置及び移動体の三次元姿勢に関する情報を、更に位置情報及び空間分布特徴量に関連付けたテンプレートデータを格納すると、移動体検出の際に、移動体の三次元位置及び姿勢を特定することができて便利である。例えば、検出した移動体の三次元位置（例えば交差点までの距離）や姿勢（例えば、右折中である等の姿勢）をユーザに報知すれば、当該移動体との衝突回避に役立てることができる。 The storage means stores information related to the three-dimensional position of the moving body and the three-dimensional posture of the moving body, and further stores template data associated with the position information and the spatial distribution feature amount. It is convenient to be able to specify the three-dimensional position and posture. For example, if the user is notified of the detected three-dimensional position (for example, the distance to the intersection) and the posture (for example, the posture such as when turning right), it can be used for avoiding a collision with the movable body.

尚、上述した移動体検出装置（請求項１〜請求項１９）が備える記憶手段を除く各手段としての機能は、プログラムによりコンピュータに実現させることができる（請求項２０）。また、当該プログラムは、記録媒体に記録されてユーザに提供されてもよい。 In addition, the function as each means except the memory | storage means with which the above-mentioned moving body detection apparatus (Claims 1-19) is equipped can be made to implement | achieve in a computer by a program (Claim 20). The program may be recorded on a recording medium and provided to the user.

移動体検出装置１の構成を表すブロック図である。1 is a block diagram illustrating a configuration of a moving object detection device 1. FIG. 解析ユニット５０が実行する各処理をブロック化して示した概略図である。It is the schematic which showed each process which the analysis unit 50 performs in the block form. 撮影画像から抽出される特徴点の分布の一例を示す図である。It is a figure which shows an example of distribution of the feature point extracted from a picked-up image. 記憶装置４０が記憶するテンプレートデータ群の構成（ａ）及びテンプレートデータの詳細構成（ｂ）を表す図である。It is a figure showing the structure (a) of the template data group which the memory | storage device 40 memorize | stores, and the detailed structure (b) of template data. 解析ユニット５０が実行するフレーム差分画像解析処理を表すフローチャートである。5 is a flowchart showing a frame difference image analysis process executed by an analysis unit 50. 解析ユニット５０が実行する移動体検出処理を表すフローチャートである。It is a flowchart showing the mobile body detection process which the analysis unit 50 performs. 解析ユニット５０が実行する類似度評価処理を表すフローチャートである。It is a flowchart showing the similarity evaluation process which the analysis unit 50 performs. 障害物により視界が遮られているときの移動体の出現例を示した図（ａ）及び移動体検出対象領域Ωの調整方法に関する説明図（ｂ）である。FIG. 6A is a diagram illustrating an appearance example of a moving object when the field of view is blocked by an obstacle, and FIG. 8B is an explanatory diagram regarding a method for adjusting the moving object detection target region Ω. 左右共通のテンプレートデータの読み替えに関する説明図である。It is explanatory drawing regarding the replacement of common left and right template data. 移動体検出処理（変形例）を表すフローチャートである。It is a flowchart showing a mobile body detection process (modification). 移動体検出対象領域Ωの調整方法（変形例）に関する説明図である。It is explanatory drawing regarding the adjustment method (modification example) of the moving body detection object area | region Ω. 変形例の解析ユニット５０が実行するアクティビティ算出処理（ａ）及び総評値算出処理（ｂ）を表すフローチャートである。It is a flowchart showing the activity calculation process (a) and the total evaluation value calculation process (b) which the analysis unit 50 of a modification is performed. 領域の分割方法（変形例）に関する説明図である。It is explanatory drawing regarding the division | segmentation method (modified example) of an area | region.

以下に本発明の実施例について、図面と共に説明する。
図１は、本発明が適用された移動体検出装置１の構成を表すブロック図である。本実施例の移動体検出装置１は、自動車等の車両に搭載されて使用されるものであり、カメラ１０と、位置検出器２０と、表示装置３０と、記憶装置４０と、解析ユニット５０と、を備える。カメラ１０は、車両前方を広い範囲で撮影可能な広角カメラで構成され、フレームデータ（静止画像データ）の列により構成される動画データを、撮影画像を表すデータとして出力する。一方、位置検出器２０は、ＧＰＳ衛星からの衛星信号を受信するＧＰＳ受信機、車輪の回転から自車の走行距離を検出する距離センサ及び方位センサ等のセンサ類の複数により構成され、これらセンサ類から得られる信号に基づき、自車の位置及び進行方位を検出する。また、表示装置３０は、車両の運転席近傍に取り付けられ、各種情報を車両運転者に提供するものであり、例えば、液晶ディスプレイで構成される。 Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a moving object detection apparatus 1 to which the present invention is applied. The moving body detection device 1 according to the present embodiment is used by being mounted on a vehicle such as an automobile, and includes a camera 10, a position detector 20, a display device 30, a storage device 40, and an analysis unit 50. . The camera 10 is composed of a wide-angle camera capable of photographing the front of the vehicle in a wide range, and outputs moving image data composed of a sequence of frame data (still image data) as data representing a photographed image. On the other hand, the position detector 20 is composed of a plurality of sensors such as a GPS receiver that receives satellite signals from GPS satellites, a distance sensor that detects the travel distance of the vehicle from the rotation of wheels, and a direction sensor. Based on the signal obtained from the vehicle, the position and traveling direction of the host vehicle are detected. The display device 30 is attached in the vicinity of the driver's seat of the vehicle, and provides various information to the vehicle driver. For example, the display device 30 includes a liquid crystal display.

また、記憶装置４０は、カメラ１０の撮影画像から移動体を検出するのに必要な各種データを記憶するものである。この記憶装置４０は、国内の道路網における各交差点の位置及び属性情報が記述された道路地図データを有する。属性情報としては、例えば、交差点の種類を表す情報が記述される。この他、記憶装置４０は、移動体が映っている状態での撮影画像の特徴点に関する情報が記述されたテンプレートデータの一群を記憶する（詳細後述）。 The storage device 40 stores various data necessary for detecting a moving body from the captured image of the camera 10. This storage device 40 has road map data in which the position and attribute information of each intersection in the domestic road network is described. As attribute information, for example, information indicating the type of intersection is described. In addition, the storage device 40 stores a group of template data in which information related to feature points of a captured image in a state where a moving object is shown (details will be described later).

また、解析ユニット５０は、各種演算処理を実行してカメラ１０の撮影画像に映る移動体を検出するものである。この解析ユニット５０は、例えば、専用回路にて構成される。この他、解析ユニット５０は、ＣＰＵ５１、ＲＯＭ５３及びＲＡＭ５５等を備え、ソフトウェアにより移動体の検出に必要な処理を実行する構成にされてもよい。即ち、解析ユニット５０は、ＲＯＭ５３が記憶するプログラムに基づく演算処理をＣＰＵ５１が実行することにより、移動体検出に係る機能を実現する構成にすることができる。 The analysis unit 50 executes various arithmetic processes to detect a moving body that appears in a captured image of the camera 10. The analysis unit 50 is configured by a dedicated circuit, for example. In addition, the analysis unit 50 may include a CPU 51, a ROM 53, a RAM 55, and the like, and may be configured to execute a process necessary for detecting a moving object by software. That is, the analysis unit 50 can be configured to realize a function relating to the moving object detection by the CPU 51 executing arithmetic processing based on a program stored in the ROM 53.

続いて、図２を用いて、解析ユニット５０により実行される処理を概略的に説明する。図２は、解析ユニット５０により実行される各処理をブロック化して概略的に示した図である。本実施例の移動体検出装置１において、解析ユニット５０は、カメラ１０から入力されるフレームデータが示す撮影画像の特徴点を抽出する特徴点抽出処理を、カメラ１０からフレームデータが入力される度に実行する（特徴点抽出処理ブロックＢ１）。 Next, a process executed by the analysis unit 50 will be schematically described with reference to FIG. FIG. 2 is a diagram schematically showing each process executed by the analysis unit 50 as a block. In the moving body detection apparatus 1 of the present embodiment, the analysis unit 50 performs the feature point extraction process for extracting the feature points of the captured image indicated by the frame data input from the camera 10, and the frame data is input from the camera 10. (Feature point extraction processing block B1).

特徴点の抽出方法については、様々なものが知られているが、例えば、ＫＬＴ（ＫａｎａｄｅＬｕｃａｓＴｏｍａｓｉＴｒａｃｋｅｒ）法に採用されたＨａｒｒｉｓオペレータを用いて特徴点を抽出することができる。この手法を用いると、撮影画像におけるエッジやコーナ部分において多くの特徴点が抽出される。図３には、撮影画像における特徴点の例を、白丸で示す。但し、特徴点の抽出に関しては、エッジやコーナ部分に特徴点が表れる手法であれば、ＫＬＴ法に限らず様々な手法を採用することができる。 Various methods for extracting feature points are known. For example, feature points can be extracted using a Harris operator employed in a KLT (Kanade Lucas Tomasi Tracker) method. When this method is used, many feature points are extracted at edges and corners in the captured image. In FIG. 3, the example of the feature point in a picked-up image is shown with a white circle. However, regarding the extraction of feature points, various methods can be adopted as long as the feature points appear at edges and corners, not limited to the KLT method.

特徴点抽出後、解析ユニット５０は、今回のフレームデータから抽出された特徴点と前回フレームデータから抽出された特徴点との比較により、これら特徴点についてのオプティカルフローを算出する（オプティカルフロー算出処理ブロックＢ２）。そして、算出したオプティカルフローに基づき、今回入力されたフレームデータから動きのある特徴点を抽出する（動きのある特徴点の抽出処理ブロックＢ３）。具体的には、オプティカルフローに基づき、動き量が閾値以上の特徴点を、動きのある特徴点として抽出すればよい。 After the feature points are extracted, the analysis unit 50 calculates an optical flow for these feature points by comparing the feature points extracted from the current frame data with the feature points extracted from the previous frame data (optical flow calculation process). Block B2). Based on the calculated optical flow, feature points with motion are extracted from the frame data input this time (feature feature point extraction processing block B3). Specifically, based on the optical flow, feature points having a motion amount equal to or greater than a threshold may be extracted as feature points with motion.

その後、解析ユニット５０は、移動体検出処理を実行し、今回抽出された特徴点及び動きのある特徴点の情報と、記憶装置４０が記憶するテンプレートデータが示す移動体が存在する状態での特徴点及び動きのある特徴点の情報とを比較して、フレームデータが示す撮影画像に映る移動体を検出する（移動体検出処理ブロックＢ５）。 Thereafter, the analysis unit 50 executes a moving body detection process, and features in a state in which there is a moving body indicated by the template data stored in the storage device 40 and the information on the feature points and feature points that are extracted this time. The moving object reflected in the captured image indicated by the frame data is detected by comparing the point and the information of the feature point with movement (moving object detection processing block B5).

図４（ａ）に示すように、記憶装置４０には、交差点の種類毎に、カメラ１０が当該種類の交差点を撮影している場合に用いるべきテンプレートデータ群（以下「第一テンプレートデータ群」と表現する。）が記憶されている。更に、交差点の種類毎の第一テンプレートデータ群は、検出対象の移動体の三次元位置及び三次元姿勢に応じたテンプレートデータの一群を、移動体の種類毎に有する。以下、第一テンプレートデータ群を移動体の種類毎に分類して得られる、移動体の種類毎のテンプレートデータ群を「第二テンプレートデータ群」と表現する。即ち、交差点の種類及び移動体の種類毎に設けられる第二テンプレートデータ群は、該当種類の交差点を移動する該当種類の移動体の三次元位置及び三次元姿勢に応じた複数のテンプレートデータを有する。 As shown in FIG. 4A, in the storage device 40, for each type of intersection, a template data group (hereinafter referred to as “first template data group”) to be used when the camera 10 is photographing the type of intersection. Is stored). Furthermore, the first template data group for each type of intersection has a group of template data corresponding to the three-dimensional position and three-dimensional posture of the moving object to be detected for each moving object type. Hereinafter, a template data group for each type of mobile object obtained by classifying the first template data group for each type of mobile object is expressed as a “second template data group”. That is, the second template data group provided for each kind of intersection and each kind of moving object has a plurality of template data corresponding to the three-dimensional position and the three-dimensional posture of the corresponding kind of moving object that moves the relevant kind of intersection. .

そして、上記第二テンプレートデータ群を構成するテンプレートデータの夫々は、図４（ｂ）に示すように、該当する種類の交差点が映るカメラ１０の撮影画像において該当する種類の移動体が映る矩形領域の位置情報と、その位置情報が示す領域に移動体が映っている状態での当該領域における特徴点の空間分布を数値化した空間分布特徴量Ｖｎに関する情報と、その位置情報が示す領域に移動体が映っている状態での当該領域における動きのある特徴点の空間分布を数値化した空間分布特徴量Ｖｍに関する情報と、このテンプレートデータに対応する移動体の三次元位置として移動体が存在する地点から交差点中央までの距離Ｌを表す三次元位置情報と、当該移動体の三次元姿勢を表す三次元姿勢情報と、移動体の色情報と、が記述されたデータとして構成されている。 Each of the template data constituting the second template data group is a rectangular area in which the corresponding type of moving body is reflected in the captured image of the camera 10 in which the corresponding type of intersection is reflected, as shown in FIG. Position information, information on the spatial distribution feature value Vn obtained by quantifying the spatial distribution of feature points in the area in a state where the moving object is reflected in the area indicated by the position information, and the area moved to the area indicated by the position information There is a moving object as information on the spatial distribution feature amount Vm obtained by quantifying the spatial distribution of feature points with movement in the region in a state where the body is reflected and the three-dimensional position of the moving object corresponding to the template data. Three-dimensional position information representing the distance L from the point to the intersection center, three-dimensional posture information representing the three-dimensional posture of the moving object, and color information of the moving object are described. It is configured as data.

具体的に、移動体が映る矩形領域の位置情報は、撮影画像における該当領域の縦方向及び横方向の位置座標と、該当領域の縦幅（高さ）及び横幅と、を表す情報からなる。また、空間分布特徴量Ｖｎに関する情報は、位置情報が示す矩形領域を十字に四分割して得られる右上、右下、左上及び左下の各区画における特徴点数が記述された情報として構成されている。同様に、空間分布特徴量Ｖｍに関する情報は、位置情報が示す矩形領域を十字に四分割して得られる右上、右下、左上及び左下の各区画における動きのある特徴点の数が記述された情報として構成されている。 Specifically, the position information of the rectangular area in which the moving body is shown is composed of information indicating the vertical and horizontal position coordinates of the corresponding area in the captured image, and the vertical width (height) and horizontal width of the corresponding area. The information related to the spatial distribution feature amount Vn is configured as information describing the number of feature points in each of the upper right, lower right, upper left and lower left sections obtained by dividing the rectangular area indicated by the position information into four crosses. . Similarly, the information on the spatial distribution feature amount Vm describes the number of feature points with motion in each of the upper right, lower right, upper left and lower left sections obtained by dividing the rectangular area indicated by the position information into four crosses. It is structured as information.

この空間分布特徴量Ｖｎ，Ｖｍに関する情報については、予め移動体検出装置１の設計者が、移動体検出装置１の使用を想定してカメラ１０から撮影画像のサンプルを取得し、上記位置情報が示す領域に、対応する種類の移動体が映っているときの特徴点及び動きのある特徴点の数をカウントして、テンプレートデータに記述する。サンプルを複数取得してテンプレートデータを作成する場合には、特徴点数についての平均やばらつきを評価して、テンプレートデータに記述する空間分布特徴量としてふさわしい値を導き出し、これをテンプレートデータに空間分布特徴量として記述してもよい。 As for the information on the spatial distribution feature amounts Vn and Vm, the designer of the mobile object detection device 1 acquires a sample of the photographed image from the camera 10 assuming that the mobile object detection device 1 is used in advance, and the position information is The number of feature points and feature points with motion when the corresponding type of moving object is shown in the area shown is counted and described in the template data. When template data is created by acquiring multiple samples, the average or variation of the number of feature points is evaluated to derive a value suitable for the spatial distribution feature amount described in the template data, and this is used as the spatial distribution feature in the template data. It may be described as a quantity.

また、テンプレートデータに記述される上記三次元位置情報は、当該テンプレートデータの生成に用いた撮影画像のサンプルに映る移動体が存在する地点から交差点中央までの三次元空間（現実空間）上の距離Ｌを表すものであり、三次元姿勢情報は、当該テンプレートデータの生成に用いた撮影画像のサンプルに映る移動体の三次元姿勢を表すものである。具体的に、三次元姿勢情報は、自車を基準にした移動体の三次元姿勢を表し、「右から接近」「右から右折」「直進」等の情報によって構成される。 The 3D position information described in the template data is the distance in the 3D space (real space) from the point where the moving body shown in the sample of the captured image used to generate the template data exists to the center of the intersection. L represents L, and the three-dimensional posture information represents the three-dimensional posture of the moving object shown in the sample of the captured image used to generate the template data. Specifically, the three-dimensional posture information represents the three-dimensional posture of the moving body with reference to the own vehicle, and includes information such as “approach from right”, “turn from right to right”, and “straight ahead”.

尚、第一テンプレートデータ群については、「交差点の種類」毎として、五差路、四差路、三差路等の交差点の形状毎に、記憶装置４０に設けることができるが、原点対称ではない三差路等の交差点では、進入路に応じて、カメラ１０から見える道路環境（交差点形状）が異なる。即ち、原点対称でない形状の交差点については、進入路を基準に交差点の向きまで考慮すると、更に複数の形状に分類できる。従って、記憶装置４０には、交差点への進入路を基準にした交差点の向きまでも考慮した「交差点の種類」毎に、第一テンプレートデータ群を設ける。 The first template data group can be provided in the storage device 40 for each intersection shape such as five-way, four-way, three-way, etc. for each “type of intersection”. At an intersection such as a three-way road that does not exist, the road environment (intersection shape) seen from the camera 10 differs depending on the approach road. That is, intersections having shapes that are not symmetric with respect to the origin can be further classified into a plurality of shapes when the direction of the intersection is taken into consideration based on the approach path. Therefore, the storage device 40 is provided with a first template data group for each “intersection type” that also considers the direction of the intersection based on the approach path to the intersection.

また、第二テンプレートデータ群については、「移動体の種類」毎として、例えば、トラックやセダン、バイク、自転車等の形状の異なる車両の種類毎に記憶装置４０に設けることができる。そして「移動体」には「人物」も含ませることができる。即ち、記憶装置４０には、成人、子供等の大きさの異なる人物の種類毎に、第二テンプレートデータ群を設けることができる。 In addition, the second template data group can be provided in the storage device 40 for each type of vehicle having a different shape, such as a truck, a sedan, a motorcycle, or a bicycle, for each “type of moving body”. “Moving object” can also include “person”. That is, the second template data group can be provided in the storage device 40 for each type of person having a different size such as an adult or a child.

この他、記憶装置４０には、テンプレートデータとして、撮影画像内の移動体が出現する領域についての位置情報及び空間分布特徴量Ｖｍ，Ｖｎを記述したテンプレートデータを格納することができる。即ち、交差点の中心から延びる各道路がカメラ１０の撮影可能領域（撮影画像）から外れる領域周辺を、移動体が映る領域の位置情報として記述したテンプレートデータの一群を、記憶装置４０に記憶させることができる。本実施例では、このようなテンプレートデータ群を記憶装置４０に格納することにより、側方や前方遠く等から出現する移動体（図３及び図８（ａ）参照）を迅速に検出できるように、移動体検出装置１を構成する。 In addition, the storage device 40 can store, as template data, template data describing position information and spatial distribution feature amounts Vm and Vn for a region where a moving body appears in a captured image. That is, the storage device 40 stores a group of template data in which each road extending from the center of the intersection is described as position information of an area in which the moving object is shown, around the area where the road is out of the imageable area (captured image) of the camera 10. Can do. In the present embodiment, by storing such a template data group in the storage device 40, it is possible to quickly detect a moving body (see FIGS. 3 and 8A) that appears from the side, far from the front, or the like. The moving body detection apparatus 1 is configured.

移動体検出処理の説明に戻ると、移動体検出処理では、位置検出器２０から得られる自車の位置及び進行方位並びに道路地図データに基づき、カメラ１０が撮影する交差点の種類を特定する。ここでは、交差点への進入路についても考慮した上述の「交差点の種類」を特定する。そして、特定した「交差点の種類」に対応した第一テンプレート群に属するテンプレートデータの夫々について、このテンプレートデータが示す空間分布特徴量Ｖｎ，Ｖｍと、このテンプレートデータの位置情報が示す領域に対応する今回入力されたフレームデータの撮影画像領域の空間分布特徴量Ｖｎ，Ｖｍと、を比較することにより、テンプレートデータに対応する移動体が存在する確度を評価し、移動体を検出する。 Returning to the description of the moving object detection process, in the moving object detection process, the type of intersection taken by the camera 10 is specified based on the position and traveling direction of the own vehicle obtained from the position detector 20 and road map data. Here, the above-mentioned “intersection type” is also considered in consideration of the approach path to the intersection. Then, for each of the template data belonging to the first template group corresponding to the specified “intersection type”, it corresponds to the spatial distribution feature amounts Vn and Vm indicated by the template data and the area indicated by the position information of the template data. By comparing the spatial distribution feature amounts Vn and Vm of the captured image area of the frame data input this time, the accuracy of existence of the moving object corresponding to the template data is evaluated, and the moving object is detected.

この際には、フレーム差分画像解析処理（フレーム差分画像解析処理Ｂ４）にて得られた前回フレームデータが示す撮影画像と今回入力されたフレームデータが示す撮影画像との差分画像（以下、「フレーム差分画像」と表現する。）の二次元ＤＣＴ係数によっても、テンプレートデータの位置情報が示す領域に対応する今回入力されたフレームデータの撮影画像領域に移動体が存在する確度を評価し、空間分布特徴量Ｖｎ，Ｖｍから得られた上記確度、及び、二次元ＤＣＴ係数から得られた上記確度を総合的に評価し、移動体の存在有無を判定し、移動体を検出する。 At this time, a difference image (hereinafter referred to as “frame”) between the captured image indicated by the previous frame data obtained by the frame difference image analysis processing (frame difference image analysis processing B4) and the captured image indicated by the frame data input this time. The probability of the moving object existing in the captured image area of the frame data input this time corresponding to the area indicated by the position information of the template data is also evaluated by the two-dimensional DCT coefficient of the difference image. The accuracy obtained from the feature amounts Vn and Vm and the accuracy obtained from the two-dimensional DCT coefficient are comprehensively evaluated, the presence / absence of the moving object is determined, and the moving object is detected.

続いて、上述したフレーム差分画像解析処理及び移動体検出処理の詳細を、図５及び図６を用いて説明する。図５は、フレームデータが入力される度に、解析ユニット５０が実行するフレーム差分画像解析処理を表すフローチャートである。フレーム差分画像解析処理では、まず、前回入力されたフレームデータ及び今回入力されたフレームデータに基づき、これらのフレーム差分画像を表すフレーム差分画像データを生成する（Ｓ１１０）。その後、ブロック画素番号を表す変数ｋを、ｋ＝１に初期化する（Ｓ１２０）。更に、フレーム差分画像におけるｋ番目のブロック画素を処理対象ブロック画素に選択する（Ｓ１３０）。尚、ここでは、フレーム差分画像全体を縦横８画素単位で分割して得られる８×８画素のブロックを、ブロック画素の単位として、フレーム差分画像全体を構成するＫ個のブロック画素の内、ｋ番目のブロック画素を処理対象ブロック画素に選択する。 Next, details of the frame difference image analysis process and the moving object detection process described above will be described with reference to FIGS. 5 and 6. FIG. 5 is a flowchart showing a frame difference image analysis process executed by the analysis unit 50 each time frame data is input. In the frame difference image analysis process, first, frame difference image data representing these frame difference images is generated based on the frame data inputted last time and the frame data inputted this time (S110). Thereafter, a variable k representing the block pixel number is initialized to k = 1 (S120). Further, the kth block pixel in the frame difference image is selected as a processing target block pixel (S130). Here, an 8 × 8 pixel block obtained by dividing the entire frame difference image in units of 8 pixels in the vertical and horizontal directions is used as a block pixel unit, and among the K block pixels constituting the entire frame difference image, k The th block pixel is selected as a processing target block pixel.

そして、フレーム差分画像データにおける処理対象ブロック画素に対応する領域を離散コサイン変換（ＤＣＴ）することにより、８×８個の配列からなる二次元ＤＣＴ係数を算出する（Ｓ１４０）。以下では、二次元ＤＣＴ係数の各要素の値を配列Ｃｄ［ｉ，ｊ］で表現し、二次元ＤＣＴ係数の直流成分を第０行第０列の要素の値Ｃｄ［０，０］で表現する。ｉ，ｊは、０から７までの値を採る。 Then, the region corresponding to the processing target block pixel in the frame difference image data is subjected to discrete cosine transform (DCT) to calculate a two-dimensional DCT coefficient composed of 8 × 8 arrays (S140). In the following, the value of each element of the two-dimensional DCT coefficient is expressed by an array Cd [i, j], and the direct current component of the two-dimensional DCT coefficient is expressed by an element value Cd [0,0] in the 0th row and 0th column. To do. i and j take values from 0 to 7.

また、処理対象ブロック画素の二次元ＤＣＴ係数を算出すると、解析ユニット５０は、この処理対象ブロック画素の二次元ＤＣＴ係数に基づき、処理対象ブロック画素である第ｋブロック画素の交流成分電力Ａｐ（ｋ）を、次式に従って算出する（Ｓ１５０）。 When the two-dimensional DCT coefficient of the processing target block pixel is calculated, the analysis unit 50 calculates the AC component power Ap (k) of the kth block pixel that is the processing target block pixel based on the two-dimensional DCT coefficient of the processing target block pixel. ) Is calculated according to the following equation (S150).

即ち、第ｋブロック画素における二次元ＤＣＴ係数の交流成分（絶対値）の和を、交流成分電力Ａｐ（ｋ）として算出する。
更に、交流成分電力Ａｐ（ｋ）を予め定められた閾値Ｔｈ＿Ａｐと比較して二値化することにより、ＡＣインデックスＩＤＸ１（ｋ）を算出する（Ｓ１６０）。即ち、Ａｐ（ｋ）＞Ｔｈ＿Ａｐである場合には、ＩＤＸ１（ｋ）＝１を算出し、Ａｐ（ｋ）≦Ｔｈ＿Ａｐである場合には、ＩＤＸ１（ｋ）＝０を算出する。 That is, the sum of the AC components (absolute values) of the two-dimensional DCT coefficients in the kth block pixel is calculated as the AC component power Ap (k).
Further, AC index IDX1 (k) is calculated by comparing AC component power Ap (k) with a predetermined threshold value Th_Ap and binarizing (S160). That is, when Ap (k)> Th_Ap, IDX1 (k) = 1 is calculated, and when Ap (k) ≦ Th_Ap, IDX1 (k) = 0 is calculated.

その後、解析ユニット５０は、全ブロック画素についてＡＣインデックスＩＤＸ１（ｋ）の算出が完了したか否かを判断し（Ｓ１７０）、完了していなければ（Ｓ１７０でＮｏ）、ｋを１加算して（Ｓ１８０）、次のブロック画素についてのＡＣインデックスＩＤＸ１（ｋ）を算出する（Ｓ１３０〜Ｓ１６０）。そして、全ブロック画素についてＡＣインデックスＩＤＸ１（ｋ）の算出が完了すると（Ｓ１７０でＹｅｓ）、当該フレーム差分画像解析処理を終了する。 Thereafter, the analysis unit 50 determines whether or not the calculation of the AC index IDX1 (k) is completed for all the block pixels (S170). If not completed (No in S170), 1 is added to k ( In S180, the AC index IDX1 (k) for the next block pixel is calculated (S130 to S160). When the calculation of the AC index IDX1 (k) is completed for all the block pixels (Yes in S170), the frame difference image analysis process ends.

一方、解析ユニット５０は、カメラ１０からフレームデータが入力される度に、上述の移動体検出処理として図６に示す処理を実行する。具体的に、この処理では、フレームデータが入力される度に、当該入力されたフレームデータが示す撮影画像（以下、「解析対象フレーム」と表現する。）を解析して移動体を検出する。但し、本実施例の移動体検出装置１は、交差点への進入の際に、その周囲に位置する移動体（特に側方から到来する移動体）を検出することを目的としたものであるため、交差点から離れたエリアに自車が存在する場合、この移動体検出処理は休止される。自車位置と交差点との位置関係は、位置検出器２０から得られる自車の位置及び進行方位並びに道路地図データに基づいて判断される。 On the other hand, every time frame data is input from the camera 10, the analysis unit 50 executes the process shown in FIG. 6 as the above-described moving object detection process. Specifically, in this process, each time frame data is input, a moving image is detected by analyzing a captured image (hereinafter, referred to as “analysis target frame”) indicated by the input frame data. However, the moving body detection apparatus 1 of the present embodiment is intended to detect a moving body (especially, a moving body arriving from the side) located around it when entering an intersection. When the own vehicle exists in an area away from the intersection, the moving body detection process is suspended. The positional relationship between the own vehicle position and the intersection is determined based on the position and traveling direction of the own vehicle obtained from the position detector 20 and road map data.

さて、移動体検出処理を開始すると、解析ユニット５０は、上述したように、位置検出器２０から得られる自車の位置及び進行方位並びに道路地図データに基づいて、カメラ１０が撮影する交差点の種類を特定する（Ｓ２１０）。その後、処理対象の移動体種類番号を表す変数Ｍを１に初期化し（Ｓ２２０）、処理対象のテンプレート番号を表す変数Ｎを１に初期化する（Ｓ２３０）。 When the moving body detection process is started, the analysis unit 50, as described above, determines the type of intersection that the camera 10 captures based on the position and traveling direction of the own vehicle and the road map data obtained from the position detector 20. Is identified (S210). Thereafter, a variable M representing the mobile object type number to be processed is initialized to 1 (S220), and a variable N representing the template number to be processed is initialized to 1 (S230).

この処理を終えると、解析ユニット５０は、Ｓ２１０で特定した交差点の種類に対応する第一テンプレート群に属し、変数Ｍが示す番号に対応する移動体種類の第二テンプレート群の中から、変数Ｎが示すテンプレート番号に対応したテンプレートデータを読み出し、このテンプレートデータを処理対象のテンプレートデータに設定する（Ｓ２４０）。更に、処理対象テンプレートデータが示す位置情報、空間分布特徴量Ｖｎ，Ｖｍに基づき、特徴点分布ベクトルＶｓを算出する（Ｓ２５０）。 When this processing is finished, the analysis unit 50 belongs to the first template group corresponding to the type of intersection specified in S210, and the variable N is selected from the second template group of the moving body type corresponding to the number indicated by the variable M. The template data corresponding to the template number indicated by is read, and this template data is set as the template data to be processed (S240). Further, a feature point distribution vector Vs is calculated based on the position information indicated by the processing target template data and the spatial distribution feature amounts Vn and Vm (S250).

Ｖｓ＝（Ｒ，Ｖｎ，Ｖｍ）
ここで、Ｒは、位置情報が示す領域の縦位置ｐ１、横位置ｐ２、縦幅ｄ１及び横幅ｄ２を要素とするベクトル量である。 Vs = (R, Vn, Vm)
Here, R is a vector quantity whose elements are the vertical position p1, the horizontal position p2, the vertical width d1, and the horizontal width d2 of the region indicated by the position information.

Ｒ＝（ｐ１，ｐ２，ｄ１，ｄ１）
更に付言すると、空間分布特徴量Ｖｎは、処理対象テンプレートデータが示す右上区画での特徴点数ｖｎ１、右下区画での特徴点数ｖｎ２、左上区画での特徴点数ｖｎ３、及び、左下区画での特徴点数ｖｎ４を要素とする四次元のベクトル量Ｖｎ＝（ｖｎ１，ｖｎ２，ｖｎ３，ｖｎ４）であり、空間分布特徴量Ｖｍは、処理対象テンプレートデータが示す右上区画での動きのある特徴点数ｖｍ１、右下区画での動きのある特徴点数ｖｍ２、左上区画での動きのある特徴点数ｖｍ３、及び、左下区画での動きのある特徴点数ｖｍ４を要素とする四次元のベクトル量Ｖｍ＝（ｖｍ１，ｖｍ２，ｖｍ３，ｖｍ４）である。従って、特徴点分布ベクトルＶｓは、具体的に次の１２次元ベクトルで表される。 R = (p1, p2, d1, d1)
In addition, the spatial distribution feature amount Vn includes the number of feature points vn1 in the upper right section, the number of feature points vn2 in the lower right section, the number of feature points vn3 in the upper left section, and the number of feature points in the lower left section. The four-dimensional vector quantity Vn = (vn1, vn2, vn3, vn4) having vn4 as an element, and the spatial distribution feature quantity Vm is the number of feature points vm1 with motion in the upper right section indicated by the processing target template data, lower right Four-dimensional vector quantity Vm = (vm1, vm2, vm3) having as elements the number of feature points vm2 with motion in the section, the number of feature points vm3 with motion in the upper left section, and the number of feature points vm4 with motion in the lower left section , Vm4). Therefore, the feature point distribution vector Vs is specifically expressed by the following 12-dimensional vector.

Ｖｓ＝（ｐ１，ｐ２，ｄ１，ｄ２，ｖｎ１，ｖｎ２，ｖｎ３，ｖｎ４，ｖｍ１，ｖｍ２，ｖｍ３，ｖｍ４）
また、Ｓ２５０で特徴点分布ベクトルＶｓを算出すると、解析ユニット５０は、処理対象テンプレートデータの三次元位置情報が示す距離Ｌを、これから検出する移動体の交差点中央までの距離であると推定し（Ｓ２６０）、更に、処理対象テンプレートデータの位置情報が示す領域に一致する解析対象フレーム内の領域を、移動体検出対象領域Ωに設定する（Ｓ２７０）。以下では、処理対象テンプレートデータの位置情報が示す領域に一致する解析対象フレーム内の領域をテンプレート基準領域Ω０とも表現する。 Vs = (p1, p2, d1, d2, vn1, vn2, vn3, vn4, vm1, vm2, vm3, vm4)
When the feature point distribution vector Vs is calculated in S250, the analysis unit 50 estimates that the distance L indicated by the three-dimensional position information of the processing target template data is the distance to the intersection center of the moving object to be detected ( Further, the region in the analysis target frame that matches the region indicated by the position information of the processing target template data is set as the moving object detection target region Ω (S270). Hereinafter, a region in the analysis target frame that matches the region indicated by the position information of the processing target template data is also expressed as a template reference region Ω0.

そして、この移動体検出対象領域Ωにおける各区画の特徴点数及び動きのある特徴点数をカウントし、上記特徴点分布ベクトルＶｓと同様のベクトル量であって、移動体検出対象領域Ωについての特徴点分布ベクトルＶｒを算出する（Ｓ２８０）。 Then, the number of feature points of each section and the number of feature points in motion in this moving object detection target region Ω are counted, and the same vector amount as the feature point distribution vector Vs, which is the feature point of the moving object detection target region Ω. A distribution vector Vr is calculated (S280).

Ｖｒ＝（Ｒ^*，Ｖｎ^*，Ｖｍ^*）
ここで、Ｒ^*は、解析対象フレームにおける移動体検出対象領域Ωの縦位置、移動体検出対象領域Ωの横位置、移動体検出対象領域Ωの縦幅、及び、移動体検出対象領域Ωの横幅を要素とするベクトル量である。また、Ｖｎ^*は、解析対象フレームにおける移動体検出対象領域Ωでの特徴点の空間分布特徴量であり、本実施例では移動体検出対象領域Ωの右上区画（図３参照）での特徴点数、右下区画での特徴点数、左上区画での特徴点数、及び、左下区画での特徴点数を要素とする四次元のベクトル量である。また、Ｖｍ^*は、解析対象フレームにおける移動体検出対象領域Ωでの動きのある特徴点の空間分布特徴量であり、本実施例では移動体検出対象領域Ωの右上区画での動きのある特徴点数、右下区画での動きのある特徴点数、左上区画での動きのある特徴点数、及び、左下区画での動きのある特徴点数を要素とする四次元のベクトル量である。 Vr = (R ^* , Vn ^* , Vm ^* )
Here, R ^* is the vertical position of the moving object detection target region Ω, the horizontal position of the moving object detection target region Ω, the vertical width of the moving object detection target region Ω, and the moving object detection target region Ω of the analysis target frame. It is a vector quantity whose width is an element. Further, Vn ^* is the spatial distribution feature quantity of the feature points in the moving object detection target region Ω in the analysis target frame. In this embodiment, the number of feature points in the upper right section (see FIG. 3) of the moving object detection target region Ω. The number of feature points in the lower right section, the number of feature points in the upper left section, and the number of feature points in the lower left section are four-dimensional vector quantities. Further, Vm ^* is a spatial distribution feature amount of feature points having movement in the moving object detection target region Ω in the analysis target frame, and in the present embodiment, features having movement in the upper right section of the moving object detection target region Ω. This is a four-dimensional vector quantity having the number of points, the number of feature points with motion in the lower right section, the number of feature points with motion in the upper left section, and the number of feature points with motion in the lower left section as elements.

Ｓ２８０にて移動体検出対象領域Ωについての特徴点分布ベクトルＶｒを算出すると、解析ユニット５０は、Ｓ２９０に移行して図７に示す類似度評価処理を実行し、テンプレートデータから算出した特徴点分布ベクトルＶｓと、移動体検出対象領域Ωの特徴点分布ベクトルＶｒとの類似度Ｇを算出する。これによって、移動体検出対象領域Ωにテンプレートデータに対応する移動体が存在する確度を、特徴点及び動きのある特徴点の分布を指標に評価する。 When the feature point distribution vector Vr for the moving object detection target region Ω is calculated in S280, the analysis unit 50 proceeds to S290, executes the similarity evaluation process shown in FIG. 7, and calculates the feature point distribution calculated from the template data. A similarity G between the vector Vs and the feature point distribution vector Vr of the moving object detection target region Ω is calculated. Thus, the probability that the moving object corresponding to the template data exists in the moving object detection target region Ω is evaluated using the distribution of the feature points and the feature points having movement as indexes.

類似度評価処理を開始すると、解析ユニット５０は、まず、テンプレートデータから算出した特徴点分布ベクトルＶｓと、移動体検出対象領域Ωの特徴点分布ベクトルＶｒとの二乗距離Ｅ及びコサイン距離Ｆを算出する（Ｓ２９１，Ｓ２９３）。 When the similarity evaluation process is started, the analysis unit 50 first calculates a square distance E and a cosine distance F between the feature point distribution vector Vs calculated from the template data and the feature point distribution vector Vr of the moving object detection target region Ω. (S291, S293).

そして、二乗距離Ｅ及びコサイン距離Ｆに基づいて、ベクトル間の類似度Ｇを次式に従って算出する（Ｓ２９５）。 Based on the square distance E and the cosine distance F, the similarity G between the vectors is calculated according to the following equation (S295).

尚、二乗距離Ｅ及びコサイン距離Ｆの両者を用いて、ベクトル間の類似度Ｇを算出するのは、次の理由からである。即ち、二乗距離Ｅ単体で、ベクトル間の類似度ＧをＧ＝１／（１＋Ｅ）で評価すると、特徴点数の変動が類似度の変動に大きく表れ、特徴点数は多いがテンプレートデータとわずかな差がある場合の類似度が過剰に低く評価されてしまう一方、コサイン距離Ｆ単体で、ベクトル間の類似度ＧをＧ＝Ｆ評価すると、特徴点数の多さに関する情報が類似度に反映されないため、特徴点数についてテンプレートデータと乖離のある場合でも類似度が高く評価されてしまうケースがあるためである。本実施例では、このような理由から夫々の弱点を補完できるように、上式に従って、ベクトル間の類似度Ｇを算出する。尚、上式にて算出される類似度Ｇは、ＶｒとＶｓが一致するとき、Ｅ＝０となりＦ＝１となるため、Ｇ＝１となる。即ち、類似度Ｇは、最大値１を採り、類似度の評価が高い程大きな値を採る。 The reason why the similarity G between vectors is calculated using both the square distance E and the cosine distance F is as follows. That is, when the similarity G between vectors is evaluated by G = 1 / (1 + E) with the square distance E alone, the variation in the number of feature points appears greatly in the variation in the degree of similarity, and the number of feature points is large but slightly different from the template data. On the other hand, when the similarity G between vectors is evaluated by G = F with the cosine distance F alone, the information on the number of feature points is not reflected in the similarity. This is because there are cases where the degree of similarity is highly evaluated even when there is a deviation from the template data. In the present embodiment, the similarity G between vectors is calculated according to the above equation so that each weak point can be complemented for such a reason. Note that the similarity G calculated by the above equation is G = 1 because V = 0 and Fs are equal to E = 0 and F = 1. That is, the similarity G takes a maximum value of 1, and takes a larger value as the similarity evaluation is higher.

また、このようにして類似度Ｇを算出した後には、算出した類似度Ｇを、移動体検出対象領域Ω内の総特徴点数Ｎｐ、推定した移動体から交差点までの距離Ｌ（Ｓ２６０参照）、及び、移動体検出対象領域Ωの面積Ａに基づいて補正する。 In addition, after calculating the similarity G in this way, the calculated similarity G is calculated based on the total number of feature points Np in the moving object detection target region Ω, the estimated distance L from the moving object to the intersection (see S260), And it correct | amends based on the area A of the moving body detection object area | region (ohm).

詳述すると、移動体検出対象領域Ω内の画質が良い場合には、移動体検出対象領域Ω内の総特徴点数Ｎｐが多くなる傾向にあり、総特徴点数が多ければ、特徴点分布ベクトルの信頼度は高いといえる。そこで、ここでは、移動体検出対象領域Ω内の総特徴点数Ｎｐに基づく類似度Ｇの補正係数α１を、α１＝Ｎｐ／Ｎ０に決定する。尚、Ｎ０は、移動体検出対象領域Ω内の総特徴点数Ｎｐについての基準値であり、設計者によって予め定められる。具体的には、移動体の交差点までの距離Ｌが基準距離Ｌ０（例えば２０ｍ）であるときに得られる移動体検出対象領域Ω内の平均的な総特徴点数に定められる。 More specifically, when the image quality in the moving object detection target region Ω is good, the total number of feature points Np in the moving object detection target region Ω tends to increase. If the total number of feature points is large, the feature point distribution vector It can be said that the reliability is high. Therefore, here, the correction coefficient α1 of the similarity G based on the total number of feature points Np in the moving object detection target region Ω is determined as α1 = Np / N0. N0 is a reference value for the total number of feature points Np in the moving object detection target region Ω, and is predetermined by the designer. Specifically, the average total number of feature points in the moving object detection target region Ω obtained when the distance L to the intersection of the moving object is a reference distance L0 (for example, 20 m) is determined.

更に、移動体検出対象領域Ω内の特徴点数は、移動体が交差点に近づくほど増える傾向があるため、交差点までの距離Ｌに基づく類似度Ｇの補正係数α２を、α２＝Ｌ０／Ｌに決定する。ここでのＬ０は、Ｎ０を定める際に用いた基準距離Ｌ０と同一である。 Furthermore, since the number of feature points in the moving object detection target region Ω tends to increase as the moving object approaches the intersection, the correction coefficient α2 of the similarity G based on the distance L to the intersection is determined as α2 = L0 / L. To do. Here, L0 is the same as the reference distance L0 used when determining N0.

更に、移動体検出対象領域Ωについては、移動体の大きさなどにも依存する。そこで、移動体検出対象領域Ωの面積Ａに基づく類似度Ｇの補正係数α３を、α３＝Ａ／Ａ０に決定する。ここでのＡ０は、基準距離Ｌ０であるときの移動体検出対象領域Ωの面積についての基準値であり、設計者により予め定められる。 Furthermore, the moving object detection target region Ω also depends on the size of the moving object. Therefore, the correction coefficient α3 of the similarity G based on the area A of the moving object detection target region Ω is determined as α3 = A / A0. A0 here is a reference value for the area of the moving object detection target region Ω at the reference distance L0, and is predetermined by the designer.

そして、これら補正係数α１，α２，α３の平均を、代表する補正係数αとして用いて類似度Ｇに作用させることにより、次式のように、類似度Ｇを補正する。ここでは、補正後の類似度をＧ^*と表現する。 Then, by using the average of these correction coefficients α1, α2, and α3 as the representative correction coefficient α and acting on the similarity G, the similarity G is corrected as in the following equation. Here, the corrected similarity is expressed as G ^* .

また、このようにして類似度Ｇを補正した後には、Ｓ３００に移行し、解析対象フレームとそれより一つ前のフレームの差分画像（以下、「解析対象差分画像」と表現する。）から生成された上記ブロック画素毎のＡＣインデックスＩＤＸ１（ｋ）に基づき、解析対象差分画像のブロック画素群の内、移動体検出対象領域Ωに位置するブロック画素群のＡＣインデックスＩＤＸ１（ｋ）の平均（以下「ＤＣＴアクティビティ」と表現する。）を算出する。これによって、二次元ＤＣＴ係数を指標に、移動体検出対象領域Ωに移動体が存在する確度を評価する。 Further, after the similarity G is corrected in this way, the process proceeds to S300, and is generated from a difference image between the analysis target frame and the previous frame (hereinafter referred to as “analysis target difference image”). Based on the above-described AC index IDX1 (k) for each block pixel, the average (hereinafter referred to as AC index IDX1 (k) of the block pixel group located in the moving object detection target region Ω among the block pixel groups of the analysis target difference image It is expressed as “DCT activity”). Thus, the probability that the moving object exists in the moving object detection target region Ω is evaluated using the two-dimensional DCT coefficient as an index.

ここで、解析対象差分画像のブロック画素群の内、移動体検出対象領域Ωに位置するブロック画素群が、Ｋ^*個（ｋ^*＝１，…，Ｋ^*）のブロック画素群である環境では、ＤＣＴアクティビティＹ１は、次式で求められる。 Here, in an environment in which the block pixel groups located in the moving object detection target region Ω among the block pixel groups of the analysis target difference image are K ^* (k ^* = 1,..., K ^* ) block pixel groups. The DCT activity Y1 is obtained by the following equation.

尚、ＤＣＴアクティビティは、その計算から移動体検出対象領域Ωに対応するブロック画素群の全体に占める交流成分電力Ａｐが閾値を超えるブロック画素の割合を表すものとも言える。 Note that the DCT activity can be said to represent the ratio of block pixels in which the AC component power Ap occupies the entire block pixel group corresponding to the moving object detection target region Ω exceeds the threshold from the calculation.

また、この処理を終えると、解析ユニット５０は、移動体検出対象領域Ωに処理対象テンプレートデータに対応する移動体が存在する確度を、Ｓ２９０で算出した類似度Ｇ^*及びＳ３００で算出したＤＣＴアクティビティＹ１に基づき、総合評価する（Ｓ３１０）。 When this process is finished, the analysis unit 50 determines the accuracy G ^* calculated in S290 and the DCT activity calculated in S300 as to the probability that the moving object corresponding to the processing target template data exists in the moving object detection target region Ω. Based on Y1, comprehensive evaluation is performed (S310).

具体的には、類似度Ｇ^*及びＤＣＴアクティビティＹ１の加重平均を、移動体検出対象領域Ωに移動体が存在する確度についての総評値Ｐとして算出する。 Specifically, the weighted average of the similarity G ^* and the DCT activity Y1 is calculated as the total evaluation value P for the probability that the moving object exists in the moving object detection target region Ω.

尚、ここでＴは転置を表す。また、重み付け係数ｗ１，ｗ２については、設計者が任意に定めることができる。
また、この処理を終えると、解析ユニット５０は、テンプレート基準領域Ω０周辺の局所探索が完了したか否かを判断する（Ｓ３２０）。ここで、「局所探索」について説明すると、本実施例の移動体検出装置１は、カメラ１０の撮影画像内において出現する移動体を迅速に検出しようとするものであるが、移動体検出対象領域Ωとしてテンプレート基準領域Ω０を設定し、この移動体検出対象領域Ωに移動体が存在する確度を評価する程度では、図８（ａ）に示すように障害物により視界が阻害されて、移動体の出現位置が変化した場合に、十分に対応することができない。尚、図８（ａ）は、テンプレート基準領域Ω０に停止車両が存在することで、側方右側遠方から到来する自動車の撮影画像内での出現位置が変化してしまう例を示した図である。 Here, T represents transposition. Further, the designer can arbitrarily determine the weighting coefficients w1 and w2.
When this process is finished, the analysis unit 50 determines whether or not the local search around the template reference region Ω0 is completed (S320). Here, “local search” will be described. The moving body detection apparatus 1 of the present embodiment is intended to quickly detect a moving body that appears in a captured image of the camera 10. The template reference area Ω0 is set as Ω, and the visual field is obstructed by the obstacle as shown in FIG. When the appearance position of changes, it cannot respond sufficiently. FIG. 8A is a diagram showing an example in which the appearance position in the photographed image of the automobile coming from the far side is changed due to the presence of the stopped vehicle in the template reference region Ω0. .

そこで、本実施例では、図８（ｂ）に示すように、テンプレート基準領域Ω０の周辺領域についても、この領域を移動体検出対象領域Ωに設定し、移動体検出対象領域Ωに移動体が存在する確度を評価する。即ち、ここで言う「局所探索」とは、テンプレート基準領域Ω０の周辺領域についての確度（総評値Ｐ）を算出する動作のことである。そして、「局所探索が完了したか否か」の判断とは、テンプレート基準領域Ω０を基準とした所定範囲の領域（即ち周辺領域）を、予め決められたルールで移動体検出対象領域Ωの縦位置、横位置、縦幅及び横幅を変更しながら、各変更後の移動体検出対象領域Ωについての総評値Ｐ（当該移動体検出対象領域Ωに移動体が存在する確度）を算出したか否かを判断することを言う。 Therefore, in this embodiment, as shown in FIG. 8B, this region is also set as the moving object detection target region Ω for the peripheral region of the template reference region Ω0, and the moving object is set in the moving object detection target region Ω. Evaluate the accuracy that exists. That is, the “local search” referred to here is an operation for calculating the accuracy (total rating value P) for the peripheral region of the template reference region Ω0. The determination of “whether or not the local search has been completed” means that a predetermined range of areas (that is, peripheral areas) based on the template reference area Ω0 is defined by a vertical rule of the moving object detection target area Ω according to a predetermined rule. Whether the total rating value P (the probability that the moving object exists in the moving object detection target area Ω) is calculated while changing the position, the horizontal position, the vertical width, and the horizontal width. Say to judge.

ここで「局所探索」が完了していないと判断すると（Ｓ３２０でＮｏ）、解析ユニット５０は、テンプレート基準領域Ω０を基準に、予め決められたルールで移動体検出対象領域Ωの位置（縦位置及び横位置）並びに幅（縦幅及び横幅）を変更して（Ｓ３３０）、Ｓ２８０に移行し、変更後の移動体検出対象領域Ωの特徴点分布ベクトルＶｒを算出して（Ｓ２８０）、その後、この特徴点分布ベクトルＶｒとテンプレートデータの特徴点分布ベクトルＶｓとの類似度Ｇ^*を算出し（Ｓ２９０）、更に、上記変更後の移動体検出対象領域ΩについてのＤＣＴアクティビティＹ１を算出し（Ｓ３００）、この類似度Ｇ^*及びＤＣＴアクティビティＹ１を用いて、変更後の移動体検出対象領域Ωに移動体が存在する確度についての総評値Ｐを算出する（Ｓ３１０）。 If it is determined that the “local search” has not been completed (No in S320), the analysis unit 50 determines the position (vertical position) of the moving object detection target region Ω according to a predetermined rule based on the template reference region Ω0. And horizontal position) and width (vertical width and horizontal width) are changed (S330), the process proceeds to S280, and the feature point distribution vector Vr of the moving object detection target area Ω after the change is calculated (S280). The similarity G ^* between the feature point distribution vector Vr and the feature point distribution vector Vs of the template data is calculated (S290), and the DCT activity Y1 for the changed moving object detection target region Ω is calculated (S300). ), using the similarity G ^* and DCT activity Y1, calculates a general comment value P for the probability of the presence of mobile in a mobile detection target region Ω after the change ( 310).

そして、予め定められた範囲で移動体検出対象領域Ωを変更し、これらの移動体検出対象領域Ωについての総評値Ｐを算出すると、「局所探索」が完了したと判断して（Ｓ３２０でＹｅｓ）、Ｓ３４０に移行する。尚、移動体検出対象領域Ωの変更による「局所探索」は、例えば、テンプレート基準領域Ω０から、縦位置を前後に所定量刻みで規定位置まで変更する動作、横位置を左右に所定量刻みで規定位置まで変更する動作、縦幅を拡大する方向に所定量刻みで規定幅まで変更する動作、横幅を拡大する方向に所定量刻みで規定幅まで変更する動作の夫々を、全通り実行し、各移動体検出対象領域Ωについての総評値Ｐを算出することにより実現することができる。 Then, by changing the moving object detection target region Ω within a predetermined range and calculating the total evaluation value P for these moving object detection target regions Ω, it is determined that the “local search” has been completed (Yes in S320). ), The process proceeds to S340. Note that the “local search” by changing the moving object detection target region Ω is, for example, an operation of changing the vertical position from the template reference region Ω0 back and forth to a specified position in steps of a predetermined amount, and the horizontal position in steps of a predetermined amount. The operation to change to the specified position, the operation to change the vertical width to the specified width in increments of the predetermined amount, and the operation to change to the specified width in increments of the predetermined amount in the direction to expand the horizontal width are all executed, This can be realized by calculating a total rating value P for each moving object detection target region Ω.

また、Ｓ３４０に移行すると、解析ユニット５０は、テンプレート基準領域Ω０での総評値Ｐ、及び、「局所探索」により得られたテンプレート基準領域Ω０から変更した各移動体検出対象領域Ωでの総評値Ｐに基づき、処理対象テンプレートデータに対応する移動体検出対象領域Ωとして最適な領域を選択し、この領域について算出した総評値Ｐを、処理対象テンプレートデータに対応する移動体が存在する確度についての総評値Ｐであると最終判定する。 In S340, the analysis unit 50 determines the total evaluation value P in the template reference region Ω0 and the total evaluation value in each moving object detection target region Ω changed from the template reference region Ω0 obtained by the “local search”. Based on P, an optimal region is selected as the moving object detection target region Ω corresponding to the processing target template data, and the total evaluation value P calculated for this region is used as the probability that the moving object corresponding to the processing target template data exists. Final judgment is made that the total rating value P is reached.

具体的には、テンプレート基準領域Ω０での総評値Ｐ、及び、「局所探索」により得られたテンプレート基準領域Ω０から変更した各移動体検出対象領域Ωでの総評値Ｐの内、最も高い総評値Ｐに対応する領域を最適な移動体検出対象領域Ωとして選択し、当該最も高い総評値Ｐを処理対象テンプレートデータに対応する移動体が存在する確度についての総評値Ｐであると最終判定する。 Specifically, the highest overall rating among the total rating value P in the template reference region Ω0 and the total rating value P in each moving object detection target region Ω changed from the template reference region Ω0 obtained by the “local search”. The region corresponding to the value P is selected as the optimum moving object detection target region Ω, and the highest total evaluation value P is finally determined to be the total evaluation value P for the probability that the moving object corresponding to the processing target template data exists. .

そして、処理対象テンプレートデータについての確度判定結果として、移動体種類番号Ｍ及びテンプレート番号Ｎに関連付けて、最終判定した総評値Ｐと対応する移動体検出対象領域Ωの情報とを記憶する。 Then, as the accuracy determination result for the processing target template data, the final evaluation value P and the information on the corresponding moving object detection target region Ω are stored in association with the moving object type number M and the template number N.

その後、解析ユニット５０は、交差点種類がＳ２１０で特定した交差点種類に該当し移動体種類が変数Ｍに対応する移動体種類の第二テンプレートデータ群に属する全てのテンプレートデータについての総評値Ｐを算出・最終判定したか否かを判断し（Ｓ３５０）、算出・最終判定していない場合には、処理対象のテンプレート番号を表す変数Ｎを１加算して（Ｓ３６０）、上記第二テンプレートデータ群の内、今回処理対象としたテンプレートデータの次のテンプレートデータを読み出して、このテンプレートデータを新たな処理対象テンプレートデータに設定し（Ｓ２４０）、Ｓ２５０以降の処理を実行することで、当該テンプレートデータに対応する移動体が存在する確度についての総評値Ｐを算出・最終判定し、この確度判定結果を記憶する。 Thereafter, the analysis unit 50 calculates the overall rating value P for all template data belonging to the second template data group of the moving object type corresponding to the intersection type specified in S210 and the moving object type corresponding to the variable M. It is determined whether or not the final determination has been made (S350). If the calculation and final determination have not been made, 1 is added to the variable N representing the template number to be processed (S360), and the second template data group Among them, the template data next to the template data to be processed this time is read out, this template data is set as new template data to be processed (S240), and the processing after S250 is executed to cope with the template data. The overall rating value P for the accuracy of the moving object to be present is calculated and finally determined. To 憶.

また、解析ユニット５０は、このような動作を繰り返すことで、上記第二テンプレートデータ群に属する全てのテンプレートデータについての総評値Ｐを算出・最終判定したと判断すると（Ｓ３５０でＹｅｓ）、Ｓ３７０に移行し、これまでの処理により得られた移動体種類番号Ｍの各テンプレートデータの確度判定結果について、これらの確度判定結果の内、総評値Ｐが上位Ｎｍ個の確度判定結果を残して、その他の確度判定結果を破棄する。 If the analysis unit 50 determines that the total rating value P has been calculated and finally determined for all template data belonging to the second template data group by repeating such operations (Yes in S350), the process proceeds to S370. As for the accuracy determination result of each template data of the moving body type number M obtained by the process so far, among these accuracy determination results, the overall rating value P has the top Nm accuracy determination results, and other Discard the accuracy judgment result.

その後、解析ユニット５０は、Ｓ２１０で特定した交差点種類の第一テンプレートデータ群に属する第二テンプレートデータ群の全てについての総評値Ｐを算出・最終判定したか否かを判断し（Ｓ３８０）、算出・最終判定していない場合には（Ｓ３８０でＮｏ）、変数Ｍを１加算した値に更新して（Ｓ３９０）、次の移動体種類の第二テンプレートデータ群に属する各テンプレートデータに対応する移動体が存在する確度についての総評値Ｐを算出・最終判定する（Ｓ２３０〜Ｓ３６０）。そして、この移動体種類の各テンプレートデータに対応する移動体が存在する確度についての総評値Ｐを算出・最終判定した後には、Ｓ３７０に移行し、この移動体種類の確度判定結果群について、総評値Ｐが上位Ｎｍ個の確度判定結果を残して、その他の確度判定結果を破棄する。 Thereafter, the analysis unit 50 determines whether or not the overall rating value P has been calculated and finally determined for all of the second template data groups belonging to the first template data group of the intersection type identified in S210 (S380). If the final determination has not been made (No in S380), the variable M is updated to a value obtained by adding 1 (S390), and the movement corresponding to each template data belonging to the second template data group of the next moving body type A total rating value P for the probability that the body exists is calculated and finally determined (S230 to S360). Then, after calculating and finally determining the overall rating value P for the accuracy of existence of the mobile object corresponding to each template data of this mobile object type, the process proceeds to S370, and the overall evaluation value group for this mobile object type is evaluated. The accuracy determination results with the top Nm values P are left, and other accuracy determination results are discarded.

そして、Ｓ２１０で特定した交差点種類の第一テンプレートデータ群に属する第二テンプレートデータ群の全てについての総評値Ｐを算出・最終判定したと判断すると（Ｓ３８０でＹｅｓ）、Ｓ４００に移行し、移動体検出対象の道路区分を選択する。ここで言う道路区分は、撮像画像に映る道路を区分化して得られる各区分のことを示しており、区分化の方法は、任意に定めることができる。例えば、区分化は、交差点中央からの距離によって行うことができる。更に、車線（移動体の移動方向）によって区分化されてもよい。但し、本実施例では、交差点中央からの距離によって（例えば５ｍ間隔で）区分化すると共に、車線（移動体の移動方向）によって区分化するものとする。 If it is determined that the overall rating P for all the second template data groups belonging to the first template data group of the intersection type specified in S210 has been calculated and finally determined (Yes in S380), the process proceeds to S400, and the mobile object Select the road segment to be detected. The road segment referred to here indicates each segment obtained by segmenting the road shown in the captured image, and the segmentation method can be arbitrarily determined. For example, the segmentation can be performed by the distance from the intersection center. Further, it may be segmented by lane (movement direction of the moving body). However, in this embodiment, it is classified according to the distance from the center of the intersection (for example, at intervals of 5 m) and also classified according to the lane (the moving direction of the moving body).

Ｓ４００で移動体検出対象の道路区分を選択すると、解析ユニット５０は、Ｓ４１０に移行し、選択した道路区分に対応する各テンプレートデータの確度判定結果の一群から、総評値Ｐが上位Ｎｒ個の確度判定結果を抽出する。尚、Ｓ２１０〜Ｓ３９０の処理で記憶保持している確度判定結果の内、どの確度判定結果が選択した道路区分に対応するかは、対応するテンプレートデータが有する移動体の三次元位置情報（移動体の交差点までの距離Ｌ）及び三次元姿勢情報に基づいて特定する。 When the road segment to be detected by the moving object is selected in S400, the analysis unit 50 proceeds to S410, and the accuracy of the highest Nr total rating value P from the group of accuracy determination results of each template data corresponding to the selected road segment. Extract the judgment results. Of the accuracy determination results stored and retained in the processing of S210 to S390, which accuracy determination result corresponds to the selected road segment is determined by the three-dimensional position information (mobile object) of the mobile object included in the corresponding template data. Is determined based on the distance L) to the intersection and the three-dimensional posture information.

また、Ｓ４１０による上記総評値Ｐが上位Ｎｒ個の確度判定結果の抽出後には、抽出した確度判定結果の中から、更に総評値Ｐが予め定められた閾値以上のものを抽出し、抽出した総評値Ｐが閾値以上の確度判定結果を、移動体が存在することを示す確度判定結果として取り扱う（Ｓ４２０）。即ち、この動作により、解析ユニット５０は、解析対象フレーム内の該当道路区分に映る移動体を検出する。 In addition, after extracting the top Nr accuracy determination results for the above-mentioned total evaluation value P in S410, the extracted total evaluation value P is further extracted from the extracted accuracy determination results when the total evaluation value P is equal to or greater than a predetermined threshold value. The accuracy determination result whose value P is greater than or equal to the threshold value is handled as an accuracy determination result indicating that a moving object exists (S420). That is, by this operation, the analysis unit 50 detects a moving body reflected on the corresponding road section in the analysis target frame.

具体的には、上記確度判定結果の夫々について、当該確度判定結果が示す領域Ωに、確度判定結果が示す種類（移動体種類番号Ｍ）の移動体であって、確度判定結果が示すテンプレート番号Ｎのテンプレートデータが示す色の移動体が、当該テンプレートデータが示す三次元位置に、当該テンプレートデータが示す三次元姿勢で存在すると、判定することにより、上記各確度判定結果に対応する移動体を検出すると共に、その移動体の色、三次元位置、三次元姿勢を特定する。尚、検出された移動体の撮影画像上の検出領域Ω（換言すれば移動体検出対象領域Ω）、並びに、移動体の色、三次元位置及び三次元姿勢に関する情報は、描画処理ブロックＢ６（図２参照）に渡される。 Specifically, for each of the accuracy determination results, the region number Ω indicated by the accuracy determination result is a moving body of the type (moving body type number M) indicated by the accuracy determination result, and the template number indicated by the accuracy determination result. By determining that the moving body of the color indicated by the template data of N exists in the 3D position indicated by the template data at the 3D position indicated by the template data, the moving body corresponding to each accuracy determination result is determined. While detecting, the color, three-dimensional position, and three-dimensional posture of the moving body are specified. The detection area Ω (in other words, the moving object detection target area Ω) on the captured image of the detected moving body, and information on the color, three-dimensional position, and three-dimensional posture of the moving object are represented in the drawing processing block B6 ( 2).

また、Ｓ４２０での処理を終えると、解析ユニット５０は、全道路区分についてＳ４１０，Ｓ４２０の処理を実行したか否かを判断し（Ｓ４３０）、全道路区分について実行してなければ（Ｓ４３０でＮｏ）、Ｓ４００に移行し、新たな道路区分を選択して、Ｓ４１０以降の処理を実行する。この動作により、解析ユニット５０は、道路区分毎に、上位Ｎｒ個の確度判定結果であって総評値Ｐが閾値以上の確度判定結果を抽出し、この抽出した各確度判定結果に対応する移動体が存在すると判定して、この判定（検出）した移動体の撮影画像上の存在領域Ω、並びに、移動体の色、三次元位置及び三次元姿勢に関する情報を、描画処理ブロックＢ６（図２参照）に入力する。そして、全道路区分についてＳ４１０，Ｓ４２０の処理を実行すると、当該移動体検出処理を終了する。 When the processing in S420 is completed, the analysis unit 50 determines whether or not the processing of S410 and S420 has been executed for all road segments (S430), and if not executed for all road segments (No in S430). ), The process proceeds to S400, a new road segment is selected, and the processes after S410 are executed. By this operation, the analysis unit 50 extracts, for each road segment, the accuracy determination results of the top Nr accuracy determination results whose total evaluation value P is equal to or greater than the threshold, and the mobile object corresponding to each of the extracted accuracy determination results And the information regarding the existence region Ω on the captured image of the moving body and the color, three-dimensional position, and three-dimensional posture of the moving body, which are determined (detected), are displayed in the drawing processing block B6 (see FIG. 2). ). And if the process of S410 and S420 is performed about all the road classifications, the said mobile body detection process will be complete | finished.

尚、解析ユニット５０は、このような移動体検出処理の実行結果を受けて、並列処理する描画処理にて、カメラ１０から得られた撮影画像を表示装置３０に表示すると共に、検出された移動体毎に、当該移動体の検出領域Ωを包囲するバウンディングボックス（境界線）を表示する。また、バウンディングボックス周辺には、当該移動体の色、三次元位置及び三次元姿勢に関する文字情報を表示する。 The analysis unit 50 receives the execution result of the moving object detection process, displays the captured image obtained from the camera 10 on the display device 30 and displays the detected movement in the drawing process that performs parallel processing. For each body, a bounding box (boundary line) surrounding the detection area Ω of the moving body is displayed. In addition, character information related to the color, three-dimensional position, and three-dimensional posture of the moving object is displayed around the bounding box.

以上、本実施例の移動体検出装置１について説明したが、本実施例によれば、解析対象フレームから得られた特徴点の分布をテンプレートデータと比較するために、特徴点の分布を区画毎の特徴点数の情報からなるベクトルにより数値表現する。従って、特徴点毎の位置座標の比較により、解析対象フレームから得られた特徴点の分布とテンプレートデータとを比較する従来手法よりも、背景雑音の影響を受け辛く、本実施例によれば、解析フレーム左右から出現する遠方の移動体を、高精度に検出することができる。即ち、本実施例によれば、カメラ１０の撮影画像内で出現する移動体を迅速に検出することができる。 The moving object detection apparatus 1 according to the present embodiment has been described above. According to the present embodiment, in order to compare the feature point distribution obtained from the analysis target frame with the template data, the feature point distribution is set for each section. It is expressed numerically by a vector consisting of information on the number of feature points. Therefore, by comparing the position coordinates for each feature point, it is less affected by background noise than the conventional method of comparing the distribution of feature points obtained from the analysis target frame and the template data. A distant moving body appearing from the left and right of the analysis frame can be detected with high accuracy. That is, according to the present embodiment, it is possible to quickly detect a moving body that appears in a captured image of the camera 10.

特に、本実施例によれば、カメラ１０として広角カメラを用いているので、交差点で事故の原因となりやすい側方から到来する移動体を、遠方に位置する時点からすばやく検出することができ、衝突回避に大変役立つ。また、広角カメラは、被写体が歪んだ形で現れるが、カメラから被写体までの距離によりその程度が異なるため、広角カメラから背景の間に移動体が位置している場合と、そうでない場合とで、異なる特徴点の分布が得られ易い。よって、本実施例によれば、広角カメラの特性を生かして高精度に、側方から到来する移動体を検出することができる。 In particular, according to the present embodiment, since a wide-angle camera is used as the camera 10, it is possible to quickly detect a moving body coming from the side that is likely to cause an accident at an intersection from a point in time far away. Very useful for avoidance. In addition, the wide-angle camera appears in a distorted form, but the degree varies depending on the distance from the camera to the subject.Therefore, whether the moving object is located between the wide-angle camera and the background or not. It is easy to obtain distributions of different feature points. Therefore, according to the present embodiment, it is possible to detect a moving body coming from the side with high accuracy by utilizing the characteristics of the wide-angle camera.

また、本実施例によれば、特徴点の分布だけではなく、二次元ＤＣＴ係数を用いて、移動体が移動体検出対象領域Ωに存在する確度を総合評価するので、特徴点の分布のみで確度を評価する場合よりも、高精度に移動体を検出することができる。 Further, according to this embodiment, not only the distribution of feature points but also the two-dimensional DCT coefficient is used to comprehensively evaluate the accuracy of the moving object existing in the moving object detection target region Ω. The moving object can be detected with higher accuracy than when the accuracy is evaluated.

即ち、撮影画像に動きのある移動体が映っている場合には、フレーム差分画像に移動体の輪郭が現れるが、この輪郭がシャープに現れていれば、ＤＣＴ係数の交流成分が高い値を採る。従って、このような二次元ＤＣＴ係数を用いて、移動体を検出すれば、移動体を高精度に検出することができる。 That is, when a moving body is shown in the captured image, the outline of the moving body appears in the frame difference image. If this outline appears sharply, the AC component of the DCT coefficient takes a high value. . Therefore, if a moving body is detected using such a two-dimensional DCT coefficient, the moving body can be detected with high accuracy.

尚、上記実施例に対しては、次のような変形例が考えられる。
［変形例１］
左右から移動体が到来する種類の交差点においては、カメラ１０の撮影画像を通じて交差点での移動体の運動を見たときに、左側から到来する移動体と右側から到来する移動体とが、少々の差はあるものの略左右対称な運動（交差点への進入動作）をする。従って、左右対称に撮影画像に映る移動体のテンプレートデータについては、共通するテンプレートデータを記憶装置４０に格納するようにしてもよい。 For the above embodiment, the following modifications can be considered.
[Modification 1]
At the kind of intersection where the moving object arrives from the left and right, when the movement of the moving object at the intersection is viewed through the captured image of the camera 10, there are a small number of moving objects coming from the left side and moving objects coming from the right side. Although there is a difference, it moves substantially symmetrically (the approach to the intersection). Therefore, common template data may be stored in the storage device 40 for the template data of the moving object that appears in the captured image symmetrically.

即ち、左から出現する移動体が映る領域の位置情報、空間分布特徴量Ｖｎ，Ｖｍを記述したテンプレートデータ、及び、右から出現する移動体が映る領域の位置情報及び空間分布特徴量Ｖｎ，Ｖｍを記述したテンプレートデータの夫々を、記憶装置４０に格納するのではなく、左右共通のテンプレートデータとして、例えば、右から出現する移動体が映る領域の位置情報、空間分布特徴量Ｖｎ，Ｖｍを記述したテンプレートデータのみを記憶装置４０に格納する。テンプレートデータには、他に、移動体の三次元位置情報及び姿勢情報及び色情報を記述することになるが、これらの情報についても右から表れる移動体についての情報を記述する。更に、テンプレートデータには、左右共通のデータであることを示す情報を記述する。 That is, the position information of the area in which the moving object appearing from the left is reflected, the template data describing the spatial distribution feature amounts Vn and Vm, and the position information and the spatial distribution feature amounts Vn and Vm of the area in which the moving object appearing from the right is shown. Instead of storing each of the template data described in the storage device 40, for example, the position information of the area in which the moving body appearing from the right and the spatial distribution features Vn and Vm are described as the left and right common template data. Only the performed template data is stored in the storage device 40. In addition to the three-dimensional position information, posture information, and color information of the moving body, the template data describes information about the moving body that appears from the right. Further, the template data describes information indicating that the data is common to the left and right.

そして、左右共通のテンプレートデータが処理対象テンプレートデータに設定された場合には、Ｓ２５０〜Ｓ３４０の処理を二回実行する。一回目は、処理対象テンプレートデータに記述された内容を、そのまま解釈して、上述した通りにＳ２５０〜Ｓ３４０の処理を実行する。二回目は、処理対象テンプレートデータに記述された内容を、左右対称の関係に従って読み変えて、Ｓ２５０〜Ｓ３４０の処理を実行するといった具合である。 When the left and right common template data is set as the processing target template data, the processes of S250 to S340 are executed twice. At the first time, the content described in the processing target template data is interpreted as it is, and the processing of S250 to S340 is executed as described above. The second time is such that the contents described in the processing target template data are reread according to the left-right symmetric relationship, and the processes of S250 to S340 are executed.

即ち、図９（ａ）上段に示すテンプレートデータが処理対象テンプレートデータである場合であって、撮影画像の横幅がＷである場合には、図９（ａ）下段に示すようにテンプレートデータが示す横位置を「Ｗ−１５．９８」に読み替え、右上区画及び右下区画の特徴点数（及び動きのある特徴点数）を夫々、左上区画及び左下区画の特徴点数（及び動きのある特徴点数）に読み替え、左上区画及び左下区画の特徴点数（及び動きのある特徴点数）を夫々、右上区画及び右下区画の特徴点数（及び動きのある特徴点数）に読み替え、特徴点分布ベクトルＶｓを算出する（Ｓ２５０）。尚、読み替えについて触れなかった要素については、読み替えずに解釈して上記特徴点分布ベクトルＶｓを生成する。また、ここでは、話を簡単にするため、縦位置及び横位置が、領域の中心地点での位置を示しているものとする。図９（ｂ）には、読み替えによる変化する領域位置の概念図を示す。 That is, when the template data shown in the upper part of FIG. 9A is the processing target template data and the horizontal width of the photographed image is W, the template data shows as shown in the lower part of FIG. The horizontal position is read as “W-15.98”, and the number of feature points (and the number of feature points in motion) in the upper right section and the lower right section is changed to the number of feature points (and the number of feature points in motion) in the upper left section and lower left section, respectively. The number of feature points in the upper left section and the lower left section (and the number of feature points with motion) is replaced with the number of feature points in the upper right section and the lower right section (and the number of feature points with motion), respectively, and the feature point distribution vector Vs is calculated ( S250). Note that elements not touched on the replacement are interpreted without replacement, and the feature point distribution vector Vs is generated. Also, here, for the sake of simplicity, it is assumed that the vertical position and the horizontal position indicate the position at the center point of the region. FIG. 9B shows a conceptual diagram of a region position that changes due to replacement.

この他、テンプレートデータが示す横位置を「Ｗ−１５．９８」に読み替えて、テンプレート基準領域Ω０を解釈し、これを移動体検出対象領域Ωに設定して（Ｓ２７０）、特徴点分布ベクトルＶｒを算出する（Ｓ２８０）。 In addition, the horizontal position indicated by the template data is read as “W-15.98”, the template reference region Ω0 is interpreted, this is set as the moving object detection target region Ω (S270), and the feature point distribution vector Vr. Is calculated (S280).

そして、これら特徴点分布ベクトルＶｓ，Ｖｒを用いて類似度Ｇ^*を算出する一方、ＤＣＴアクティビティＹ１を算出し（Ｓ３００）、これらに基づいて総評値Ｐを算出する（Ｓ３１０）。更に、後続の処理を実行して移動体を検出し、検出した移動体についてのバウンディングボックスを描画する。 Then, the similarity G ^* is calculated using the feature point distribution vectors Vs and Vr, while the DCT activity Y1 is calculated (S300), and the overall rating value P is calculated based on these (S310). Further, the subsequent process is executed to detect the moving object, and the bounding box for the detected moving object is drawn.

尚、テンプレートデータが有する移動体姿勢情報については、次のように読み替える。即ち、「右から接近」であれば「左から接近」と読み替え、「右から右折」であれば「左から左折」と読み替える。このような移動体姿勢情報の読み替えについては、予め読替表を用意しておき、この読替表に従って、移動体姿勢情報を読み替えるように、移動体検出装置１を構成すればよい。 Note that the moving body posture information included in the template data is read as follows. That is, “approach from right” is read as “approach from left”, and “turn from right to right” is read as “turn from left to left”. For such replacement of the mobile body posture information, a replacement table may be prepared in advance, and the mobile body detection device 1 may be configured to read the mobile body posture information according to the replacement table.

以上、変形例１について説明したが、変形例１によれば、記憶装置４０に格納すべき、移動体検出に必要なテンプレートデータ量を抑えることができるといった利点がある。
［変形例２］
続いて、変形例２について説明する。変形例２は、障害物によるカメラ１０の視界の遮りに対応するために移動体検出対象領域Ωを調整する機能を、上述の実施例とは別の形態で実現するものである。具体的に、以下に説明する変形例２では、図６に示す移動体検出処理に代えて、図１０に示す移動体検出処理を実行する。尚、図１０に示す移動体検出処理の各ステップにおいて、図６に示す移動体検出処理と同内容のステップに対しては、図６に示す移動体検出処理の各ステップと同一のステップ番号を割り当て、その詳細な説明を適宜省略する。 The modification 1 has been described above. However, according to the modification 1, there is an advantage that the amount of template data necessary to detect the moving object that should be stored in the storage device 40 can be suppressed.
[Modification 2]
Subsequently, Modification 2 will be described. In the second modification, the function of adjusting the moving object detection target region Ω to cope with the obstruction of the field of view of the camera 10 by an obstacle is realized in a form different from the above-described embodiment. Specifically, in Modification 2 described below, the moving object detection process shown in FIG. 10 is executed instead of the moving object detection process shown in FIG. In addition, in each step of the moving body detection process shown in FIG. 10, the same step number as each step of the moving body detection process shown in FIG. The detailed description of the assignment is omitted as appropriate.

図１０に示す移動体検出処理を開始すると、解析ユニット５０は、Ｓ２１０からＳ２７０までの処理を実行する。そして、移動体検出対象領域Ωとしてテンプレート基準領域Ω０を設定した後には（Ｓ２７０の処理後には）、その移動体検出対象領域Ωの特徴点分布ベクトルＶｒを算出し（Ｓ２８０）、処理対象テンプレートデータの特徴点分布ベクトルＶｓと移動体検出対象領域Ωの特徴点分布ベクトルＶｒとの類似度Ｇ^*を算出する（Ｓ２９０）。また、移動体検出対象領域ΩのＤＣＴアクティビティＹ１を算出する（Ｓ３００）。 When the moving body detection process shown in FIG. 10 is started, the analysis unit 50 executes the processes from S210 to S270. After the template reference region Ω0 is set as the moving object detection target region Ω (after the processing of S270), the feature point distribution vector Vr of the moving object detection target region Ω is calculated (S280), and the processing target template data The similarity G ^* between the feature point distribution vector Vs and the feature point distribution vector Vr of the moving object detection target region Ω is calculated (S290). Also, the DCT activity Y1 of the moving object detection target region Ω is calculated (S300).

その後、解析ユニット５０は、ＤＣＴアクティビティＹ１が予め定められた閾値Ｔｈ＿Ｙ１未満であるか否かを判断する（Ｓ５１０）。ここで、ＤＣＴアクティビティＹ１が閾値Ｔｈ＿Ｙ１未満であるか否かを判断するのは、ＤＣＴアクティビティＹ１が低く現在の移動体検出対象領域Ω（＝Ω０）に移動体が存在する可能性が低い場合には、テンプレート基準領域Ω０の領域に、カメラ１０の視界を遮り移動体を見えなくするような障害物がある可能性を考慮して、移動体検出対象領域Ωを、テンプレート基準領域Ω０から変更するためである。 Thereafter, the analysis unit 50 determines whether the DCT activity Y1 is less than a predetermined threshold Th_Y1 (S510). Here, it is determined whether or not the DCT activity Y1 is less than the threshold Th_Y1 when the DCT activity Y1 is low and the possibility that a moving object is present in the current moving object detection target region Ω (= Ω0) is low. Takes into account the possibility that there is an obstacle in the template reference area Ω0 that blocks the field of view of the camera 10 and makes the moving object invisible, and changes the moving object detection target area Ω from the template reference area Ω0. Because.

即ち、ＤＣＴアクティビティＹ１が閾値Ｔｈ＿Ｙ１未満であると判断すると（Ｓ５１０でＹｅｓ）、解析ユニット５０は、移動体検出対象領域Ωを、テンプレート基準領域Ω０の周囲領域に変更する（Ｓ５２０）。具体的には、解析対象フレームとそれより一つ前のフレームの差分画像から生成されたブロック画素毎のＡＣインデックスＩＤＸ１（ｋ）に基づき、解析対象フレームに分布するＡＣインデックス「１」のブロック画素に対応する領域を特定し、テンプレート基準領域Ω０を基準とする所定範囲内で、ＡＣインデックス「１」のブロック画素が最大限収まる領域を、図１１に示すように、新たな移動体検出対象領域Ωに設定する。但し、ここでは、移動体検出対象領域Ωとテンプレート基準領域Ω０との縦横比を変更しない、若しくは、限られた範囲でしか縦横比を変更しないものとする。また、新たに設定する移動体検出対象領域Ωとテンプレート基準領域Ω０とのサイズ差についても制限を設ける。 That is, if it is determined that the DCT activity Y1 is less than the threshold Th_Y1 (Yes in S510), the analysis unit 50 changes the moving object detection target region Ω to a peripheral region of the template reference region Ω0 (S520). Specifically, based on the AC index IDX1 (k) for each block pixel generated from the difference image between the analysis target frame and the previous frame, block pixels with the AC index “1” distributed in the analysis target frame 11, a region where the block pixel of AC index “1” is maximally contained within a predetermined range with reference to the template reference region Ω 0 is a new moving object detection target region as shown in FIG. Set to Ω. However, here, the aspect ratio between the moving object detection target region Ω and the template reference region Ω0 is not changed, or the aspect ratio is changed only within a limited range. In addition, there is a restriction on the size difference between the newly set moving object detection target region Ω and the template reference region Ω0.

また、他の態様として、解析対象フレームに分布するＡＣインデックス「１」のブロック画素に対応する領域を特定すると共に、隣接するＡＣインデックス「１」のブロック画素間の距離に基づき、かたまりとなっている（集中して位置する）ＡＣインデックス「１」のブロック画素の集合をグループ化し、テンプレート基準領域Ω０を基準に所定範囲内で、ＡＣインデックス「１」のブロック画素が最も多く集まるグループが位置する領域を、新たな移動体検出対象領域Ωに設定する。これによって、ＤＣＴアクティビティＹ１の高い領域を、新たな移動体検出対象領域Ωに設定する。 As another aspect, the region corresponding to the block pixel having the AC index “1” distributed in the analysis target frame is specified, and the block is formed based on the distance between adjacent block pixels having the AC index “1”. A group of block pixels with AC index “1” that are located (concentrated) is grouped, and a group in which most block pixels with AC index “1” are collected within a predetermined range with reference to the template reference region Ω0 is located. The region is set to a new moving object detection target region Ω. As a result, a region having a high DCT activity Y1 is set as a new moving object detection target region Ω.

その後、解析ユニット５０は、解析対象フレーム内の新たに設定した移動体検出対象領域Ω内の各区画の特徴点数をカウントして、当該移動体検出対象領域Ωの特徴点分布ベクトルＶｒを算出し（Ｓ５３０）、この特徴点分布ベクトルＶｒと処理対象テンプレートデータの特徴点分布ベクトルＶｓとの類似度Ｇ^*を算出し（Ｓ５４０）、更に、この移動体検出対象領域ΩのＤＣＴアクティビティＹ１を算出する（Ｓ５５０）。 Thereafter, the analysis unit 50 counts the number of feature points of each section in the newly set moving object detection target region Ω in the analysis target frame, and calculates the feature point distribution vector Vr of the moving object detection target region Ω. (S530), the similarity G ^* between the feature point distribution vector Vr and the feature point distribution vector Vs of the processing target template data is calculated (S540), and the DCT activity Y1 of the moving object detection target region Ω is calculated. (S550).

また、解析ユニット５０は、移動体検出対象領域Ωに処理対象テンプレートデータに対応する移動体が存在する確度を、Ｓ５４０で算出した類似度Ｇ^*及びＳ５５０で算出したＤＣＴアクティビティＹ１に基づき、総合評価する（Ｓ５６０）。具体的には、類似度Ｇ^*及びＤＣＴアクティビティＹ１の加重平均を、移動体検出対象領域Ωに移動体が存在する確度についての総評値Ｐとして算出する。その後、Ｓ３５０以降の処理を、上述した実施例と同様に実行する。 Further, the analysis unit 50 evaluates the accuracy of the existence of the moving object corresponding to the processing target template data in the moving object detection target region Ω based on the similarity G ^* calculated in S540 and the DCT activity Y1 calculated in S550. (S560). Specifically, the weighted average of the similarity G ^* and the DCT activity Y1 is calculated as the total evaluation value P for the probability that the moving object exists in the moving object detection target region Ω. Thereafter, the processing after S350 is executed in the same manner as in the above-described embodiment.

これに対し、移動体検出対象領域Ωがテンプレート基準領域Ω０であるときに、ＤＣＴアクティビティＹ１が閾値Ｔｈ＿Ｙ１以上となった場合には（Ｓ５１０でＮｏ）、Ｓ５２０〜Ｓ５５０の処理を実行せずに、Ｓ５６０に移行し、移動体検出対象領域Ωに処理対象テンプレートデータに対応する移動体が存在する確度の総評値Ｐを、Ｓ２９０で算出した類似度Ｇ^*及びＳ３００で算出したＤＣＴアクティビティＹ１に基づき算出する（Ｓ５６０）。その後、Ｓ３５０以降の処理を、上述した実施例と同様に実行する。 On the other hand, when the moving object detection target region Ω is the template reference region Ω0 and the DCT activity Y1 is equal to or greater than the threshold Th_Y1 (No in S510), the processing of S520 to S550 is not performed. The process proceeds to S560, and the total rating value P of the probability that the moving object corresponding to the processing target template data exists in the moving object detection target region Ω is calculated based on the similarity G ^* calculated in S290 and the DCT activity Y1 calculated in S300. (S560). Thereafter, the processing after S350 is executed in the same manner as in the above-described embodiment.

以上のような手法によって、移動体検出対象領域Ωを変更しても、障害物による影響を抑え、移動体検出対象領域Ωを適切に設定することができ、障害物に阻害されて移動体が検出できなくなるのを抑えることができる。尚、本例においては、総評値Ｐを算出せず、類似度Ｇ^*を総評値Ｐの代わりに用いて、移動体を検出するようにしてもよい。
［変形例３］
続いて、変形例３について説明する。変形例３は、更に主成分分析（ＰＣＡ）の手法を用いて撮影画像に移動体が存在する確度を算出するものであり、上記実施例のＳ３００（図６参照）の処理に代えて、図１２（ａ）に示すアクティビティ算出処理を実行し、上記実施例のＳ３１０の処理に代えて、図１２（ｂ）に示す総評値算出処理を実行する点に特徴がある。 Even if the moving object detection area Ω is changed by the above method, the influence by the obstacle can be suppressed and the moving object detection area Ω can be set appropriately. It can suppress that it becomes impossible to detect. In this example, the mobile device may be detected using the similarity G ^* instead of the general rating value P without calculating the total rating value P.
[Modification 3]
Subsequently, Modification 3 will be described. In the third modification, the probability that a moving object is present in a captured image is calculated using a principal component analysis (PCA) method, and instead of the process of S300 (see FIG. 6) in the above-described embodiment, FIG. The activity calculation process shown in FIG. 12 (a) is executed, and instead of the process of S310 in the above-described embodiment, the total evaluation value calculation process shown in FIG. 12 (b) is executed.

本例の解析ユニット５０は、Ｓ３００に代えて、図１２（ａ）に示すアクティビティ算出処理を開始すると、フレーム差分画像解析処理によりブロック画素毎の二次元ＤＣＴ係数が得られた「解析対象フレームとそれより一つ前のフレームの差分画像（現時点の最新フレーム差分画像）」から移動体検出対象領域Ωに対応するブロック画素の一つを処理対象ブロック画素として選択し（Ｓ６１０）、現時点ｔ＝ｔ０のフレーム差分画像から得られた処理対象ブロック画素の二次元ＤＣＴ係数Ｃｄ［ｔ＝ｔ０］、及び、現時点より過去所定期間の各時刻ｔ＝ｔ０−δｔ，ｔ０−２・δｔ，ｔ０−３・δｔ，…のフレーム差分画像から得られた当該処理対象ブロック画素の二次元ＤＣＴ係数Ｃｄ［ｔ＝ｔ０−δｔ］，Ｃｄ［ｔ＝ｔ０−２・δｔ］，Ｃｄ［ｔ＝ｔ０−３・δｔ］，…に基づいて、当該処理対象ブロック画素におけるこれら二次元ＤＣＴ係数Ｃｄ［ｔ＝ｔ０］，Ｃｄ［ｔ＝ｔ０−δｔ］，Ｃｄ［ｔ＝ｔ０−２・δｔ］，Ｃｄ［ｔ＝ｔ０−３・δｔ］，…から構成される時系列ベクトルＸを生成する（Ｓ６２０）。 When the analysis unit 50 in this example starts the activity calculation process shown in FIG. 12A instead of S300, the two-dimensional DCT coefficient for each block pixel is obtained by the frame difference image analysis process. One of the block pixels corresponding to the moving object detection target region Ω is selected as a processing target block pixel from the “difference image of the previous frame (current latest frame difference image)” (S610), and the current t = t0. The two-dimensional DCT coefficient Cd [t = t0] of the block pixel to be processed obtained from the frame difference image of the current time, and each time t = t0−δt, t0-2 · δt, t0-3 · 2D DCT coefficients Cd [t = t0−δt], Cd [t = t0−2 · δt], C of the processing target block pixel obtained from the frame difference image of δt,. Based on [t = t0-3 · δt],..., These two-dimensional DCT coefficients Cd [t = t0], Cd [t = t0−δt], Cd [t = t0-2 · A time series vector X composed of δt], Cd [t = t0−3 · δt],... is generated (S620).

尚、二次元ＤＣＴ係数は本来８行８列の配列であるが、ここでは、各二次元ＤＣＴ係数を６４次元の列ベクトルに置き換えて、これらの列ベクトルを、時系列に合わせて列方向に配列することにより、ＤＣＴ係数についての時系列ベクトルＸを生成する。例えば、現時点も含みＮ個の時点の二次元ＤＣＴ係数Ｃｄ［ｔ＝ｔ０］，Ｃｄ［ｔ＝ｔ０−δｔ］，Ｃｄ［ｔ＝ｔ０−２・δｔ］，Ｃｄ［ｔ＝ｔ０−３・δｔ］，…，Ｃｄ［ｔ＝ｔ０−（Ｎ−１）・δｔ］の各列ベクトルを配列して時系列ベクトルＸを生成すると、時系列ベクトルＸは、（６４×Ｎ）行１列の列ベクトルとして構成される。 The two-dimensional DCT coefficients are originally an array of 8 rows and 8 columns, but here, each two-dimensional DCT coefficient is replaced with a 64-dimensional column vector, and these column vectors are aligned in the column direction in time series. By arranging, a time-series vector X for the DCT coefficient is generated. For example, the N-dimensional two-dimensional DCT coefficients Cd [t = t0], Cd [t = t0−δt], Cd [t = t0−2 · δt], Cd [t = t0−3 · δt including the current time ],..., Cd [t = t0− (N−1) · δt] are arranged to generate a time series vector X, the time series vector X is (64 × N) rows and 1 column. Configured as a vector.

また、この処理を終えると、解析ユニット５０は、時系列ベクトルＸを、記憶装置４０が記憶する第１から第Ｈ（例えばＨ＝３）主成分ベクトルＱ１，…，ＱＨに作用させ、主成分毎の主成分得点Ｚを算出すると共に、その総和Ｚｓを算出する。ここで、第ｈ主成分の主成分得点をＺｈで表現すると、主成分得点Ｚｈ及びその総和Ｚｓは、次式で算出される（Ｓ６３０）。 When this processing is finished, the analysis unit 50 causes the time series vector X to act on the first to H-th (for example, H = 3) principal component vectors Q1,..., QH stored in the storage device 40. The principal component score Z for each is calculated, and the sum Zs is calculated. Here, if the principal component score of the h-th principal component is expressed by Zh, the principal component score Zh and its sum Zs are calculated by the following equation (S630).

尚、記憶装置４０が記憶する主成分ベクトルＱ１〜ＱＨは、ブロック画素に移動体が映っている状態で得られる時系列ベクトルＸのサンプルを収集し、これらのサンプルを主成分分析して得られた主成分ベクトルであり、第ｈ主成分ベクトルＱｈは、時系列ベクトルＸのＮｘ（＞＞Ｈ）個のサンプルから得られた共分散行列の固有値・固有ベクトルを算出して得られる固有ベクトルであって、固有値の大きい順に数えてｈ番目の固有ベクトルに対応する。このことについては主成分分析の基本的な事柄なのでこれ以上の説明を省略する。 The principal component vectors Q1 to QH stored in the storage device 40 are obtained by collecting samples of the time series vector X obtained in a state in which the moving object is reflected in the block pixels, and performing principal component analysis on these samples. The h-th principal component vector Qh is an eigenvector obtained by calculating eigenvalues / eigenvectors of a covariance matrix obtained from Nx (>> H) samples of the time series vector X. , Corresponding to the h-th eigenvector counted in descending order of eigenvalues. Since this is a basic matter of principal component analysis, further explanation is omitted.

Ｓ６３０での処理を終えると、解析ユニット５０は、総和Ｚｓを、予め定められた閾値Ｔｈ＿Ｚｓと比較して二値化することにより、ＰＣＡインデックスＩＤＸ２を算出する。即ち、Ｚｓ＞Ｔｈ＿Ｚｓである場合には、ＩＤＸ２＝１を算出し、Ｚｓ≦Ｔｈ＿Ｚｓである場合には、ＩＤＸ２＝０を算出する（Ｓ６４０）。 When the processing in S630 is completed, the analysis unit 50 calculates the PCA index IDX2 by comparing the total Zs with a predetermined threshold Th_Zs and binarizing. That is, when Zs> Th_Zs, IDX2 = 1 is calculated, and when Zs ≦ Th_Zs, IDX2 = 0 is calculated (S640).

その後、解析ユニット５０は、移動体検出対象領域Ωに対応する全ブロック画素についてのＰＣＡインデックスＩＤＸ２の算出が完了したか否かを判断し（Ｓ６５０）、完了していない場合には（Ｓ６５０でＮｏ）、Ｓ６１０に移行して、移動体検出対象領域Ωに対応するブロック画素であって、ＰＣＡインデックスＩＤＸ２の算出が未完了のブロック画素を新たな処理対象ブロック画素に選択し（Ｓ６１０）、選択した処理対象ブロック画素に対応するＰＣＡインデックスＩＤＸ２を算出する（Ｓ６２０〜Ｓ６４０）。そして、移動体検出対象領域Ωに対応する全ブロック画素についてのＰＣＡインデックスＩＤＸ２の算出が完了すると、Ｓ６６０に移行する。 Thereafter, the analysis unit 50 determines whether or not the calculation of the PCA index IDX2 for all the block pixels corresponding to the moving object detection target region Ω is completed (S650), and if not completed (No in S650). ), The process proceeds to S610, and the block pixel corresponding to the moving object detection target region Ω and for which the calculation of the PCA index IDX2 has not been completed is selected as a new processing target block pixel (S610). The PCA index IDX2 corresponding to the processing target block pixel is calculated (S620 to S640). When the calculation of the PCA index IDX2 for all the block pixels corresponding to the moving object detection target region Ω is completed, the process proceeds to S660.

Ｓ６６０に移行すると、解析ユニット５０は、移動体検出対象領域Ωに対応する各ブロック画素のＰＣＡインデックスＩＤＸ２の平均（以下「ＰＣＡアクティビティ」と表現する。）を算出する。これによって、二次元ＤＣＴ係数の時系列変化を指標に、移動体検出対象領域Ωに移動体が存在する確度を評価する。 After shifting to S660, the analysis unit 50 calculates the average (hereinafter referred to as “PCA activity”) of the PCA index IDX2 of each block pixel corresponding to the moving object detection target region Ω. Thus, the probability that the moving object exists in the moving object detection target region Ω is evaluated using the time series change of the two-dimensional DCT coefficient as an index.

ここで、移動体検出対象領域Ωに位置するブロック群がＫ^*個（ｋ^*＝１，…，Ｋ^*）のブロック画素群である環境では、ＰＣＡアクティビティＹ２は、次式で求められる。 Here, in an environment in which the block group located in the moving object detection target region Ω is K ^* (k ^* = 1,..., K ^* ) block pixel groups, the PCA activity Y2 is obtained by the following equation.

但し、ＩＤＸ２（ｋ^*）は、移動体検出対象領域Ωに位置するブロック群の内、第ｋ^*番目のブロック画素のＰＣＡインデックスＩＤＸ２を表す。尚、ＰＣＡアクティビティは、その計算から移動体検出対象領域Ωに対応するブロック画素群の全体に占める主成分得点の総和Ｚｓが閾値を超えるブロック画素の割合を表すものとも言える。 However, IDX2 (k ^* ) represents the PCA index IDX2 of the k ^* th block pixel in the block group located in the moving object detection target region Ω. It can be said that the PCA activity represents the ratio of block pixels in which the sum Zs of the principal component scores occupies the entire block pixel group corresponding to the moving object detection target region Ω exceeds the threshold.

また、この処理を終えると、解析ユニット５０は、上述の実施例と同様、移動体検出対象領域Ωに位置するブロック画素群のＡＣインデックスＩＮＸ１（ｋ）の平均を算出することにより、ＤＣＴアクティビティＹ１を算出する（Ｓ６７０）。その後、当該アクティビティ算出処理を終了する。このようにして、アクティビティ算出処理では、ＤＣＴアクティビティＹ１だけでなく、ＰＣＡアクティビティＹ２を算出する。 When this processing is finished, the analysis unit 50 calculates the average of the AC index INX1 (k) of the block pixel group located in the moving object detection target region Ω, similarly to the above-described embodiment, thereby obtaining the DCT activity Y1. Is calculated (S670). Thereafter, the activity calculation process ends. In this way, in the activity calculation process, not only the DCT activity Y1 but also the PCA activity Y2 is calculated.

また、アクティビティ算出処理を終えると、解析ユニット５０は、図１２（ｂ）に示す総評値算出処理を実行することにより、移動体検出対象領域Ωに処理対象テンプレートデータに対応する移動体が存在する確度を、類似度Ｇ^*及びＤＣＴアクティビティＹ１及びＰＣＡアクティビティＹ２に基づき、総合評価する（Ｓ７００）。具体的には、類似度Ｇ^*及びＤＣＴアクティビティＹ１及びＰＣＡアクティビティＹ２の加重平均を、移動体検出対象領域Ωに移動体が存在する確度についての総評値Ｐとして算出する。 When the activity calculation process is finished, the analysis unit 50 executes the total evaluation value calculation process shown in FIG. 12B, so that a mobile object corresponding to the process target template data exists in the mobile object detection target region Ω. The accuracy is comprehensively evaluated based on the similarity G ^{*, the} DCT activity Y1, and the PCA activity Y2 (S700). Specifically, the weighted average of the similarity G ^{*, the} DCT activity Y1, and the PCA activity Y2 is calculated as a total rating value P for the probability that the moving object exists in the moving object detection target region Ω.

尚、ここでＴは転置を表す。また、重み付け係数ｗ１，ｗ２，ｗ３については、設計者が任意に定めることができる。
本例ではこのようにして、ＰＣＡアクティビティＹ２を用いて総評値Ｐを算出する。そして、Ｓ３００，Ｓ３１０以外の処理については、上記実施例と同様の処理を実行する。本例によれば、ＰＣＡアクティビティＹ２を用いて総評値Ｐを算出するので、一層高精度に移動体を検出することができて、左右側方から出現する移動体の迅速な検出に役立つ。 Here, T represents transposition. Further, the designer can arbitrarily determine the weighting coefficients w1, w2, and w3.
In this example, the total rating value P is calculated using the PCA activity Y2. And about processes other than S300 and S310, the process similar to the said Example is performed. According to this example, since the total rating value P is calculated using the PCA activity Y2, it is possible to detect the moving object with higher accuracy, and to help quickly detect the moving object appearing from the left and right sides.

尚、変形例３では、二次元ＤＣＴ係数の時系列ベクトルについて主成分分析し、この主成分分析により得られた主成分ベクトルと、移動体検出対象領域Ωの時系列ベクトルとを比較して、ＰＣＡアクティビティＹ２を算出するようにしたが、時系列ベクトルは、必ずしも、上記説明した二次元ＤＣＴ係数の時系列ベクトルとする必要はない。例えば、特徴点分布ベクトルの時系列ベクトルについて主成分分析して、移動体が映っている状態での時系列ベクトルの主成分ベクトルを算出し、移動体検出対象領域Ωの時系列ベクトルと主成分ベクトルとを比較して、上述した原理でＰＣＡアクティビティＹ２を算出するようにしてもよい。要するに、移動体が映ると特徴的な値が得られる画像特徴量についての時系列ベクトルを構成して、これを主成分分析し、ＰＣＡアクティビティＹ２を算出すればよいのである。 In Modification 3, the principal component analysis is performed on the time series vector of the two-dimensional DCT coefficient, the principal component vector obtained by the principal component analysis is compared with the time series vector of the moving object detection target region Ω, Although the PCA activity Y2 is calculated, the time series vector does not necessarily have to be the time series vector of the two-dimensional DCT coefficient described above. For example, the principal component analysis is performed on the time series vector of the feature point distribution vector to calculate the principal component vector of the time series vector in a state where the moving object is reflected, and the time series vector and principal component of the moving object detection target region Ω The PCA activity Y2 may be calculated based on the principle described above by comparing with the vector. In short, it is only necessary to construct a time-series vector for an image feature quantity that can obtain a characteristic value when a moving object is reflected, analyze the principal component, and calculate the PCA activity Y2.

この他、本例では、総評値Ｐとして、類似度Ｇ^*及びＤＣＴアクティビティＹ１及びＰＣＡアクティビティＹ２の加重平均を算出するようにしたが、総評値Ｐとしては、ＤＣＴアクティビティＹ１を用いずに、類似度Ｇ^*及びＰＣＡアクティビティＹ２の加重平均を算出するようにしてもよい。
［変形例４］
続いて、変形例４について説明する。変形例４は、図１３に示すように、空間分布特徴量Ｖｎ，Ｖｍを表現する対象の領域を４分割ではなく５分割して、空間分布特徴量Ｖｎ，Ｖｍを５次元のベクトル量で表現するようにしたものである。具体的には、図１３に示すように、空間分布特徴量を表現する対象の領域を、「右上」「右下」「中央」「左上」「左下」の各区画に分割する。そして、各区画の特徴点数（又は動きのある特徴点数）を要素とする５次元ベクトルにより、空間分布特徴量Ｖｎ，Ｖｍを表現するのである。このように空間分布特徴量Ｖｎ，Ｖｍを表現して、特徴点分布ベクトルＶｓ，Ｖｒを構成しても、上記実施例と同様の効果が得られる。
［対応関係］
以上に説明した変形例を含む各実施例と「特許請求の範囲」記載の各発明との対応関係は、次の通りである。テンプレートデータを記憶する記憶装置４０の領域は、本発明の記憶手段の一例に対応し、解析ユニット５０によって実行される特徴点抽出処理（特徴点抽出処理ブロックＢ１）は、本発明の特徴点抽出手段による処理の一例に対応し、解析ユニット５０により実行される動きのある特徴点の抽出処理（動きのある特徴点の抽出処理ブロックＢ３）は、本発明の第二特徴点抽出手段による処理の一例に対応する。 In addition, in this example, the weighted average of the similarity G ^* and the DCT activity Y1 and the PCA activity Y2 is calculated as the total rating value P. However, the total rating value P is similar without using the DCT activity Y1. A weighted average of the degree G ^* and the PCA activity Y2 may be calculated.
[Modification 4]
Subsequently, Modification 4 will be described. In Modification 4, as shown in FIG. 13, the target region expressing the spatial distribution feature amounts Vn and Vm is divided into five portions instead of four, and the spatial distribution feature amounts Vn and Vm are expressed as five-dimensional vector amounts. It is what you do. Specifically, as shown in FIG. 13, the target region expressing the spatial distribution feature is divided into “upper right”, “lower right”, “center”, “upper left”, and “lower left” sections. Then, the spatial distribution feature amounts Vn and Vm are expressed by a five-dimensional vector having the number of feature points of each section (or the number of feature points having motion) as an element. In this way, even if the spatial distribution feature amounts Vn and Vm are expressed and the feature point distribution vectors Vs and Vr are configured, the same effect as in the above embodiment can be obtained.
[Correspondence]
Correspondence between each embodiment including the modification described above and each invention described in “Claims” is as follows. The area of the storage device 40 that stores the template data corresponds to an example of the storage unit of the present invention, and the feature point extraction processing (feature point extraction processing block B1) executed by the analysis unit 50 is the feature point extraction of the present invention. Corresponding to an example of processing by means, the feature point extraction process with motion (feature feature point extraction processing block B3) executed by the analysis unit 50 is performed by the second feature point extraction means of the present invention. This corresponds to an example.

この他、テンプレートデータの位置情報が示す領域に対応する移動体検出対象領域Ωを設定する処理（Ｓ２７０，Ｓ３３０，Ｓ５２０）は、本発明の領域設定手段による処理の一例に対応する。また、特徴点分布ベクトルＶｒを算出する処理（Ｓ２８０，Ｓ５３０）は、本発明の空間分布特徴量算出手段による処理の一例に対応し、類似度評価処理（Ｓ２９０）は、本発明の確度判定手段による処理の一例に対応し、総評値Ｐを算出して総評値Ｐが閾値以上の確度判定結果を移動体が存在することを示す確度判定結果として移動体を検出する処理（Ｓ４２０）は、本発明の移動体検出手段による処理の一例に対応する。 In addition, the process (S270, S330, S520) of setting the moving object detection target area Ω corresponding to the area indicated by the position information of the template data corresponds to an example of the process by the area setting unit of the present invention. Further, the processing (S280, S530) for calculating the feature point distribution vector Vr corresponds to an example of processing by the spatial distribution feature amount calculating means of the present invention, and the similarity evaluation processing (S290) is the accuracy determining means of the present invention. The process (S420) of detecting the moving object as the accuracy determination result indicating that the mobile object exists is calculated by calculating the total evaluation value P and the accuracy determination result of the total evaluation value P being equal to or greater than the threshold value. This corresponds to an example of processing by the moving body detection means of the invention.

また、各ブロック画素の二次元ＤＣＴ係数を算出する処理（Ｓ１４０）は、本発明のＤＣＴ係数算出手段による処理の一例に対応し、ＤＣＴアクティビティを算出する処理及びＰＣＡアクティビティを算出する処理は、本発明の補助判定手段による処理の一例に対応する。また、主成分ベクトルＱ１〜ＱＨを記憶する記憶装置４０の領域は、本発明の主成分ベクトル記憶手段の一例に対応する。また、変形例２においてＤＣＴアクティビティが閾値未満であるか否かを判断して（Ｓ５１０）、閾値未満である場合にはＳ５２０以降を実行する処理は、本発明による移動体検出手段が再設定の指示を入力する動作の一例に対応する。
［最後に］
以上、本発明の実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採りうることは言うまでもない。例えば、上記実施例では、車載カメラ１０の映像に基づき移動体（特に自動車等）を検出する移動体検出装置１について説明したが、本発明の移動体検出装置は、このような用途に限定されない。 The process (S140) for calculating the two-dimensional DCT coefficient of each block pixel corresponds to an example of the process by the DCT coefficient calculation means of the present invention. The process for calculating the DCT activity and the process for calculating the PCA activity are as follows. This corresponds to an example of processing by the auxiliary determination means of the invention. The area of the storage device 40 that stores the principal component vectors Q1 to QH corresponds to an example of the principal component vector storage unit of the present invention. In the second modification, it is determined whether or not the DCT activity is less than the threshold value (S510). If the DCT activity is less than the threshold value, the process of executing S520 and subsequent steps is reset by the mobile object detection unit according to the present invention. This corresponds to an example of an operation for inputting an instruction.
[Finally]
As mentioned above, although the Example of this invention was described, it cannot be overemphasized that this invention can take a various aspect, without being limited to the said Example. For example, in the above-described embodiment, the mobile body detection device 1 that detects a mobile body (particularly a car or the like) based on the image of the in-vehicle camera 10 has been described. However, the mobile body detection device of the present invention is not limited to such applications. .

１…移動体検出装置、１０…カメラ、２０…位置検出器、３０…表示装置、４０…記憶装置、５０…解析ユニット、５１…ＣＰＵ、５３…ＲＯＭ、５５…ＲＡＭ、Ｂ１…特徴点抽出処理ブロック、Ｂ２…オプティカルフロー算出処理ブロック、Ｂ３…動きのある特徴点の抽出処理ブロック、Ｂ４…フレーム差分画像解析処理、Ｂ５…移動体検出処理ブロック、Ｂ６…描画処理ブロック DESCRIPTION OF SYMBOLS 1 ... Moving body detection apparatus, 10 ... Camera, 20 ... Position detector, 30 ... Display apparatus, 40 ... Memory | storage device, 50 ... Analysis unit, 51 ... CPU, 53 ... ROM, 55 ... RAM, B1 ... Feature point extraction process Block, B2 ... Optical flow calculation processing block, B3 ... Motion feature point extraction processing block, B4 ... Frame difference image analysis processing, B5 ... Moving object detection processing block, B6 ... Drawing processing block

Claims

カメラの撮影画像に映る移動体を検出する移動体検出装置であって、
前記撮影画像において移動体が映る領域の位置情報と、この領域に前記移動体が存在する状態での前記撮影画像の当該領域における特徴点の空間分布が数値化されてなる空間分布特徴量と、が関連付けられたテンプレートデータを記憶保持する記憶手段と、
前記カメラから取得した移動体検出対象の撮影画像から特徴点を抽出する特徴点抽出手段と、
前記テンプレートデータが備える前記位置情報に基づき、前記位置情報が示す領域に対応した前記移動体検出対象の撮影画像における領域を、評価領域に設定する領域設定手段と、
前記特徴点抽出手段により抽出された特徴点に基づき、前記移動体検出対象の撮影画像における前記領域設定手段により設定された前記評価領域の前記特徴点の空間分布を数値化した空間分布特徴量を算出する空間分布特徴量算出手段と、
前記移動体検出対象の撮影画像における前記評価領域に前記テンプレートデータに対応する移動体が存在する確度として、前記空間分布特徴量算出手段により算出された前記空間分布特徴量と、前記テンプレートデータが示す前記空間分布特徴量との類似度を算出する確度判定手段と、
前記確度判定手段により算出された前記確度に基づき、前記移動体検出対象の撮影画像における前記テンプレートデータに対応する移動体の存在有無を判定することによって、前記移動体検出対象の撮影画像に映る移動体を検出する移動体検出手段と、
を備えることを特徴とする移動体検出装置。 A moving body detection device for detecting a moving body reflected in a captured image of a camera,
Positional information of a region in which the moving object is reflected in the captured image, and a spatial distribution feature value obtained by quantifying the spatial distribution of feature points in the region of the captured image in a state where the moving object exists in the region; Storage means for storing and holding template data associated with
Feature point extraction means for extracting feature points from a captured image of a moving object detection target acquired from the camera;
Based on the position information included in the template data, an area setting unit that sets an area in the captured image of the moving object detection target corresponding to the area indicated by the position information as an evaluation area;
Based on the feature points extracted by the feature point extraction means, a spatial distribution feature value obtained by quantifying the spatial distribution of the feature points in the evaluation area set by the area setting means in the captured image of the moving object detection target. Spatial distribution feature amount calculating means for calculating;
The spatial distribution feature amount calculated by the spatial distribution feature amount calculating unit and the template data indicate the probability that the moving body corresponding to the template data exists in the evaluation region in the captured image of the moving body detection target. Accuracy determining means for calculating a similarity with the spatial distribution feature,
Based on the accuracy calculated by the accuracy determination means, the movement reflected in the captured image of the moving object detection target is determined by determining the presence or absence of the moving object corresponding to the template data in the captured image of the moving object detection target. Moving body detecting means for detecting the body;
A moving body detection apparatus comprising:

前記空間分布特徴量は、前記空間分布を数値表現する領域を区画化して得られる各区画に存在する前記特徴点の数の夫々を要素とするベクトル量であること
を特徴とする請求項１記載の移動体検出装置。 2. The spatial distribution feature quantity is a vector quantity having as an element each of the number of feature points present in each section obtained by partitioning a region that numerically expresses the spatial distribution. Mobile object detection device.

前記移動体検出対象の撮影画像から動きのある特徴点を抽出する第二特徴点抽出手段
を備え、
前記空間分布特徴量算出手段は、前記特徴点抽出手段により抽出された特徴点及び前記第二特徴点抽出手段により抽出された動きのある特徴点に基づき、前記評価領域の空間分布特徴量として、前記移動体検出対象の撮影画像における前記評価領域での前記特徴点及び動きのある特徴点の空間分布を数値化した空間分布特徴量を算出する構成にされ、
前記記憶手段には、前記空間分布特徴量として、前記位置情報が示す領域に前記移動体が存在する状態での前記撮影画像の当該領域における特徴点の空間分布点及び動きのある特徴点の空間分布が数値化されてなる空間分布特徴量を示す前記テンプレートデータが記憶保持されていること
を特徴とする請求項１記載の移動体検出装置。 A second feature point extracting means for extracting a feature point having movement from the captured image of the moving object detection target;
The spatial distribution feature quantity calculating means, based on the feature points extracted by the feature point extraction means and the feature points with motion extracted by the second feature point extraction means, as the spatial distribution feature quantities of the evaluation region, It is configured to calculate a spatial distribution feature value obtained by quantifying the spatial distribution of the feature point and the feature point in motion in the evaluation region in the captured image of the moving object detection target,
In the storage means, as the spatial distribution feature amount, a spatial distribution point of feature points and a space of feature points in motion in the region of the photographed image in a state where the moving body exists in the region indicated by the position information. The mobile object detection apparatus according to claim 1, wherein the template data indicating a spatial distribution feature value obtained by quantifying the distribution is stored and held.

前記空間分布特徴量は、前記空間分布を数値表現する領域を区画化して得られる各区画に存在する前記特徴点の数及び前記動きのある特徴点の数の夫々を要素とするベクトル量であること
を特徴とする請求項３記載の移動体検出装置。 The spatial distribution feature amount is a vector amount having as an element each of the number of feature points and the number of feature points in motion obtained in each partition obtained by partitioning a region expressing the spatial distribution numerically. The moving body detection apparatus according to claim 3.

前記確度判定手段は、ベクトル量である前記空間分布特徴量算出手段により算出された前記空間分布特徴量と前記テンプレートデータが示す前記空間分布特徴量との類似度を、二乗距離及びコサイン距離の少なくとも一方を指標にして算出すること
を特徴とする請求項２又は請求項４記載の移動体検出装置。 The accuracy determination means calculates a similarity between the spatial distribution feature quantity calculated by the spatial distribution feature quantity calculation means, which is a vector quantity, and the spatial distribution feature quantity indicated by the template data, at least of a square distance and a cosine distance. The mobile object detection apparatus according to claim 2, wherein the calculation is performed using one of the indices as an index.

前記移動体検出対象の撮影画像についてのフレーム差分画像を、予め定められたブロック単位で離散コサイン変換（ＤＣＴ）することで、前記フレーム差分画像の各ブロックにおける二次元ＤＣＴ係数を算出するＤＣＴ係数算出手段と、
前記ＤＣＴ係数算出手段により算出された前記評価領域に対応する各ブロックの二次元ＤＣＴ係数に基づき、前記評価領域に移動体が存在する確度を算出する補助判定手段と、
を備え、
前記移動体検出手段は、前記確度判定手段により算出された前記確度及び前記補助判定手段により算出された前記確度に基づき、前記テンプレートデータに対応する移動体の存在有無を判定して、前記撮影画像に映る移動体を検出すること
を特徴とする請求項１〜請求項５のいずれか一項記載の移動体検出装置。 DCT coefficient calculation for calculating a two-dimensional DCT coefficient in each block of the frame difference image by subjecting the frame difference image of the captured image to be detected by the moving object to discrete cosine transform (DCT) in a predetermined block unit. Means,
Auxiliary determination means for calculating the probability that a moving object exists in the evaluation area based on the two-dimensional DCT coefficient of each block corresponding to the evaluation area calculated by the DCT coefficient calculation means;
With
The moving body detection means determines the presence or absence of a moving body corresponding to the template data based on the accuracy calculated by the accuracy determination means and the accuracy calculated by the auxiliary determination means, and the captured image The moving body detection apparatus according to claim 1, wherein a moving body reflected in the screen is detected.

前記補助判定手段は、前記評価領域に対応するブロック群について、ブロック毎に、当該ブロックの前記二次元ＤＣＴ係数における交流成分の和を交流成分電力として算出し、前記ブロック毎の交流成分電力に基づき、前記評価領域に移動体が存在する確度を算出すること
を特徴とする請求項６記載の移動体検出装置。 The auxiliary determination unit calculates, for each block, a sum of alternating current components in the two-dimensional DCT coefficient of the block as alternating current component power for each block group corresponding to the evaluation region, and based on the alternating current component power for each block. The mobile object detection apparatus according to claim 6, wherein the probability that a mobile object exists in the evaluation area is calculated.

前記補助判定手段は、前記評価領域に移動体が存在する確度として、前記評価領域に対応するブロック群の全体に占める前記交流成分電力が閾値を超えるブロックの割合を算出すること
を特徴とする請求項７記載の移動体検出装置。 The auxiliary determination means calculates, as the probability that a moving object exists in the evaluation area, a ratio of blocks in which the AC component power occupies a whole block group corresponding to the evaluation area exceeds a threshold value. Item 8. A moving body detection apparatus according to Item 7.

前記補助判定手段は、前記評価領域に対応するブロック群について、ブロック毎に、当該ブロックの過去所定期間の前記二次元ＤＣＴ係数を時系列に配列してなる時系列ベクトルの主成分得点を、前記時系列ベクトルのサンプルから求められた主成分ベクトルに基づき算出し、算出した前記ブロック毎の主成分得点に基づき、前記評価領域に移動体が存在する確度を算出する構成にされ、
当該移動体検出装置は、
移動体が映っている状態での前記時系列ベクトルのサンプルを主成分分析して求められた前記主成分ベクトルを記憶する主成分ベクトル記憶手段
を備えること
を特徴とする請求項６記載の移動体検出装置。 The auxiliary determination means, for each block group corresponding to the evaluation area, for each block, a principal component score of a time series vector formed by arranging the two-dimensional DCT coefficients of the block in the past predetermined period in time series, Calculated based on the principal component vector obtained from the sample of the time series vector, and based on the calculated principal component score for each block, is configured to calculate the probability that the moving object exists in the evaluation region,
The mobile object detection device is
The moving body according to claim 6, further comprising: principal component vector storage means for storing the principal component vector obtained by performing principal component analysis on the sample of the time series vector in a state in which the moving body is reflected. Detection device.

前記補助判定手段は、前記評価領域に移動体が存在する確度として、前記評価領域に対応するブロック群の全体に占める前記主成分得点が閾値を超えるブロックの割合を算出すること
を特徴とする請求項９記載の移動体検出装置。 The auxiliary determination means calculates, as the probability that a moving object is present in the evaluation area, a ratio of blocks in which the principal component score occupies the entire block group corresponding to the evaluation area exceeds a threshold value. Item 10. A moving body detection apparatus according to Item 9.

前記移動体検出対象の撮影画像に基づき、当該撮影画像の前記評価領域における過去所定期間の所定特徴量を時系列に配列してなる時系列ベクトルの主成分得点を、前記時系列ベクトルのサンプルから求められた主成分ベクトルに基づき算出し、算出した前記主成分得点に基づき、前記評価領域に移動体が存在する確度を算出する補助判定手段と、
移動体が映っている状態での前記時系列ベクトルのサンプルを主成分分析して求められた前記主成分ベクトルを記憶する主成分ベクトル記憶手段と、
を備え、
前記移動体検出手段は、前記確度判定手段により算出された前記確度及び前記補助判定手段により算出された前記確度に基づき、前記テンプレートデータに対応する移動体の存在有無を判定して、前記撮影画像に映る移動体を検出すること
を特徴とする請求項１〜請求項５のいずれか一項記載の移動体検出装置。 Based on the captured image of the moving object detection target, a principal component score of a time-series vector in which predetermined feature amounts in the past predetermined period in the evaluation area of the captured image are arranged in time series is obtained from the sample of the time-series vector. Auxiliary determination means that calculates based on the calculated principal component vector and calculates the probability that the moving object exists in the evaluation area based on the calculated principal component score;
Principal component vector storage means for storing the principal component vector obtained by principal component analysis of a sample of the time series vector in a state in which a moving object is reflected;
With
The moving body detection means determines the presence or absence of a moving body corresponding to the template data based on the accuracy calculated by the accuracy determination means and the accuracy calculated by the auxiliary determination means, and the captured image The moving body detection apparatus according to claim 1, wherein a moving body reflected in the screen is detected.

前記領域設定手段は、前記テンプレートデータが備える前記位置情報に基づき、前記位置情報が示す領域に一致する前記移動体検出対象の撮影画像内の領域及びその周囲の領域の夫々を、前記評価領域に設定する構成にされ、
前記移動体検出手段は、単一の前記テンプレートデータに対して前記評価領域毎に算出された前記確度に基づき、これら評価領域の内、移動体が存在する可能性の最も高い領域を最適な評価領域として抽出し、前記テンプレートデータに対して前記評価領域毎に算出された前記確度の内、当該最適な評価領域に対して算出された確度に基づき、前記テンプレートデータに対応する移動体の存在有無を判定して、前記移動体検出対象の撮影画像に映る移動体を検出すること
を特徴とする請求項１〜請求項１１のいずれか一項記載の移動体検出装置。 The region setting means, based on the position information included in the template data, each of the region in the captured image of the moving object detection target that matches the region indicated by the position information and the surrounding region thereof as the evaluation region. Configured to set,
The mobile body detection means performs an optimal evaluation on an area where the mobile body is most likely to exist among the evaluation areas based on the accuracy calculated for each evaluation area with respect to a single template data. Presence / absence of a moving object corresponding to the template data based on the accuracy calculated for the optimum evaluation region out of the accuracy calculated for each evaluation region with respect to the template data The mobile body detection device according to claim 1, wherein a mobile body reflected in the captured image of the mobile body detection target is detected.

前記確度判定手段は、前記評価領域に前記テンプレートデータに対応する移動体が存在する確度として、前記空間分布特徴量算出手段により算出された前記空間分布特徴量及びこの空間分布特徴量に対応する前記評価領域の位置パラメータを要素とするベクトル量と、前記テンプレートデータが示す前記空間分布特徴量及び前記テンプレートデータが備える前記位置情報が示す領域の位置パラメータを要素とするベクトル量との類似度を算出すること
を特徴とする請求項１２記載の移動体検出装置。 The accuracy determination means, as the accuracy that the mobile object corresponding to the template data exists in the evaluation area, the spatial distribution feature quantity calculated by the spatial distribution feature quantity calculation means and the spatial distribution feature quantity corresponding to the spatial distribution feature quantity Calculates the degree of similarity between the vector quantity whose element is the position parameter of the evaluation area and the vector quantity whose element is the spatial parameter of the area indicated by the template data and the position parameter of the area indicated by the position information included in the template data The moving body detection device according to claim 12, wherein:

前記領域設定手段は、前記テンプレートデータが備える前記位置情報に基づき、前記位置情報が示す領域に一致する前記移動体検出対象の撮影画像の領域を、前記評価領域に設定し、再設定の指示が入力された場合には、前記移動体検出対象の撮像画像における前記二次元ＤＣＴ係数に基づき、前記評価領域の位置を調整して、前記評価領域を再設定する構成にされ、
前記移動体検出手段は、前記位置情報が示す領域に一致する前記評価領域に対して前記補助判定手段が算出した前記確度が閾値未満である場合には、前記再設定の指示を入力し、前記再設定された前記評価領域に対して前記確度判定手段が算出した前記確度、又は、前記再設定された前記評価領域に対して前記確度判定手段及び前記補助判定手段の夫々が算出した前記確度に基づき、前記テンプレートデータに対応する移動体の存在有無を判定して、前記移動体検出対象の撮影画像に映る移動体を検出すること
を特徴とする請求項６〜請求項１０のいずれか一項記載の移動体検出装置。 The area setting means sets, based on the position information included in the template data, the area of the captured image of the moving object detection target that matches the area indicated by the position information as the evaluation area, and an instruction for resetting is set. When input, the position of the evaluation area is adjusted based on the two-dimensional DCT coefficient in the captured image of the moving object detection target, and the evaluation area is reset.
When the accuracy calculated by the auxiliary determination unit is less than a threshold with respect to the evaluation region that matches the region indicated by the position information, the moving body detection unit inputs the reset instruction, The accuracy calculated by the accuracy determination unit for the reset evaluation area, or the accuracy calculated by the accuracy determination unit and the auxiliary determination unit for the reset evaluation area, respectively. The moving body corresponding to the template data is determined based on the presence or absence of the moving body, and the moving body reflected in the captured image of the moving body detection target is detected. The moving body detection apparatus of description.

前記撮影画像内において左右対称の関係にある前記移動体が映る領域の前記テンプレートデータとして、これらの領域に共通するテンプレートデータであって、前記位置情報及び前記空間分布特徴量として、左右対称の関係にある前記移動体が映る領域の一方についての位置情報及び前記空間分布特徴量が記述されたデータを前記記憶手段に記憶保持し、
前記共通するテンプレートデータに基づいて、左右対称の関係にある前記移動体が映る領域の内、前記位置情報及び前記空間分布特徴量が前記テンプレートデータに記述されていない領域に対応する前記評価領域の前記確度を算出する際には、前記左右対称の関係に従って、前記テンプレートデータが示す前記位置情報及び前記空間分布特徴量を読み変えて、前記確度を算出すること
を特徴とする請求項１〜請求項１４のいずれか一項記載の移動体検出装置。 In the captured image, the template data of the region in which the moving body having a bilateral symmetry is reflected is template data common to these regions, and the positional information and the spatial distribution feature amount are bilaterally symmetric. And storing in the storage means the data describing the position information and the spatial distribution feature amount about one of the areas in which the moving body is shown in
Based on the common template data, of the evaluation area corresponding to the area where the position information and the spatial distribution feature amount are not described in the template data among the areas where the moving bodies having a symmetrical relationship are reflected. When calculating the accuracy, the accuracy is calculated by re-reading the position information and the spatial distribution feature amount indicated by the template data according to the symmetrical relationship. Item 15. The moving object detection device according to any one of Items 14 to 14.

前記記憶手段には、移動体の種類毎に、前記位置情報と、当該種類の移動体が前記位置情報に対応する領域に映る状態での当該領域における前記空間分布特徴量と、が関連付けられた前記テンプレートデータが記憶保持され、
前記移動体検出対象の撮影画像に映る移動体を検出する際には、前記移動体の種類毎に、当該移動体の種類の前記テンプレートデータに基づき前記確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定すること
を特徴とする請求項１〜請求項１５のいずれか一項記載の移動体検出装置。 The storage means associates, for each type of moving body, the position information and the spatial distribution feature amount in the area in a state where the moving body of the type is reflected in the area corresponding to the position information. The template data is stored and held,
When detecting a moving object shown in a captured image of the moving object detection target, for each type of the moving object, the accuracy is calculated based on the template data of the type of the moving object and corresponds to the template data. The presence or absence of the moving body to perform is determined. The moving body detection apparatus as described in any one of Claims 1-15 characterized by these.

前記記憶手段には、道路環境毎に、当該道路環境において前記移動体が映る領域夫々の前記テンプレートデータが記憶保持され、
前記移動体検出対象の撮影画像に映る移動体を検出する際には、前記移動体検出対象の撮影画像に映る道路環境を特定し、当該特定した道路環境に対応する前記テンプレートデータ毎に、当該テンプレートデータに対応する前記確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定すること
を特徴とする請求項１〜請求項１６のいずれか一項記載の移動体検出装置。 For each road environment, the storage means stores and holds the template data for each area in which the moving object is reflected in the road environment.
When detecting a moving object appearing in the captured image of the moving object detection target, the road environment appearing in the captured image of the moving object detection target is identified, and for each template data corresponding to the identified road environment, The mobile object detection apparatus according to any one of claims 1 to 16, wherein the accuracy corresponding to template data is calculated to determine whether or not there is a mobile object corresponding to the template data.

前記記憶手段には、前記道路環境毎の前記テンプレートデータとして、交差点の種類毎に、当該種類に対応する交差点が前記カメラにより撮影されている環境での前記カメラの撮影画像において前記移動体が映る領域夫々についての前記テンプレートデータが記憶保持され、
前記移動体検出対象の撮影画像に映る移動体を検出する際には、前記移動体検出対象の撮影画像に映る交差点の種類を特定して、当該特定した交差点の種類に対応する前記テンプレートデータ毎に、当該テンプレートデータに対応する前記確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定すること
を特徴とする請求項１７記載の移動体検出装置。 In the storage means, as the template data for each road environment, for each type of intersection, the moving body is reflected in a captured image of the camera in an environment in which an intersection corresponding to the type is captured by the camera. The template data for each area is stored and held,
When detecting a moving object appearing in the captured image of the moving object detection target, each type of template data corresponding to the specified type of intersection is specified by identifying the type of intersection appearing in the captured image of the moving object detection target. The mobile object detection apparatus according to claim 17, further comprising: calculating the accuracy corresponding to the template data to determine whether or not there is a mobile object corresponding to the template data.

前記テンプレートデータは、前記移動体の三次元位置及び前記移動体の三次元姿勢に関する情報が、更に前記位置情報及び前記空間分布特徴量に関連付けられたデータであること
を特徴とする請求項１〜請求項１８のいずれか一項記載の移動体検出装置。 The template data is data in which information about a three-dimensional position of the moving body and a three-dimensional posture of the moving body is further associated with the position information and the spatial distribution feature amount. The moving body detection device according to claim 18.

カメラの撮影画像を取得可能で、当該カメラの撮影画像において移動体が映る領域の位置情報と、この領域に前記移動体が存在する状態での前記撮影画像の当該領域における特徴点の空間分布が数値化されてなる空間分布特徴量と、が関連付けられたテンプレートデータを記憶保持する装置のコンピュータに、
前記カメラから取得した移動体検出対象の撮影画像から特徴点を抽出する特徴点抽出手段と、
前記テンプレートデータが備える前記位置情報に基づき、前記位置情報が示す領域に対応した前記移動体検出対象の撮影画像における領域を、評価領域に設定する領域設定手段と、
前記特徴点抽出手段により抽出された特徴点に基づき、前記移動体検出対象の撮影画像における前記領域設定手段により設定された前記評価領域の前記特徴点の空間分布を数値化した空間分布特徴量を算出する空間分布特徴量算出手段と、
前記移動体検出対象の撮影画像における前記評価領域に前記テンプレートデータに対応する移動体が存在する確度として、前記空間分布特徴量算出手段により算出された前記空間分布特徴量と、前記テンプレートデータが示す前記空間分布特徴量との類似度を算出する確度判定手段と、
前記確度判定手段により算出された前記確度に基づき、前記移動体検出対象の撮影画像における前記テンプレートデータに対応する移動体の存在有無を判定することによって、前記移動体検出対象の撮影画像に映る移動体を検出する移動体検出手段
としての機能を実現させるためのプログラム。 The position information of the area where the moving body is reflected in the captured image of the camera, and the spatial distribution of the feature points in the area of the captured image in the state where the moving body exists in the area is obtained. In the computer of the device that stores and holds the template data in which the spatial distribution feature value obtained by quantification is associated,
Feature point extraction means for extracting feature points from a captured image of a moving object detection target acquired from the camera;
Based on the position information included in the template data, an area setting unit that sets an area in the captured image of the moving object detection target corresponding to the area indicated by the position information as an evaluation area;
Based on the feature points extracted by the feature point extraction means, a spatial distribution feature value obtained by quantifying the spatial distribution of the feature points in the evaluation area set by the area setting means in the captured image of the moving object detection target. Spatial distribution feature amount calculating means for calculating;
The spatial distribution feature amount calculated by the spatial distribution feature amount calculating unit and the template data indicate the probability that the moving body corresponding to the template data exists in the evaluation region in the captured image of the moving body detection target. Accuracy determining means for calculating a similarity with the spatial distribution feature,
Based on the accuracy calculated by the accuracy determination means, the movement reflected in the captured image of the moving object detection target is determined by determining the presence or absence of the moving object corresponding to the template data in the captured image of the moving object detection target. A program for realizing a function as a moving body detecting means for detecting a body.