JP5505440B2

JP5505440B2 - Moving object determination device, computer program, and moving object determination method

Info

Publication number: JP5505440B2
Application number: JP2012036750A
Authority: JP
Inventors: 佑輔安原
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2012-02-22
Filing date: 2012-02-22
Publication date: 2014-05-28
Anticipated expiration: 2032-02-22
Also published as: JP2013171533A

Description

本発明は、複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定する移動体判定装置、該移動体判定装置をコンピュータで実現するためのコンピュータプログラム及び移動体判定方法に関する。 The present invention relates to a moving body determination device that determines a type of a moving body using a captured image in which a plurality of pixels are arranged in a matrix, a computer program and a moving body determination method for realizing the moving body determination device by a computer About.

円滑な交通を実現し、あるいは交通事故を未然に防止するために詳細な交通情報を提供することが求められている。例えば、道路の所定の地点を通過する車両の通過台数又は平均速度等のマクロな交通パラメータを取得することができる装置のみならず、個々の車両の位置又は動きを精度良く計測することができる装置が求められている。 It is demanded to provide detailed traffic information in order to realize smooth traffic or prevent traffic accidents. For example, not only a device that can acquire macro traffic parameters such as the number of vehicles passing through a predetermined point on a road or an average speed, but also a device that can accurately measure the position or movement of each vehicle. Is required.

これらの計測装置は屋外に設置されることが多く、様々な環境変化に対応した安定性のある計測精度が要求されている。また、これらの装置を用いた社会インフラを普及させるためには、安価な装置を提供することも不可欠である。 These measuring devices are often installed outdoors, and stable measuring accuracy corresponding to various environmental changes is required. In order to spread social infrastructure using these devices, it is also essential to provide inexpensive devices.

このような装置の一例として、画像処理技術を利用した画像式車両感知器の普及が進んでいる。例えば、ビデオカメラで撮像された画像情報から、車両の存在、小型車や中型車などの車種、車両速度などを検出して交通流計測を行う装置が開示されている（特許文献１参照）。 As an example of such an apparatus, an image-type vehicle detector using an image processing technique has been widely used. For example, an apparatus for measuring traffic flow by detecting the presence of a vehicle, a vehicle type such as a small-sized vehicle or a medium-sized vehicle, vehicle speed, and the like from image information captured by a video camera is disclosed (see Patent Document 1).

特開平５−３０７６９５号公報JP-A-5-307695

しかし、特許文献１に開示されている装置は、現在のフレームでの撮像画像と過去のフレームでの撮像画像とを比較し、例えば、両者の画素値の差分が所定の閾値を超えた場合には、車両が存在すると判定するものである。また、従来の技術として、予め車両が存在しない道路の画像を背景画像として記憶しておき、撮像画像と背景画像との差分画像に基づいて車両を検出するものもある。 However, the apparatus disclosed in Patent Document 1 compares the captured image in the current frame with the captured image in the past frame, for example, when the difference between the pixel values of both exceeds a predetermined threshold value. Determines that a vehicle is present. Further, as a conventional technique, there is a technique in which an image of a road where no vehicle exists is stored in advance as a background image, and the vehicle is detected based on a difference image between the captured image and the background image.

昼間の時間帯や季節などによっては、車両の前方、横の路面上等には車両の影が発生する場合があり、車両の移動に伴って影も移動する。また、影の部分と影でない部分との輝度差もあるので、差分画像に基づいて車両を検出する場合、影の部分を車両として誤って検出するという問題があり、車両の種別を判定することが困難であった。このため、精度よく車両などの移動体の種別を判定することが望まれていた。 Depending on the daytime time zone, season, etc., the shadow of the vehicle may be generated in front of the vehicle, on the side of the road, etc., and the shadow also moves as the vehicle moves. Also, since there is a luminance difference between the shadow part and the non-shadow part, when detecting a vehicle based on the difference image, there is a problem that the shadow part is erroneously detected as a vehicle, and the type of the vehicle is determined. It was difficult. For this reason, it has been desired to accurately determine the type of a moving body such as a vehicle.

本発明は、斯かる事情に鑑みてなされたものであり、従来よりもさらに精度良く移動体の種別を判定することができる移動体判定装置、該移動体判定装置をコンピュータで実現するためのコンピュータプログラム及び移動体判定方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and a moving body determination device capable of determining the type of a moving body with higher accuracy than before, and a computer for realizing the moving body determination device by a computer It is an object to provide a program and a moving object determination method.

第１発明に係る移動体判定装置は、複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定する移動体判定装置において、撮像画像の各画素の画素値に基づいて特徴点を抽出する抽出手段と、前記撮像画像内の所定の横幅を有する第１部分領域に含まれ、前記抽出手段で抽出した特徴点の数Ｎ１、及び前記所定の横幅より小さい横幅を有する第２部分領域に含まれ、前記抽出手段で抽出した特徴点の数Ｎ２をそれぞれ計数する計数手段と、該計数手段で計数した特徴点の数Ｎ１及びＮ２の比（Ｎ２／Ｎ１）に基づいて、移動体の種別を判定する判定手段とを備え、前記判定手段は、前記比（Ｎ２／Ｎ１）が、所定の第１閾値より小さい場合、移動体が第１種別であると判定するようにしてあり、前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きい第２閾値より大きい場合、移動体が前記第１種別と異なる第２種別であると判定するようにしてあり、前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きく、前記第２閾値より小さい場合、特徴点の数Ｎ１と数Ｎ２との差分と、所定の第３閾値との大小に応じて、移動体が前記第１種別であるか前記第２種別であるかを判定するよう構成してあることを特徴とする。 The mobile body determination device according to the first aspect of the present invention is the mobile body determination device that determines the type of mobile body using a captured image in which a plurality of pixels are arranged in a matrix, based on the pixel value of each pixel of the captured image. Extraction means for extracting feature points; and first number of feature points N1 extracted by the extraction means included in the first partial region having a predetermined lateral width in the captured image, and a first width having a lateral width smaller than the predetermined lateral width. Based on the counting means for counting the number N2 of feature points included in the two partial areas and extracted by the extraction means, and the ratio (N2 / N1) of the number of feature points N1 and N2 counted by the counting means, Determining means for determining the type of the moving object , wherein the determining means determines that the moving object is the first type when the ratio (N2 / N1) is smaller than a predetermined first threshold value. And the ratio (N2 / N1) is If the second threshold value is greater than the first threshold value, the mobile body is determined to be a second type different from the first type, and the ratio (N2 / N1) is greater than the first threshold value. If the value is smaller than the second threshold, the moving object is the first type or the second type depending on the difference between the number N1 and the number N2 of feature points and the predetermined third threshold. configured characterized tare Rukoto to determine.

第２発明に係る移動体判定装置は、第１発明において、前記判定手段は、特徴点の数Ｎ１と数Ｎ２との差分が前記第３閾値より小さい場合に、特徴点の数Ｎ２が所定の第４閾値より小さいときは、移動体が前記第２種別であると判定するように構成してあることを特徴とする。 In the mobile body determination device according to a second aspect of the present invention, in the first aspect , the determination means determines that the number N2 of feature points is a predetermined value when the difference between the number N1 and the number N2 of feature points is smaller than the third threshold value. When the value is smaller than the fourth threshold value, the mobile object is determined to be the second type.

第３発明に係る移動体判定装置は、第２発明において、前記判定手段は、時系列に移動体の種別を判定するようにしてあり、特徴点の数Ｎ１と数Ｎ２との差分が前記第３閾値より小さい場合に、特徴点の数Ｎ２が前記第４閾値より大きいときは、移動体の種別が直近に判定した種別と同じであると判定するように構成してあることを特徴とする。 According to a third aspect of the present invention, there is provided the mobile body determination device according to the second aspect , wherein the determination means determines the type of the mobile body in time series, and the difference between the number N1 and the number N2 of feature points is the first. When the number N2 of feature points is larger than the fourth threshold value when the number is less than 3, the mobile object type is determined to be the same as the most recently determined type. .

第４発明に係る移動体判定装置は、第１発明乃至第３発明のいずれか１つにおいて、前記第１種別は、四輪車両であり、前記第２種別は、二輪車両であることを特徴とする。 Moving object determination device according to the fourth invention, in any one of the first invention to third invention, the first type is a four-wheel vehicle, characterized in that the second type is a two-wheeled vehicle And

第５発明に係る移動体判定装置は、第１発明乃至第４発明のいずれか１つにおいて、前記計数手段で計数した特徴点の数が所定の特徴点閾値以上となる前記一方向ラインの位置のうち、最上位位置及び最下位位置を特定する位置特定手段を備え、前記判定手段は、前記位置特定手段で特定した最上位位置が前記撮像画像の上半分の領域にあり、特定した最下位位置が前記撮像画像の下半分の領域にある場合、移動体の種別を判定するように構成してあることを特徴とする。 Moving object determination device according to a fifth invention, in any one of the first invention to fourth invention, the position of the unidirectional line number of feature points counted in said counting means is equal to or greater than a predetermined feature point threshold Position determining means for specifying the highest position and the lowest position, and the determination means has the highest position specified by the position specifying means in the upper half area of the captured image, and the specified lowest position. When the position is in the lower half area of the captured image, the type of the moving body is determined.

第６発明に係る移動体判定装置は、第１発明乃至第５発明のいずれか１つにおいて、前記抽出手段で抽出した特徴点に基づいて、前記撮像画像内の移動体の横位置を検出する検出手段を備え、前記判定手段は、前記検出手段で検出した移動体の横位置が、前記撮像画像の中央から横方向に所定の第１幅を有する中央領域内にある場合、移動体の種別を判定するように構成してあることを特徴とする。 According to a sixth aspect of the present invention, in any one of the first to fifth aspects, the mobile body determination device detects a lateral position of the mobile body in the captured image based on the feature points extracted by the extraction means. A detection unit, wherein the determination unit determines the type of the moving object when the lateral position of the moving object detected by the detection unit is within a central region having a predetermined first width in the horizontal direction from the center of the captured image. It is characterized by determining.

第７発明に係る移動体判定装置は、第６発明において、前記抽出手段で抽出した特徴点に基づいて、移動体の幅を検出する幅検出手段を備え、前記判定手段は、前記検出手段で検出した移動体の横位置が前記中央領域内にない場合に、前記幅検出手段で検出した移動体の幅が所定の幅閾値より大きいとき、移動体の種別を判定するように構成してあることを特徴とする。 According to a seventh aspect of the present invention, there is provided a mobile body determination apparatus according to the sixth aspect, further comprising: width detection means for detecting a width of the mobile body based on the feature points extracted by the extraction means, wherein the determination means is the detection means. When the detected lateral position of the moving body is not within the central region, the type of the moving body is determined when the width of the moving body detected by the width detecting unit is larger than a predetermined width threshold. It is characterized by that.

第８発明に係る移動体判定装置は、第６発明において、前記判定手段は、前記検出手段で検出した移動体の横位置が前記中央領域内にない場合に、該中央領域を間にして分離され、所定の第２幅を有する２つの分離領域内にあるとき、移動体の種別を判定するように構成してあることを特徴とする。 According to an eighth aspect of the present invention, there is provided the mobile body determination device according to the sixth aspect , wherein when the lateral position of the mobile body detected by the detection means is not within the central area, the determination section separates the central area in between. The type of the moving object is determined when it is within two separation regions having a predetermined second width.

第９発明に係る移動体判定装置は、第１発明乃至第８発明のいずれか１つにおいて、撮像時点が異なる第１の撮像画像及び第２の撮像画像それぞれの対応する各画素の画素値の差分が第１差分閾値より大きい第１の画素を特定する第１画素特定手段と、前記第１の撮像画像及び第２の撮像画像それぞれの対応する各画素の画素値の差分が前記第１差分閾値より小さく、該第１差分閾値より小さい第２差分閾値より大きい第２の画素を特定する第２画素特定手段と、前記第１画素特定手段で特定した第１の画素及び該第１の画素に隣接する画素であって前記第２の画素で構成される差分画像を生成する差分画像生成手段と、前記第１の撮像画像又は第２の撮像画像のいずれかを前記差分画像生成手段で生成した差分画像でフィルタ処理する処理手段とを備え、前記抽出手段は、前記処理手段でフィルタ処理して得られた撮像画像の各画素の画素値に基づいて特徴点を抽出するように構成してあることを特徴とする。 According to a ninth aspect of the present invention, there is provided the mobile body determination device according to any one of the first to eighth aspects, wherein the pixel values of the respective pixels corresponding to the first captured image and the second captured image at different imaging time points are used. First pixel specifying means for specifying a first pixel whose difference is greater than a first difference threshold, and a difference between pixel values of corresponding pixels of each of the first captured image and the second captured image is the first difference. A second pixel specifying means for specifying a second pixel that is smaller than a threshold and greater than a second difference threshold that is less than the first difference threshold; a first pixel specified by the first pixel specifying means; and the first pixel A difference image generation unit that generates a difference image that is a pixel adjacent to the second pixel and that includes the second pixel, and the difference image generation unit generates either the first captured image or the second captured image. To filter the difference image And a stage, the extraction means is characterized in that is arranged to extract a feature point on the basis of the pixel value of each pixel of a captured image obtained by filtering by the processing means.

第１０発明に係るコンピュータプログラムは、コンピュータに、複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定させるためのコンピュータプログラムにおいて、コンピュータに、撮像画像の各画素の画素値に基づいて特徴点を抽出するステップと、前記撮像画像内の所定の横幅を有する第１部分領域に含まれ、抽出した特徴点の数Ｎ１、及び前記所定の横幅より小さい横幅を有する第２部分領域に含まれ、抽出した特徴点の数Ｎ２をそれぞれ計数するステップと、計数した特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、所定の第１閾値より小さい場合、移動体が第１種別であると判定するステップと、前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きい第２閾値より大きい場合、移動体が前記第１種別と異なる第２種別であると判定するステップと、前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きく、前記第２閾値より小さい場合、特徴点の数Ｎ１と数Ｎ２との差分と、所定の第３閾値との大小に応じて、移動体が前記第１種別であるか前記第２種別であるかを判定するステップとを実行させることを特徴とする。 A computer program according to a tenth aspect of the present invention is a computer program for causing a computer to determine the type of a moving body using a captured image in which a plurality of pixels are arranged in a matrix. Extracting a feature point based on the value; and a second number N1 of the extracted feature points included in the first partial region having a predetermined horizontal width in the captured image and a horizontal width smaller than the predetermined horizontal width The step of counting the number N2 of extracted feature points included in the partial region, and the ratio of the number N2 to the number N1 of feature points (N2 / N1) is smaller than a predetermined first threshold value, When the ratio (N2 / N1) is greater than a second threshold value that is greater than the first threshold value, the moving object is determined to be the first type. A step of determining that the second type is, and if the ratio (N2 / N1) is larger than the first threshold and smaller than the second threshold, a difference between the number N1 and the number N2 of feature points, and a predetermined depending on the magnitude of the third threshold value, the moving body is characterized in that to execute the steps of: determining whether said second type or the first is classification.

第１１発明に係る移動体判定方法は、複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定する移動体判定装置による移動体判定方法において、撮像画像の各画素の画素値に基づいて特徴点を抽出するステップと、前記撮像画像内の所定の横幅を有する第１部分領域に含まれ、抽出された特徴点の数Ｎ１、及び前記所定の横幅より小さい横幅を有する第２部分領域に含まれ、抽出された特徴点の数Ｎ２をそれぞれ計数するステップと、計数された特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、所定の第１閾値より小さい場合、移動体が第１種別であると判定するステップと、前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きい第２閾値より大きい場合、移動体が前記第１種別と異なる第２種別であると判定するステップと、前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きく、前記第２閾値より小さい場合、特徴点の数Ｎ１と数Ｎ２との差分と、所定の第３閾値との大小に応じて、移動体が前記第１種別であるか前記第２種別であるかを判定するステップとを含むことを特徴とする。 A moving body determination method according to an eleventh aspect of the present invention is the moving body determination method by the moving body determination device that determines the type of moving body using a captured image in which a plurality of pixels are arranged in a matrix. Extracting feature points based on pixel values; and a number N1 of extracted feature points included in the first partial region having a predetermined lateral width in the captured image, and having a lateral width smaller than the predetermined lateral width The step of counting the number N2 of extracted feature points included in the second partial region, respectively, and the ratio (N2 / N1) of the number N2 to the number N1 of feature points counted is smaller than a predetermined first threshold value If the mobile object is of the first type, and the ratio (N2 / N1) is greater than a second threshold value that is greater than the first threshold value, the mobile object is a second type that is different from the first type. It is determined that And the ratio (N2 / N1) is greater than the first threshold and smaller than the second threshold, depending on the difference between the difference between the number N1 and the number N2 of feature points and the predetermined third threshold Te, wherein the moving body and determining whether the said second type or the first is classification.

第１発明、第１０発明及び第１１発明にあっては、抽出手段は、撮像画像の各画素（例えば、隣り合う各画素）の画素値に基づいて特徴点を抽出する。撮像画像の横方向をｘ軸、縦方向をｙ軸とし、ｘｙ座標の原点を撮像画像の左上とすると、各画素は、例えば、横方向（ｘ軸方向）に隣り合う各画素（例えば、隣接する画素同士）、及び縦方向（ｙ軸方向）に隣り合う各画素（例えば、隣接する画素同士）である。画素値は、例えば、輝度値Ｙである。特徴点は、任意の注目画素及び当該注目画素と隣り合う画素の輝度値の差分の絶対値が所定の輝度閾値より大きい場合、当該注目画素を特徴点として抽出する。 In the first invention, the tenth invention and the eleventh invention, the extracting means extracts the feature points based on the pixel value of each pixel (for example, each adjacent pixel) of the captured image. If the horizontal direction of the captured image is the x-axis, the vertical direction is the y-axis, and the origin of the xy coordinates is the upper left of the captured image, each pixel is, for example, each pixel adjacent to the horizontal direction (x-axis direction) (for example, adjacent Pixels adjacent to each other in the vertical direction (y-axis direction) (for example, adjacent pixels). The pixel value is, for example, the luminance value Y. A feature point is extracted as a feature point when the absolute value of the difference between the luminance values of an arbitrary pixel of interest and a pixel adjacent to the pixel of interest is larger than a predetermined luminance threshold.

計数手段は、撮像画像内の所定の横幅を有する第１部分領域に含まれ、抽出した特徴点の数Ｎ１、及び当該所定の横幅より小さい横幅を有する第２部分領域に含まれ、抽出した特徴点の数Ｎ２をそれぞれ計数する。第１部分領域は、車幅が比較的長い領域であるのに対し、第２部分領域は、車幅が比較的短い領域であり、移動体の種別（種別は、例えば、幅の長さに応じて異なるものとして分けられたものである）に対応する。例えば、第１部分領域が、幅が比較的長い第１種別に対応する場合、第２部分領域は幅が比較的短い第２種別に対応させることができる。そして、第１部分領域が四輪車両の幅に対応する場合、第２部分領域は二輪車両の幅に対応させることができる。また、第１部分領域が大型車両の幅に対応する場合、第２部分領域は普通車両の幅に対応させることができる。第１部分領域を四輪車幅範囲とも称し、第２部分領域を二輪車幅範囲とも称する。 The counting means is included in the first partial region having a predetermined lateral width in the captured image, and is included in the extracted number N1 of feature points and the second partial region having a lateral width smaller than the predetermined lateral width, and extracted features. The number of points N2 is counted. The first partial area is an area having a relatively long vehicle width, whereas the second partial area is an area having a relatively short vehicle width, and the type of mobile body (the type is, for example, the length of the width). Corresponding to different ones). For example, when the first partial region corresponds to the first type having a relatively wide width, the second partial region can correspond to the second type having a relatively short width. When the first partial region corresponds to the width of the four-wheel vehicle, the second partial region can correspond to the width of the two-wheel vehicle. When the first partial area corresponds to the width of the large vehicle, the second partial area can correspond to the width of the ordinary vehicle. The first partial region is also referred to as a four-wheeled vehicle width range, and the second partial region is also referred to as a two-wheeled vehicle width range.

判定手段は、計数した特徴点の数Ｎ１及びＮ２の比（例えば、Ｎ２／Ｎ１）に基づいて、移動体の種別を判定する。例えば、幅の短い第２種別の移動体が撮像画像上で映っている場合、第１部分領域に含まれる特徴点の数Ｎ１が少なくなるので、比（Ｎ２／Ｎ１）の値は大きくなる。また、幅の長い第１種別の移動体が撮像画像上で映っている場合、第１部分領域に含まれる特徴点の数Ｎ１が多くなるので、比（Ｎ２／Ｎ１）の値は小さくなる。隣り合う（隣接する）画素同士の画素値（輝度値）の差分が所定の閾値以上となる画素を特徴点として抽出するので、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分が特徴点として抽出されず、路面上の影に影響されることなく、移動体（例えば、車両）の文字、ヘッドライト、フロントグリル、テールランプ等の輝度変化を移動体の種別に応じて定量化することができるので、特徴点の数の比（Ｎ２／Ｎ１）の大小に応じて移動体の種別を精度よく判定することができる。 The determination means determines the type of the moving object based on the ratio (for example, N2 / N1) of the counted number N1 and N2. For example, when the second type moving body with a short width is shown on the captured image, the number N1 of feature points included in the first partial region is reduced, and the value of the ratio (N2 / N1) is increased. Further, when the first type moving body having a long width is reflected on the captured image, the number N1 of feature points included in the first partial region is increased, and thus the value of the ratio (N2 / N1) is decreased. Since a pixel whose pixel value (luminance value) difference between adjacent (adjacent) pixels is equal to or greater than a predetermined threshold is extracted as a feature point, it is on the road surface caused by the influence of external environment changes such as sunshine changes and weather changes. The shadow part is not extracted as a feature point, and it is not affected by the shadow on the road surface. The brightness change of the moving object (for example, vehicle), headlights, front grille, tail lamp, etc., depends on the moving object type. Therefore, the type of the moving object can be accurately determined according to the ratio of the number of feature points (N2 / N1).

また、判定手段は、特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、所定の第１閾値Ｔｈ１より小さい場合、移動体が第１種別であると判定する。第１種別は、例えば、比較的幅の長い移動体である。幅の長い第１種別の移動体が撮像画像上で映っている場合、第１部分領域に含まれる特徴点の数Ｎ１が多くなるので、比（Ｎ２／Ｎ１）の値は小さくなる。そこで、比（Ｎ２／Ｎ１）が、所定の第１閾値Ｔｈ１より小さい場合、移動体が第１種別であると判定することができる。 In addition , the determination unit determines that the moving body is the first type when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is smaller than a predetermined first threshold Th1. The first type is, for example, a relatively long moving body. When the first type mobile body having a long width is reflected on the captured image, the number N1 of feature points included in the first partial region is increased, and thus the value of the ratio (N2 / N1) is decreased. Therefore, when the ratio (N2 / N1) is smaller than the predetermined first threshold Th1, it can be determined that the moving body is the first type.

また、判定手段は、特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、第２閾値Ｔｈ２（Ｔｈ２＞Ｔｈ１）より大きい場合、移動体が第１種別と異なる第２種別であると判定する。第２種別は、例えば、比較的幅の短い移動体である。幅の短い第２種別の移動体が撮像画像上で映っている場合、第１部分領域に含まれる特徴点の数Ｎ１が少なくなるので、比（Ｎ２／Ｎ１）の値は大きくなる。そこで、比（Ｎ２／Ｎ１）が、所定の第２閾値Ｔｈ２より大きい場合、移動体が第２種別であると判定することができる。 In addition , the determination unit determines that the moving body is a second type different from the first type when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is greater than a second threshold Th2 (Th2> Th1). judge. The second type is, for example, a mobile body having a relatively short width. When the second type moving body with a short width is shown on the captured image, the number N1 of feature points included in the first partial region is reduced, and thus the value of the ratio (N2 / N1) is increased. Therefore, when the ratio (N2 / N1) is larger than the predetermined second threshold Th2, it can be determined that the moving body is the second type.

また、判定手段は、特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、第１閾値Ｔｈ１より大きく、第２閾値Ｔｈ２より小さい場合、特徴点の数Ｎ１と数Ｎ２との差分（例えば、Ｎ１−Ｎ２）と、所定の第３閾値Ｔｈ３との大小に応じて、移動体が第１種別であるか第２種別であるかを判定する。比（Ｎ２／Ｎ１）が、第１閾値Ｔｈ１より大きく、第２閾値Ｔｈ２より小さい場合には、第１種別であるか第２種別であるかを判定することができない。そこで、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）と、第３閾値Ｔｈ３との大小に応じて、移動体の種別を判定する。例えば、幅の短い第２種別の移動体が撮像画像上で映っている場合、第１部分領域に含まれる特徴点の数Ｎ１が少なくなるので、差分（Ｎ１−Ｎ２）の値は小さくなる。また、幅の長い第１種別の移動体が撮像画像上で映っている場合、第１部分領域に含まれる特徴点の数Ｎ１が多くなるので、差分（Ｎ１−Ｎ２）の値は大きくなる。そこで、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が、第３閾値Ｔｈ３より大きい場合には、幅の長い第１種別であると判定することができ、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が、第３閾値Ｔｈ３より小さい場合には、幅の短い第２種別であると判定することができる。 In addition , when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is larger than the first threshold Th1 and smaller than the second threshold Th2, the determination unit determines the difference between the number N1 of feature points and the number N2 ( For example, it is determined whether the moving body is the first type or the second type according to the magnitude of N1-N2) and a predetermined third threshold Th3. When the ratio (N2 / N1) is larger than the first threshold Th1 and smaller than the second threshold Th2, it cannot be determined whether the ratio is the first type or the second type. Therefore, the type of the moving body is determined according to the difference between the number N1 and the number N2 of feature points (N1−N2) and the third threshold Th3. For example, when the second type moving body with a short width is shown on the captured image, the number N1 of feature points included in the first partial region is reduced, and thus the difference (N1-N2) is reduced. Further, when the first type moving body having a long width is reflected on the captured image, the number N1 of feature points included in the first partial region is increased, and thus the value of the difference (N1−N2) is increased. Therefore, when the difference (N1−N2) between the number N1 and the number N2 of feature points is larger than the third threshold Th3, it can be determined that the type is a long first type, and the number N1 of feature points When the difference (N1−N2) between N2 and the number N2 is smaller than the third threshold Th3, it can be determined that the second type has a short width.

第２発明にあっては、判定手段は、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合に、特徴点の数Ｎ２が所定の第４閾値Ｔｈ４より小さいときは、移動体が第２種別であると判定する。特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合には、幅の短い第２種別であると判定することができる。そして、四輪車両などの幅の長い第１種別の移動体では、フロントグリル、文字等が多く存在するので特徴点の数Ｎ２は多くなり、二輪車両などの幅の短い第２種別の移動体では、フロントグリル、文字等が少ないので特徴点の数Ｎ２は少なくなる。このため、特徴点の数Ｎ２が所定の第４閾値Ｔｈ４より小さい場合には、二輪車両などの幅の短い第２種別であると判定することができる。したがって、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合に、さらに特徴点の数Ｎ２が所定の第４閾値Ｔｈ４より小さいか否かを判定することにより、精度良く移動体の種別を判定することができる。 In the second invention, the determination means determines that the number N2 of feature points is a predetermined fourth threshold Th4 when the difference (N1-N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3. When it is smaller, it is determined that the moving body is the second type. When the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it can be determined that the second type has a short width. In the first type mobile body having a long width such as a four-wheeled vehicle, since there are many front grills, characters, etc., the number N2 of feature points increases, and the second type mobile body having a short width such as a two-wheel vehicle. Then, since there are few front grills, letters, etc., the number N2 of feature points is reduced. For this reason, when the number N2 of feature points is smaller than the predetermined fourth threshold Th4, it can be determined that the second type has a short width such as a two-wheeled vehicle. Therefore, when the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it is further determined whether or not the number N2 of feature points is smaller than a predetermined fourth threshold Th4. Thus, the type of the moving body can be determined with high accuracy.

第３発明にあっては、判定手段は、時系列に移動体の種別を判定するようにしてあり、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合に、特徴点の数Ｎ２が第４閾値Ｔｈ４より大きいときは、移動体の種別が直近に判定した種別と同じであると判定する。特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合には、幅の短い第２種別であると判定することができる。しかし、特徴点の数Ｎ２が所定の第４閾値Ｔｈ４より大きい場合には、四輪車両などの幅の長い第１種別の移動体であると判定することもできる。そこで、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合に、特徴点の数Ｎ２が第４閾値Ｔｈ４より大きいときは、第１種別であるか第２種別であるかを正確に判定することができないので、移動体の種別が直近に判定した種別と変わらないものとして、直近に判定した種別と同じであると判定する。これにより、移動体の種別の判定が困難なタイミングが生じても直近に判定した結果を用いることができ、種別の判定を誤ることを防止することができる。 In the third invention, the determination means determines the type of the moving object in time series, and the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3. In this case, when the number N2 of feature points is larger than the fourth threshold Th4, it is determined that the type of the moving object is the same as the type determined most recently. When the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it can be determined that the second type has a short width. However, when the number N2 of feature points is larger than the predetermined fourth threshold Th4, it can be determined that the moving body is the first type mobile body having a long width such as a four-wheel vehicle. Therefore, when the difference (N1−N2) between the number N1 of feature points and the number N2 is smaller than the third threshold Th3, if the number N2 of feature points is larger than the fourth threshold Th4, it is determined whether the type is the first type. Since it is impossible to accurately determine whether the type is two, it is determined that the type of the moving body is the same as the most recently determined type, assuming that it is not different from the most recently determined type. As a result, even when a timing at which it is difficult to determine the type of the moving object, the most recent determination result can be used, and it is possible to prevent the type from being erroneously determined.

第４発明にあっては、第１種別は四輪車両であり、第２種別は二輪車両である。これにより、四輪車両と二輪車両との区別をすることができる。 In the fourth invention, the first type is a four-wheel vehicle, and the second type is a two-wheel vehicle. Thereby, a four-wheel vehicle and a two-wheel vehicle can be distinguished.

第５発明にあっては、計数手段は、第１部分領域又は第２部分領域の一方向ライン(例えば、横ライン)毎に特徴点の数を計数する。すなわち、計数手段は、第１部分領域（四輪車幅範囲）の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う（隣接する）画素の輝度値の差分の絶対値が所定の輝度閾値Ｙｔｈ３より大きい場合、当該注目画素を特徴点として抽出する。横ラインは、横方向（ｘ軸）に沿ったラインであり、例えば、撮像画像の大きさを（縦×横）画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、第１計数手段は、撮像画像の第１部分領域（四輪車幅範囲）内の特徴点の数を横方向（横ライン毎）に計数して合計し、合計した値を度数とした特徴点のヒストグラム（横方向四輪特徴投影ヒストグラム）を生成する。また、第１計数手段は、第２部分領域（二輪車幅範囲）の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う（隣接する）画素の輝度値の差分の絶対値が所定の輝度閾値Ｙｔｈ３より大きい場合、当該注目画素を特徴点として抽出する。横ラインは、横方向（ｘ軸）に沿ったラインであり、例えば、撮像画像の大きさを（縦×横）画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、第１計数手段は、撮像画像の第２部分領域（二輪車幅範囲）内の特徴点の数を横方向（横ライン毎）に計数して合計し、合計した値を度数とした特徴点のヒストグラム（横方向二輪特徴投影ヒストグラム）を生成する。 In the fifth invention, the counting means counts the number of feature points for each one-way line (for example, a horizontal line) of the first partial region or the second partial region. That is, the counting means counts the number of extracted feature points for each horizontal line of the first partial region (four-wheeled vehicle width range). In this case, if the absolute value of the difference between the luminance values of an arbitrary target pixel and a pixel that is adjacent to (adjacent to) the target pixel in the horizontal direction is greater than a predetermined luminance threshold Yth3, the feature point is the feature point. Extract as The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the first counting means counts the number of feature points in the first partial region (four-wheeled vehicle width range) of the captured image in the horizontal direction (for each horizontal line) and sums up, and the total value is used as the frequency. A histogram of feature points (horizontal four-wheel feature projection histogram) is generated. The first counting means counts the number of extracted feature points for each horizontal line of the second partial region (two-wheeled vehicle width range). In this case, if the absolute value of the difference between the luminance values of an arbitrary target pixel and a pixel that is adjacent to (adjacent to) the target pixel in the horizontal direction is greater than a predetermined luminance threshold Yth3, the feature point is the feature point. Extract as The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the first counting means counts the number of feature points in the second partial region (two-wheeled vehicle width range) of the captured image in the horizontal direction (each horizontal line) and adds up the feature points, and the total value is the feature point. The histogram (lateral two-wheel feature projection histogram) is generated.

位置特定手段は、第１計数手段で計数した特徴点の数が所定の特徴点閾値以上となる横ラインの位置のうち、最上位位置及び最下位位置を特定する。特徴点閾値は、適宜設定することができ、例えば、１とすることができる。特徴点閾値が１である場合は、特徴点が存在するか否かを判定することになる。すなわち、横方向四輪特徴投影ヒストグラムの度数が０を超える（１以上）最も上方の位置を最上位位置とし、度数が０を超える（１以上）最も下方の位置を最下位位置とする。横方向二輪特徴投影ヒストグラムについても、同様に、度数が０を超える（１以上）最も上方の位置を最上位位置とし、度数が０を超える（１以上）最も下方の位置を最下位位置とする。 The position specifying means specifies the highest position and the lowest position among horizontal line positions where the number of feature points counted by the first counting means is equal to or greater than a predetermined feature point threshold. The feature point threshold can be set as appropriate, and can be set to 1, for example. When the feature point threshold is 1, it is determined whether or not a feature point exists. That is, the uppermost position where the frequency of the horizontal four-wheel feature projection histogram exceeds 0 (1 or more) is the highest position, and the lowermost position where the frequency exceeds 0 (1 or more) is the lowest position. Similarly for the horizontal two-wheel feature projection histogram, the highest position where the frequency exceeds 0 (1 or more) is the highest position, and the lowest position where the frequency is more than 0 (1 or more) is the lowest position. .

判定手段は、特定した最上位位置が撮像画像の上半分の領域にあり、特定した最下位位置が撮像画像の下半分の領域にある場合、移動体の種別を判定する。移動体（車両）のナンバープレート、ヘッドライト、テールランプ、バンパー、フロントグリル等の車頭部分又は車尾部分が撮像画像の中心付近で映っている場合には、特徴点の分布（ヒストグラム）の長さ（横ラインの数）は長くなり、最上位位置が撮像画像の上半分の領域にあり、最下位位置が撮像画像の下半分の領域にあるので、移動体の種別を精度良く判定することができる。逆に、車頭部分又は車尾部分が、撮像画像の中心付近で映っていない場合には、最上位位置が撮像画像の下半分の領域にあり、あるいは、最下位位置が撮像画像の上半分の領域にあるので、移動体の種別を精度良く判定することができないため、移動体の種別を判定しない。これにより、移動体の種別を精度良く判定することができるとともに、誤って判定することを防止することができる。 The determination unit determines the type of the moving object when the identified highest position is in the upper half area of the captured image and the identified lowest position is in the lower half area of the captured image. Length of feature point distribution (histogram) when the vehicle head part or car tail part such as license plate, headlight, tail lamp, bumper, front grille, etc. of the moving object (vehicle) is reflected near the center of the captured image (Number of horizontal lines) becomes longer, the highest position is in the upper half area of the captured image, and the lowest position is in the lower half area of the captured image. it can. On the contrary, when the vehicle head portion or the vehicle rear portion is not reflected near the center of the captured image, the highest position is in the lower half area of the captured image, or the lowest position is the upper half of the captured image. Since it is in the region, the type of the moving object cannot be determined with high accuracy, and therefore the type of the moving object is not determined. Thereby, while being able to determine the classification of a moving body with a sufficient precision, it can prevent determining incorrectly.

第６発明にあっては、検出手段は、抽出した特徴点に基づいて、撮像画像内の移動体の横位置を検出する。移動体の位置は、例えば、以下のようにして検出することができる。（１）撮像画像の横ライン毎に、抽出した特徴点の数を計数する。すなわち、撮像画像上の特徴点の数を横方向（横ライン毎）に計数して合計し、合計した値を度数とした特徴点の横方向のヒストグラムを生成する。（２）検出手段は、計数した特徴点の数（ヒストグラムの度数）が所定の閾値以上となる横ラインの位置に基づいて、移動体の縦位置（ｙ座標）を検出する。移動体の縦位置（ｙ座標）は、例えば、ヒストグラムの度数が閾値以上となる横ラインのうち、最も下方の位置とすることができる。（３）次に、撮像画像の縦ライン毎に、抽出した特徴点の数を計数する。すなわち、撮像画像の特徴点の数を縦方向（縦ライン毎）に計数して合計し、合計した値を度数とした特徴点の縦方向のヒストグラムを生成する。（４）検出手段は、計数した特徴点（ヒストグラムの度数）が存在する縦ラインの位置に基づいて、移動体の横位置（ｘ座標）を検出する。移動体の横位置（ｘ座標）は、縦方向のヒストグラムに基づいて、車頭幅を判定し、判定した車頭幅の所定位置を移動体の横位置（ｘ座標）とすることができる。例えば、縦方向のヒストグラムの分布が連続する部分のうち、最も幅（横方向の長さ）の長い部分を車頭幅と判定する。そして、車頭幅内のヒストグラムの度数の合計値を略等分する位置（横方向の位置）を移動体の横位置（ｘ座標）とすることができる。 In the sixth invention, the detecting means detects the lateral position of the moving body in the captured image based on the extracted feature points. The position of the moving body can be detected as follows, for example. (1) The number of extracted feature points is counted for each horizontal line of the captured image. That is, the number of feature points on the captured image is counted in the horizontal direction (for each horizontal line) and summed, and a histogram of the feature points in the horizontal direction is generated with the total value as the frequency. (2) The detection means detects the vertical position (y coordinate) of the moving body based on the position of the horizontal line where the number of counted feature points (frequency of the histogram) is equal to or greater than a predetermined threshold. The vertical position (y coordinate) of the moving body can be, for example, the lowest position among the horizontal lines where the frequency of the histogram is equal to or greater than a threshold value. (3) Next, the number of extracted feature points is counted for each vertical line of the captured image. That is, the number of feature points of the captured image is counted in the vertical direction (for each vertical line) and summed, and a vertical histogram of the feature points with the total value as a frequency is generated. (4) The detection means detects the horizontal position (x coordinate) of the moving body based on the position of the vertical line where the counted feature point (histogram frequency) exists. The lateral position (x coordinate) of the moving body is determined based on the histogram in the vertical direction, and the predetermined position of the determined vehicle head width can be set as the lateral position (x coordinate) of the moving body. For example, the portion having the longest width (length in the horizontal direction) among the portions in which the distribution of the histogram in the vertical direction continues is determined as the vehicle head width. The position (lateral position) at which the total value of the frequencies in the histogram within the vehicle head width is approximately equally divided can be set as the lateral position (x coordinate) of the moving body.

判定手段は、検出した移動体の横位置が、撮像画像の中央から横方向に所定の第１幅を有する中央領域内にある場合、移動体の種別を判定する。移動体の横位置が中央領域内にある場合、移動体（車両）のナンバープレート、ヘッドライト、テールランプ、バンパー、フロントグリル等の車頭部分又は車尾部分が撮像画像の中心付近で映っているので、移動体の種別を精度良く判定することができる。 The determination unit determines the type of the moving object when the detected lateral position of the moving object is within a central region having a predetermined first width in the horizontal direction from the center of the captured image. When the horizontal position of the moving object is within the central area, the vehicle head part or the tail part of the moving object (vehicle) such as the license plate, headlight, tail lamp, bumper, front grille, etc. is reflected near the center of the captured image. The type of the moving object can be determined with high accuracy.

第７発明にあっては、幅検出手段は、抽出した特徴点に基づいて、移動体の幅を検出する。移動体の幅は、例えば、以下のようにして検出することができる。（１）撮像画像の縦ライン毎に、抽出した特徴点の数を計数する。すなわち、撮像画像の特徴点の数を縦方向（縦ライン毎）に計数して合計し、合計した値を度数とした特徴点の縦方向のヒストグラムを生成する。（２）そして、縦方向のヒストグラムの分布が連続する部分のうち、最も幅（横方向の長さ）の長い部分を移動体の幅として検出する。 In the seventh invention, the width detecting means detects the width of the moving body based on the extracted feature points. The width of the moving object can be detected as follows, for example. (1) The number of extracted feature points is counted for each vertical line of the captured image. That is, the number of feature points of the captured image is counted in the vertical direction (for each vertical line) and summed, and a vertical histogram of the feature points with the total value as a frequency is generated. (2) Then, a portion having the longest width (length in the horizontal direction) is detected as the width of the moving body among the portions where the distribution of the histogram in the vertical direction is continuous.

判定手段は、検出した移動体の横位置が中央領域内にない場合に、検出した移動体の幅が所定の幅閾値より大きいとき、移動体の種別を判定する。移動体の横位置が中央領域内にない場合には、移動体の横位置が撮像画像の左端又は右端を超えて撮像画像内に存在しない可能性があるため、移動体の種別を精度良く判定することができない可能性がある。そこで、例えば、移動体の幅が所定の幅閾値より大きい場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っているとして、移動体の種別を判定する。一方、移動体の幅が所定の幅閾値より小さい場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っていないとして、移動体の種別を判定しない。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。 The determination unit determines the type of the moving object when the width of the detected moving object is larger than a predetermined width threshold when the lateral position of the detected moving object is not within the central region. If the horizontal position of the moving object is not within the central area, the horizontal position of the moving object may not exist in the captured image beyond the left or right edge of the captured image, so the type of the moving object is accurately determined. You may not be able to. Therefore, for example, when the width of the moving body is larger than a predetermined width threshold, the moving body type is determined on the assumption that the moving body appears in the captured image to the extent that the moving body type can be determined. On the other hand, when the width of the moving body is smaller than the predetermined width threshold, the type of the moving body is not determined assuming that the moving body is not reflected in the captured image to the extent that the type of the moving body can be determined. Thereby, it can prevent determining the classification of a moving body accidentally, and can determine with sufficient precision.

第８発明にあっては、判定手段は、検出した移動体の横位置が中央領域内にない場合に、当該中央領域を間にして分離され、所定の第２幅を有する２つの分離領域内にあるとき、移動体の種別を判定する。移動体の横位置が中央領域内にない場合には、移動体の横位置が撮像画像の左端又は右端を超えて撮像画像内に存在しない可能性があるため、移動体の種別を精度良く判定することができない可能性がある。そこで、例えば、中央領域を間にして分離され、所定の第２幅を有する２つの分離領域内に移動体の横位置があるときは、移動体の種別を判定することができる程度に移動体が撮像画像に映っているとして、移動体の種別を判定する。一方、２つの分離領域内に移動体の横位置がないときは、移動体の種別を判定することができる程度に移動体が撮像画像に映っていないとして、移動体の種別を判定しない。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。 In the eighth invention, when the lateral position of the detected moving body is not within the central area, the determination means is separated within the two separation areas having a predetermined second width and separated between the central areas. If it is, the type of the moving object is determined. If the horizontal position of the moving object is not within the central area, the horizontal position of the moving object may not exist in the captured image beyond the left or right edge of the captured image, so the type of the moving object is accurately determined. You may not be able to. Therefore, for example, when there is a lateral position of the moving body in two separation areas separated by a central region and having a predetermined second width, the moving body can be determined to the extent that the type of the moving body can be determined. , The type of the moving object is determined. On the other hand, when there is no lateral position of the moving body in the two separation regions, the type of the moving body is not determined assuming that the moving body is not reflected in the captured image to the extent that the type of the moving body can be determined. Thereby, it can prevent determining the classification of a moving body accidentally, and can determine with sufficient precision.

第９発明にあっては、撮像時点が異なる第１の撮像画像（例えば、時刻ｔ）及び第２の撮像画像（例えば、時刻ｔ＋１）それぞれの対応する各画素の画素値（例えば、輝度値）の差分が第１差分閾値（強差分閾値）より大きい第１の画素を特定するとともに、第１の撮像画像及び第２の撮像画像それぞれの対応する各画素の画素値の差分が第１差分閾値より小さい第２差分閾値（弱差分閾値）より大きい第２の画素を特定する。ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分は、時系列に得られた撮像画像上で輝度値の差が大きく表れるので、第１差分閾値（強差分閾値）を用いることにより、ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分に対応する第１の画素を特定することができる。また、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分、及びボンネット等のテクスチャの少ない部分は、時系列に得られた撮像画像上で輝度値の差があまり大きく表れないので、第２差分閾値（弱差分閾値）を用いることにより、路面上の影の部分、ボンネット等のテクスチャの少ない部分に対応する第２の画素を特定することができる。 In the ninth invention, the pixel value (for example, luminance value) of each corresponding pixel of the first captured image (for example, time t) and the second captured image (for example, time t + 1) having different imaging time points. The first pixel is larger than the first difference threshold (strong difference threshold), and the difference between the pixel values of the corresponding pixels of the first captured image and the second captured image is the first difference threshold. A second pixel greater than the smaller second difference threshold (weak difference threshold) is identified. The number plate, headlight, front grille, tail lamp, and other parts show a large difference in luminance values on the captured images obtained in time series. Therefore, by using the first difference threshold (strong difference threshold), the license plate The first pixel corresponding to the headlight, the front grill, the tail lamp, and the like can be specified. In addition, shadows on the road surface caused by changes in the external environment such as sunshine changes and weather changes, and parts with little texture such as bonnets have a large difference in luminance values on the captured images obtained in time series. Since it does not appear, by using the second difference threshold value (weak difference threshold value), it is possible to specify the second pixel corresponding to a shadowed part on the road surface, a part with less texture such as a hood.

差分画像生成手段は、特定した第１の画素及び当該第１の画素に隣接する第２の画素で構成される差分画像を生成する。第１の画素、及び第１の画素に隣接する（連続する）第２の画素で構成される差分画像は、移動体（車両）部分と離れて存在する影の部分を取り除くことができるとともに、ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分（例えば、車頭部分又は車尾部分）と隣接（連続）するボンネット等のテクスチャの少ない部分を含めることができる。これにより、差分画像として、車頭（又は車尾）の部分を含む車体部分を特定する（残す）ことができる。なお、差分画像は、例えば、車体部分を「１」とし、車体部分以外を「０」で表す二値化画像である。抽出手段は、第１の撮像画像又は第２の撮像画像のいずれか（例えば、時刻ｔの撮像画像）を、生成した差分画像でフィルタ処理（例えば、二値化した差分画像の「１」の対応する撮像画像の画素を残し、差分画像の「０」に対応する撮像画像の画素を除去する）して得られた撮像画像の各画素（例えば、隣り合う画素）の画素値に基づいて特徴点を抽出する。これにより、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分を削除することができるとともに、車体部分を含めることができ、精度良く移動体を検出することができる。 The difference image generation means generates a difference image composed of the identified first pixel and the second pixel adjacent to the first pixel. The difference image composed of the first pixel and the second pixel adjacent (continuous) to the first pixel can remove a shadow portion that is separated from the moving body (vehicle) portion, A low-textured portion such as a bonnet adjacent (continuous) to a portion (for example, a vehicle head portion or a vehicle tail portion) such as a license plate, a headlight, a front grille, and a tail lamp can be included. As a result, the vehicle body portion including the vehicle head (or vehicle tail) portion can be specified (leaved) as the difference image. The difference image is, for example, a binarized image in which the vehicle body portion is “1” and the portions other than the vehicle body portion are represented by “0”. The extraction means filters either the first captured image or the second captured image (for example, the captured image at time t) with the generated difference image (for example, “1” of the binarized difference image). A feature is based on the pixel value of each pixel (for example, adjacent pixel) of the captured image obtained by leaving the corresponding captured image pixel and removing the captured image pixel corresponding to “0” of the difference image) Extract points. As a result, shadows on the road surface caused by changes in the external environment such as sunshine changes and weather changes can be deleted, the vehicle body part can be included, and a moving body can be detected with high accuracy.

本発明によれば、移動体の種別を精度よく検出することができる。 According to the present invention, it is possible to accurately detect the type of moving object.

本実施の形態の移動体検出装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による差分画像の生成方法の一例を示す説明図である。It is explanatory drawing which shows an example of the production | generation method of the difference image by the moving body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による横方向画像特徴投影ヒストグラムの生成方法の一例を示す説明図である。It is explanatory drawing which shows an example of the production | generation method of the horizontal direction image feature projection histogram by the moving body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による車頭基準位置の検出方法の一例を示す説明図である。It is explanatory drawing which shows an example of the detection method of the vehicle head reference position by the moving body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による縦方向車頭特徴投影ヒストグラムの生成方法の一例を示す説明図である。It is explanatory drawing which shows an example of the production | generation method of the vertical direction head characteristic projection histogram by the moving body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による移動体の横位置の検出方法の一例を示す説明図である。It is explanatory drawing which shows an example of the detection method of the horizontal position of the mobile body by the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による車頭幅又は車尾幅の特定方法の一例を示す説明図である。It is explanatory drawing which shows an example of the identification method of the vehicle head width or the vehicle tail width by the moving body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による車頭幅又は車尾幅の特定方法の他の例を示す説明図である。It is explanatory drawing which shows the other example of the identification method of the vehicle head width or the vehicle tail width by the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による横方向四輪特徴投影ヒストグラムの生成方法の一例を示す説明図である。It is explanatory drawing which shows an example of the production | generation method of the horizontal direction four-wheels feature projection histogram by the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による移動体の横位置の検出方法の一例を示す説明図である。It is explanatory drawing which shows an example of the detection method of the horizontal position of the mobile body by the mobile body detection apparatus of this Embodiment. 移動体座標オフセット範囲の一例を示す説明図である。It is explanatory drawing which shows an example of a mobile body coordinate offset range. 本実施の形態の移動体検出装置による移動体検出の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of the mobile body detection by the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による移動体検出の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of the mobile body detection by the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による横方向二輪特徴投影ヒストグラムの生成方法の一例を示す説明図である。It is explanatory drawing which shows an example of the production | generation method of the horizontal direction two-wheels characteristic projection histogram by the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による種別判定を行うか否かの決定方法の一例を示す説明図である。It is explanatory drawing which shows an example of the determination method of whether the type determination by the moving body detection apparatus of this Embodiment is performed. 本実施の形態の移動体検出装置による横方向四輪特徴投影ヒストグラム及び横方向二輪特徴投影ヒストグラムの特徴量の一例を示す説明図である。It is explanatory drawing which shows an example of the feature-value of the horizontal direction four-wheels feature projection histogram and the horizontal direction two-wheels feature projection histogram by the moving body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による移動体の種別判定方法の一例を示す説明図である。It is explanatory drawing which shows an example of the classification determination method of the mobile body by the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による車線の判定方法の一例を示す説明図である。It is explanatory drawing which shows an example of the determination method of the lane by the moving body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による位置情報の生成方法の一例を示す説明図である。It is explanatory drawing which shows an example of the production | generation method of the positional information by the moving body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による移動体の追跡方法の一例を示す説明図である。It is explanatory drawing which shows an example of the tracking method of the mobile body by the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による追跡情報の一例を示す説明図である。It is explanatory drawing which shows an example of the tracking information by the mobile body detection apparatus of this Embodiment. 本実施の形態の移動体検出装置による移動体の種別判定の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of the classification determination of the mobile body by the mobile body detection apparatus of this Embodiment.

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体検出装置１００の構成の一例を示すブロック図である。なお、移動体検出装置１００は、移動体の種別を判定する移動体種別判定装置としての機能を備える。以下では、移動体検出装置１００には、移動体種別判定装置も含むことができるものとする。移動体検出装置１００は、装置全体を制御する制御部１０、差分画像生成部１１、特徴点抽出部１２、横方向特徴点計数部１３、車頭高さ領域設定部１４、縦方向特徴点計数部１５、横位置候補範囲特定部１６、車幅領域設定部１７、移動体座標検出部１８、車種情報生成部２０、車線情報生成部３１、位置情報生成部３２、追跡情報生成部３３などを備える。また、車種情報生成部２０は、第１種別領域設定部２１、第２種別領域設定部２２、特徴点分布位置特定部２３、移動体種別判定部２４などを備える。 Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments. FIG. 1 is a block diagram showing an example of the configuration of the moving object detection device 100 of the present embodiment. The mobile body detection device 100 has a function as a mobile body type determination device that determines the type of the mobile body. In the following, it is assumed that the mobile body detection device 100 can also include a mobile body type determination device. The moving body detection apparatus 100 includes a control unit 10 that controls the entire apparatus, a difference image generation unit 11, a feature point extraction unit 12, a lateral direction feature point counting unit 13, a vehicle head height region setting unit 14, and a longitudinal direction feature point counting unit. 15, lateral position candidate range specifying unit 16, vehicle width region setting unit 17, moving body coordinate detection unit 18, vehicle type information generation unit 20, lane information generation unit 31, position information generation unit 32, tracking information generation unit 33, and the like. . The vehicle type information generation unit 20 includes a first type region setting unit 21, a second type region setting unit 22, a feature point distribution position specifying unit 23, a moving body type determining unit 24, and the like.

以下の説明では、撮像画像の左上端を原点として横方向をｘ軸とし、縦方向をｙ軸とする。また、撮像画像は、例えば、グレースケールの画像であるが、これに限定されるものではない。また、移動体には、四輪車両、二輪車両などの車両を含むものとする。 In the following description, the horizontal direction is the x-axis and the vertical direction is the y-axis with the upper left corner of the captured image as the origin. The captured image is, for example, a gray scale image, but is not limited thereto. Further, the moving body includes vehicles such as a four-wheel vehicle and a two-wheel vehicle.

ビデオカメラ又はカメラ等の撮像装置（不図示）は、道路を視野として、所定の高さ、レンズの光軸方向（例えば、俯角及び回転角）などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。例えば、撮像装置は、走行する移動体の前方から撮像してもよく、移動体の後方から撮像してもよい。移動体の前方から撮像する場合には、移動体の車頭部分を検出し、移動体の後方から撮像する場合には、移動体の車尾部分を検出することになる。 An imaging device (not shown) such as a video camera or a camera is located near the road in a state where imaging conditions such as a predetermined height and a lens optical axis direction (for example, depression angle and rotation angle) are set with the road as a field of view. It is installed at the required point. For example, the imaging device may take an image from the front of the traveling moving body, or may take an image from the rear of the moving body. When imaging from the front of the moving body, the vehicle head portion of the moving body is detected, and when capturing from the rear of the moving body, the tail portion of the moving body is detected.

撮像装置により取得した元画像の大きさは、例えば、前述の撮像画像の大きさより大きい。すなわち、元画像を縮小した縮小画像を前述の撮像画像として用いる。これにより、移動体の検出又は判定に要する画像処理の負荷を軽減することができる。なお、元画像の大きさが画像処理の負荷軽減を必要としない場合には、縮小することなく元画像を撮像画像として用いることができる。 The size of the original image acquired by the imaging device is larger than the size of the above-described captured image, for example. That is, a reduced image obtained by reducing the original image is used as the above-described captured image. Thereby, it is possible to reduce the load of image processing required for detection or determination of the moving body. When the size of the original image does not require a reduction in image processing load, the original image can be used as a captured image without being reduced.

また、以下の説明では、移動体の位置（横位置、縦位置）を、撮像画像上のｘ座標及びｙ座標で表す。また、移動体の位置としては、ナンバープレートの位置（例えば、ナンバープレートの文字部分の位置、ナンバープレートの中央位置など）を想定しているが、移動体の位置はナンバープレートの位置に限定されるものではない。 Moreover, in the following description, the position (horizontal position, vertical position) of the moving body is represented by the x coordinate and y coordinate on the captured image. In addition, the position of the moving body is assumed to be the position of the license plate (for example, the position of the character portion of the license plate, the center position of the license plate, etc.), but the position of the moving body is limited to the position of the license plate. It is not something.

移動体検出装置１００は、時系列的に撮像された撮像画像中の変化のある領域に対する特徴点の分布から移動体の位置（座標）と、移動体の物体情報、すなわち移動体の種別（例えば、車両であるか否か、車両である場合には四輪車両であるか二輪車両であるか）の判定を行う。 The moving object detection device 100 determines the position (coordinates) of the moving object from the distribution of the feature points with respect to the area with change in the captured image captured in time series, and the object information of the moving object, that is, the type of the moving object (for example, Whether the vehicle is a vehicle or, if it is a vehicle, whether it is a four-wheel vehicle or a two-wheel vehicle).

移動体の検出処理では、移動体が移動している部分を検出するため時系列的に撮像時点が異なる２つの撮像画像に基づいて、差分画像を生成する。以下、差分画像の生成について説明する。図２は本実施の形態の移動体検出装置１００による差分画像の生成方法の一例を示す説明図である。 In the moving object detection process, a difference image is generated based on two captured images having different imaging time points in time series in order to detect a moving part of the moving object. Hereinafter, the generation of the difference image will be described. FIG. 2 is an explanatory diagram illustrating an example of a method for generating a difference image by the moving object detection apparatus 100 according to the present embodiment.

差分画像生成部１１は、差分画像生成手段、第１画素特定手段、第２画素特定手段及び処理手段としての機能を有する。 The difference image generation unit 11 functions as a difference image generation unit, a first pixel specifying unit, a second pixel specifying unit, and a processing unit.

図２Ａに示すように、差分画像生成部１１は、撮像時点が異なる第１の撮像画像（例えば、時刻ｔ）及び第２の撮像画像（例えば、時刻ｔ＋１）それぞれの対応する各画素の画素値（例えば、輝度値）の差分が第１差分閾値（強差分閾値）より大きい第１の画素を特定するとともに、第１の撮像画像及び第２の撮像画像それぞれの対応する各画素の画素値の差分が第１差分閾値より小さい第２差分閾値（弱差分閾値）より大きい第２の画素を特定する。例えば、輝度値の範囲を０〜２５５（０が黒に対応し、２５５が白に対応する）とした場合、第１差分閾値（強差分閾値）は、移動体（車体）の形状、輪郭が特定されるように比較的大きな値とすることができる。また、第２差分閾値（弱差分閾値）は、移動体（車体）の内部、すなわち輪郭の内側部分が特定されるように比較的小さな値とすることができる。 As illustrated in FIG. 2A, the difference image generation unit 11 has a pixel value of each pixel corresponding to each of the first captured image (for example, time t) and the second captured image (for example, time t + 1) at different capturing points. The first pixel having a difference (for example, luminance value) greater than the first difference threshold (strong difference threshold) is specified, and the pixel value of each corresponding pixel of each of the first captured image and the second captured image is specified. A second pixel having a difference larger than a second difference threshold (weak difference threshold) smaller than the first difference threshold is specified. For example, when the luminance value range is 0 to 255 (0 corresponds to black and 255 corresponds to white), the first difference threshold (strong difference threshold) is the shape and contour of the moving body (vehicle body). It can be a relatively large value as specified. Further, the second difference threshold value (weak difference threshold value) can be set to a relatively small value so that the inside of the moving body (vehicle body), that is, the inner part of the contour is specified.

ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分は、時系列に得られた撮像画像上で輝度値の差が大きく表れるので、第１差分閾値（強差分閾値）を用いることにより、ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分に対応する第１の画素を特定することができる。また、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分、及びボンネット等のテクスチャの少ない部分は、時系列に得られた撮像画像上で輝度値の差があまり大きく表れないので、第２差分閾値（弱差分閾値）を用いることにより、路面上の影の部分、ボンネット等のテクスチャの少ない部分に対応する第２の画素を特定することができる。 The number plate, headlight, front grille, tail lamp, and other parts show a large difference in luminance values on the captured images obtained in time series. Therefore, by using the first difference threshold (strong difference threshold), the license plate The first pixel corresponding to the headlight, the front grill, the tail lamp, and the like can be specified. In addition, shadows on the road surface caused by changes in the external environment such as sunshine changes and weather changes, and parts with little texture such as bonnets have a large difference in luminance values on the captured images obtained in time series. Since it does not appear, by using the second difference threshold value (weak difference threshold value), it is possible to specify the second pixel corresponding to a shadowed part on the road surface, a part with less texture such as a hood.

図２Ｂの例では、第１差分閾値（強差分閾値）より大きい輝度を有する画素は符号ＷＴで示す。また、第１差分閾値（強差分閾値）より小さい輝度であって、第２差分閾値（弱差分閾値）より大きい輝度を有する画素は符号ＧＲ１で示す。また、第２差分閾値（弱差分閾値）より小さい輝度を有する画素は符号ＢＫで示す。 In the example of FIG. 2B, a pixel having a luminance greater than the first difference threshold (strong difference threshold) is indicated by reference numeral WT. A pixel having a luminance smaller than the first difference threshold (strong difference threshold) and larger than the second difference threshold (weak difference threshold) is denoted by reference symbol GR1. A pixel having a luminance smaller than the second difference threshold (weak difference threshold) is indicated by reference numeral BK.

図２Ｂ及び図２Ｃに示すように、差分画像生成部１１は、特定した第１の画素及び当該第１の画素に隣接する第２の画素で構成される差分画像を生成する。図２Ｂ及び図２Ｃの例では、画素ＷＴ（第１の画素）に隣接する画素ＧＲ１（第２の画素）は、画素ＷＴとするとともに、画素ＷＴから離隔している画素ＧＲ１は、画素ＢＫとすることにより、画素ＷＴ及び画素ＢＫで構成される差分画像（二値化画像）を生成する。 As illustrated in FIGS. 2B and 2C, the difference image generation unit 11 generates a difference image composed of the identified first pixel and the second pixel adjacent to the first pixel. In the example of FIGS. 2B and 2C, the pixel GR1 (second pixel) adjacent to the pixel WT (first pixel) is the pixel WT, and the pixel GR1 separated from the pixel WT is the pixel BK. By doing so, a difference image (binarized image) composed of the pixel WT and the pixel BK is generated.

第１の画素、及び第１の画素に隣接する（連続する）第２の画素で構成される差分画像は、移動体（車両）部分と離れて存在する影の部分を取り除くことができるとともに、ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分（例えば、車頭部分又は車尾部分）と隣接（連続）するボンネット等のテクスチャの少ない部分を含めることができる。これにより、差分画像として、車頭（又は車尾）の部分を含む車体部分を特定する（残す）ことができる。なお、差分画像は、例えば、車体部分を「１」とし、車体部分以外を「０」で表す二値化画像である。 The difference image composed of the first pixel and the second pixel adjacent (continuous) to the first pixel can remove a shadow portion that is separated from the moving body (vehicle) portion, A low-textured portion such as a bonnet adjacent (continuous) to a portion (for example, a vehicle head portion or a vehicle tail portion) such as a license plate, a headlight, a front grille, and a tail lamp can be included. As a result, the vehicle body portion including the vehicle head (or vehicle tail) portion can be specified (leaved) as the difference image. The difference image is, for example, a binarized image in which the vehicle body portion is “1” and the portions other than the vehicle body portion are represented by “0”.

特徴点抽出部１２は、特徴点を抽出する抽出手段としての機能を有する。特徴点抽出部１２は、撮像画像の各画素（例えば、隣り合う各画素であるが、隣り合う画素に限定されない）の画素値に基づいて特徴点を抽出する。撮像画像の横方向をｘ軸、縦方向をｙ軸とすると、隣り合う各画素は、横方向（ｘ軸方向）に隣り合う各画素（例えば、隣接する画素同士）、及び縦方向（ｙ軸方向）に隣り合う各画素（例えば、隣接する画素同士）である。画素値は、例えば、輝度値Ｙである。特徴点は、任意の注目画素及び当該注目画素と隣り合う画素の輝度値の差分の絶対値が所定の輝度閾値より大きい場合、当該注目画素を特徴点として抽出する。 The feature point extraction unit 12 has a function as extraction means for extracting feature points. The feature point extraction unit 12 extracts a feature point based on the pixel value of each pixel of the captured image (for example, each adjacent pixel, but not limited to the adjacent pixel). Assuming that the horizontal direction of the captured image is the x-axis and the vertical direction is the y-axis, the adjacent pixels are pixels adjacent in the horizontal direction (x-axis direction) (for example, adjacent pixels) and the vertical direction (y-axis). Each pixel adjacent in the (direction) (for example, adjacent pixels). The pixel value is, for example, the luminance value Y. A feature point is extracted as a feature point when the absolute value of the difference between the luminance values of an arbitrary pixel of interest and a pixel adjacent to the pixel of interest is larger than a predetermined luminance threshold.

特徴点を抽出する場合、差分画像生成部１１で生成した差分画像を用いなくてもよいが、差分画像を用いる場合には、以下のようにすることができる。すなわち、差分画像生成部１１は、差分画像を生成した際の撮像時点の異なる第１の撮像画像又は第２の撮像画像のいずれか（図２の例では、例えば、時刻ｔの撮像画像）を、生成した差分画像でフィルタ処理（例えば、二値化した差分画像の「１」の対応する撮像画像の画素を残し、差分画像の「０」に対応する撮像画像の画素を除去する）する。特徴点抽出部１２は、フィルタ処理して得られた撮像画像の隣り合う各画素の画素値に基づいて特徴点を抽出する。差分画像によるフィルタ処理を行うことにより、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分を削除することができるとともに、車体部分を含めることができ、精度良く移動体を検出することができる。 When extracting feature points, the difference image generated by the difference image generation unit 11 may not be used. However, when a difference image is used, the following can be performed. In other words, the differential image generation unit 11 selects either the first captured image or the second captured image at different imaging time points when generating the differential image (for example, the captured image at time t in the example of FIG. 2). Then, filtering is performed on the generated difference image (for example, the pixel of the captured image corresponding to “1” of the binarized difference image is left and the pixel of the captured image corresponding to “0” of the difference image is removed). The feature point extraction unit 12 extracts feature points based on the pixel values of adjacent pixels of the captured image obtained by the filtering process. By performing the filtering process using the difference image, it is possible to delete the shadow portion on the road surface caused by the influence of external environment changes such as sunshine change and weather change, and it is possible to include the vehicle body part and accurately move the moving object. Can be detected.

次に、特徴点の分布であるヒストグラムの生成方法について説明する。なお、移動体を検出するために生成するヒストグラムには、横方向画像特徴投影ヒストグラム、縦方向車頭特徴投影ヒストグラム及び横方向四輪特徴投影ヒストグラムがある。また、移動体の種別を判定するために生成するヒストグラムには、前述の横方向四輪特徴投影ヒストグラムに加えて、横方向二輪特徴投影ヒストグラムがある。 Next, a method for generating a histogram that is a distribution of feature points will be described. Histograms generated for detecting a moving body include a horizontal image feature projection histogram, a vertical vehicle head feature projection histogram, and a horizontal four-wheel feature projection histogram. In addition to the horizontal four-wheel feature projection histogram described above, the histogram generated to determine the type of the moving body includes a horizontal two-wheel feature projection histogram.

まず、横方向画像特徴投影ヒストグラムの生成方法について説明する。図３は本実施の形態の移動体検出装置１００による横方向画像特徴投影ヒストグラムの生成方法の一例を示す説明図である。図３中、右側の図は、撮像画像の例を示し、左側の図は、横方向画像特徴投影ヒストグラムの例を示す。 First, a method for generating a horizontal image feature projection histogram will be described. FIG. 3 is an explanatory diagram showing an example of a method for generating a horizontal image feature projection histogram by the moving object detection apparatus 100 according to the present embodiment. In FIG. 3, the right diagram shows an example of a captured image, and the left diagram shows an example of a horizontal image feature projection histogram.

横方向特徴点計数部１３は、特徴点の数を計数する第１計数手段としての機能を有する。図３に示すように、横方向特徴点計数部１３は、撮像画像の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う（隣接する）画素の輝度値の差分の絶対値が所定の輝度閾値Ｙｔｈ１より大きい場合、当該注目画素を特徴点として抽出する。図３の例では、｜Ｙ（ｘ、ｙ）−Ｙ（ｘ＋１、ｙ）｜＞Ｙｔｈ１を満たす場合、画素（ｘ、ｙ）を特徴点として抽出する。 The lateral feature point counting unit 13 has a function as a first counting unit that counts the number of feature points. As shown in FIG. 3, the horizontal feature point counting unit 13 counts the number of extracted feature points for each horizontal line of the captured image. In this case, if the absolute value of the difference between the luminance values of an arbitrary pixel of interest and a pixel adjacent in the lateral direction (adjacent) to the pixel of interest is greater than a predetermined luminance threshold Yth1, the feature point is the feature point. Extract as In the example of FIG. 3, when | Y (x, y) −Y (x + 1, y) |> Yth1 is satisfied, the pixel (x, y) is extracted as a feature point.

横ラインは、横方向（ｘ軸）に沿ったラインであり、例えば、撮像画像の大きさを（縦×横）画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、横方向特徴点計数部１３は、撮像画像上の特徴点の数を横方向（横ライン毎）に計数して合計し、合計した値を度数とした特徴点のヒストグラム（横方向画像特徴投影ヒストグラム）を生成する。すなわち、横方向画像特徴投影ヒストグラムは、撮像画像全体の特徴点を横方向に投影して得られた特徴点の分布を表す。 The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the horizontal direction feature point counting unit 13 counts and sums the number of feature points on the captured image in the horizontal direction (each horizontal line), and a histogram of the feature points using the total value as a frequency (horizontal image feature). Projection histogram). That is, the horizontal image feature projection histogram represents the distribution of feature points obtained by projecting the feature points of the entire captured image in the horizontal direction.

横方向画像特徴投影ヒストグラムを生成する際には、撮像画像全体から車頭部分又は車尾部分を抽出する必要があるため、輝度閾値Ｙｔｈ１は、若干大きい値とすることが望ましい。 When generating the horizontal image feature projection histogram, it is necessary to extract the vehicle head portion or the vehicle tail portion from the entire captured image, and therefore it is desirable that the luminance threshold value Yth1 be a slightly large value.

次に、車頭基準位置の検出方法について説明する。図４は本実施の形態の移動体検出装置１００による車頭基準位置の検出方法の一例を示す説明図である。図４中、左側の図は、生成した横方向画像特徴投影ヒストグラムの例を示し、右側の図は、撮像画像の例を示す。なお、車頭基準位置は、移動体の縦位置（ｙ座標）とすることができるので、車頭基準位置の検出することにより、移動体の縦位置（ｙ座標）を検出することもできる。 Next, a method for detecting the vehicle head reference position will be described. FIG. 4 is an explanatory diagram showing an example of a vehicle head reference position detection method by the moving object detection device 100 of the present embodiment. In FIG. 4, the left diagram shows an example of the generated horizontal image feature projection histogram, and the right diagram shows an example of a captured image. Since the vehicle head reference position can be the vertical position (y coordinate) of the moving object, the vertical position (y coordinate) of the moving object can also be detected by detecting the vehicle head reference position.

移動体座標検出部１８は、移動体を検出する検出手段としての機能を有する。図４に示すように、移動体座標検出部１８は、横方向特徴点計数部１３で計数した特徴点の数（横方向画像特徴投影ヒストグラムの度数）が所定の第１特徴点閾値Ｐｔｈ１以上となる横ラインの位置に基づいて、移動体の縦位置（ｙ座標）を検出する。 The moving body coordinate detection unit 18 has a function as detection means for detecting a moving body. As shown in FIG. 4, the moving body coordinate detection unit 18 has the number of feature points (frequency of the horizontal image feature projection histogram) counted by the lateral feature point counting unit 13 equal to or greater than a predetermined first feature point threshold value Pth1. The vertical position (y coordinate) of the moving body is detected based on the position of the horizontal line.

第１特徴点閾値Ｐｔｈ１は、例えば、計数した特徴点の数の最大値（度数の最大値）の７０％等としてもよく、予め設定しておいてもよい。車頭基準位置（移動体の縦位置）は、例えば、横方向画像特徴投影ヒストグラムの度数が第１特徴点閾値Ｐｔｈ１以上となる横ラインのうち、最も下方の位置とすることができる。例えば、撮像画像の大きさを（縦×横）画素とし、最も下方の横ラインのｙ座標がｙ１であるとすると車頭基準位置、すなわち移動体のｙ座標（縦位置）はｙ＝ｙ１となる。なお、車頭基準位置は、ナンバープレートが装着された位置とすることができる。また、計数した特徴点の数の最大値（度数の最大値）が、所定の定数Ｖｔｈ以下である場合には、移動体の座標検出不可とすることができる。 The first feature point threshold value Pth1 may be, for example, 70% of the maximum value of the number of feature points counted (maximum value of the frequency) or may be set in advance. The vehicle head reference position (vertical position of the moving body) can be, for example, the lowest position in the horizontal line where the frequency of the horizontal image feature projection histogram is equal to or higher than the first feature point threshold Pth1. For example, if the size of the captured image is (vertical × horizontal) pixels and the y coordinate of the lowermost horizontal line is y1, the vehicle head reference position, that is, the y coordinate (vertical position) of the moving body is y = y1. . The vehicle head reference position can be a position where a license plate is mounted. Further, when the maximum value of the counted number of feature points (the maximum value of the frequency) is equal to or less than a predetermined constant Vth, it is possible to disable the coordinate detection of the moving object.

上述のように、横方向画像特徴投影ヒストグラムの度数が第１特徴点閾値Ｐｔｈ１以上となる最も下方の位置を移動体の縦位置（ｙ座標）として出する。一般的に、ナンバープレートの位置は、ヘッドライトに挟まれた位置、あるいはテールランプに挟まれた位置にあり、ナンバープレートの下方には車体が存在しない。そこで、横方向の特徴点の数が第１特徴点閾値Ｐｔｈ１以上となる横ラインのうち、最も下方の横ラインの位置は、車体部分と車体前方（又は車体後方）の路面部分との境界付近であって、ナンバープレートが設置された位置付近と考えることができるので、当該位置を移動体の縦位置（ｙ座標）として検出することにより、移動体の位置を精度よく検出することができる。 As described above, the lowest position where the frequency of the horizontal image feature projection histogram is equal to or higher than the first feature point threshold Pth1 is output as the vertical position (y coordinate) of the moving object. Generally, the position of the license plate is located between the headlight or the tail lamp, and there is no vehicle body below the license plate. Therefore, the position of the lowest horizontal line among the horizontal lines in which the number of feature points in the lateral direction is equal to or greater than the first feature point threshold Pth1 is near the boundary between the vehicle body portion and the road surface portion in front of the vehicle body (or the rear of the vehicle body). And since it can be considered near the position where the license plate is installed, the position of the moving body can be detected with high accuracy by detecting the position as the vertical position (y coordinate) of the moving body.

次に、縦方向車頭特徴投影ヒストグラムの生成方法について説明する。図５は本実施の形態の移動体検出装置１００による縦方向車頭特徴投影ヒストグラムの生成方法の一例を示す説明図である。図５中、上側の図は、撮像画像の例を示し、下側の図は、縦方向車頭特徴投影ヒストグラムの例を示す。 Next, a method for generating a longitudinal vehicle head feature projection histogram will be described. FIG. 5 is an explanatory diagram showing an example of a method of generating a longitudinal vehicle head feature projection histogram by the moving object detection device 100 of the present embodiment. In FIG. 5, the upper diagram shows an example of a captured image, and the lower diagram shows an example of a longitudinal vehicle head feature projection histogram.

車頭高さ領域設定部１４は、高さ領域としての車頭高さ範囲を撮像画像内に設定する高さ領域設定手段としての機能を有する。図５に示すように、車頭高さ領域設定部１４は、検出した車頭基準位置（移動体の縦位置）を基準にして所定の縦寸法を有する車頭高さ範囲（高さ領域）を撮像画像内に設定する。所定の縦寸法は、移動体の高さの範囲を想定して設定することができる。車頭高さ範囲は、例えば、車頭基準位置を基準として上下方向それぞれに所定の画素数だけ広げた領域とすることができる。 The vehicle head height region setting unit 14 has a function as height region setting means for setting a vehicle head height range as a height region in the captured image. As shown in FIG. 5, the vehicle head height region setting unit 14 captures a vehicle head height range (height region) having a predetermined vertical dimension with reference to the detected vehicle head reference position (vertical position of the moving body). Set in. The predetermined vertical dimension can be set assuming a range of the height of the moving body. The vehicle head height range can be, for example, a region widened by a predetermined number of pixels in the vertical direction with respect to the vehicle head reference position.

縦方向特徴点計数部１５は、特徴点の数を計数する第２計数手段としての機能を有する。図５に示すように、縦方向特徴点計数部１５は、撮像画像の車頭高さ範囲（高さ領域）内を縦ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と縦方向に隣り合う（隣接する）画素の輝度値の差分の絶対値が所定の輝度閾値Ｙｔｈ２より大きい場合、当該注目画素を特徴点として抽出する。図５の例では、｜Ｙ（ｘ、ｙ）−Ｙ（ｘ、ｙ＋１）｜＞Ｙｔｈ２を満たす場合、画素（ｘ、ｙ）を特徴点として抽出する。 The vertical feature point counting unit 15 has a function as second counting means for counting the number of feature points. As shown in FIG. 5, the vertical feature point counting unit 15 counts the number of feature points extracted for each vertical line within the vehicle head height range (height region) of the captured image. In this case, if the absolute value of the difference between the luminance values of an arbitrary target pixel and a pixel adjacent in the vertical direction (adjacent) to the target pixel is greater than a predetermined luminance threshold Yth2, the feature point is the feature point. Extract as In the example of FIG. 5, when | Y (x, y) −Y (x, y + 1) |> Yth2 is satisfied, the pixel (x, y) is extracted as a feature point.

縦ラインは、縦方向（ｙ軸）に沿ったラインであり、例えば、撮像画像の大きさを（縦×横）画素とすると、縦ラインは横の画素数だけ存在することになる。すなわち、縦方向特徴点計数部１５は、撮像画像の車頭高さ範囲内の特徴点の数を縦方向（縦ライン毎）に計数して合計し、合計した値を度数とした特徴点のヒストグラム（縦方向車頭特徴投影ヒストグラム）を生成する。すなわち、縦方向車頭特徴投影ヒストグラムは、車頭高さ範囲内の特徴点を縦方向に投影して得られた特徴点の分布を表す。 The vertical line is a line along the vertical direction (y-axis). For example, when the size of the captured image is (vertical × horizontal) pixels, there are as many vertical lines as there are horizontal pixels. That is, the vertical direction feature point counting unit 15 counts and adds the number of feature points in the vehicle head height range of the captured image in the vertical direction (for each vertical line), and a histogram of the feature points with the total value as the frequency. (Vertical head characteristic projection histogram) is generated. That is, the longitudinal vehicle head feature projection histogram represents a distribution of feature points obtained by projecting feature points within the vehicle head height range in the vertical direction.

縦方向車頭特徴投影ヒストグラムを生成する際には、撮像画像全体のうち、車頭付近が既に限定されているため、ヘッドライト、フロントグリル、ナンバープレート等を全て抽出することができればよいので、輝度閾値Ｙｔｈ２は、輝度閾値Ｙｔｈ１より小さくすることができる。 When generating the longitudinal vehicle head feature projection histogram, since the vicinity of the vehicle head is already limited in the entire captured image, it is only necessary to extract all of the headlights, the front grille, the license plate, etc. Yth2 can be made smaller than the luminance threshold Yth1.

次に、移動体の横位置（ｘ座標）の検出方法について説明する。図６は本実施の形態の移動体検出装置１００による移動体の横位置の検出方法の一例を示す説明図である。図６中、下側の図は、生成した縦方向車頭特徴投影ヒストグラムの例を示し、上側の図は、撮像画像の例を示す。 Next, a method for detecting the lateral position (x coordinate) of the moving body will be described. FIG. 6 is an explanatory diagram showing an example of a method for detecting the lateral position of the moving body by the moving body detection apparatus 100 according to the present embodiment. In FIG. 6, the lower diagram shows an example of the generated longitudinal vehicle head feature projection histogram, and the upper diagram shows an example of a captured image.

移動体座標検出部１８は、計数した特徴点（縦方向車頭特徴投影ヒストグラムの度数）が存在する縦ラインの位置に基づいて、移動体の横位置（ｘ座標）を検出する。移動体の横位置（ｘ座標）は、縦方向車頭特徴投影ヒストグラムに基づいて、車頭幅を判定し、判定した車頭幅の所定位置を移動体の横位置（ｘ座標）とすることができる。例えば、縦方向車頭特徴投影ヒストグラムの分布が連続する部分を車頭幅と判定する。そして、車頭幅内のヒストグラムの度数の合計値を略等分する位置（横方向の位置）を移動体の横位置（ｘ座標）とすることができる。 The moving object coordinate detection unit 18 detects the horizontal position (x coordinate) of the moving object based on the position of the vertical line where the counted feature point (the frequency of the longitudinal vehicle head feature projection histogram) exists. The lateral position (x coordinate) of the moving body is determined based on the longitudinal vehicle head characteristic projection histogram, and the predetermined position of the determined vehicle head width can be set as the lateral position (x coordinate) of the moving body. For example, a portion where the distribution of the longitudinal vehicle head feature projection histogram continues is determined as the vehicle head width. The position (lateral position) at which the total value of the frequencies in the histogram within the vehicle head width is approximately equally divided can be set as the lateral position (x coordinate) of the moving body.

上述のように、隣り合う（隣接する）画素同士の画素値（輝度値）の差分が所定の閾値以上となる画素を特徴点として抽出するので、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分が特徴点として抽出されず、路面上の影に影響されることなく、移動体（例えば、車両）の文字、ヘッドライト、フロントグリル、テールランプ等の輝度変化を定量化することができる。そして、移動体の基準位置としてのナンバープレートは、ヘッドライトやテールランプ等で挟まれているので、抽出した特徴点の縦横それぞれの方向に沿った分布を用いることにより、移動体（例えば、ナンバープレート）の位置を精度よく検出することができる。 As described above, pixels whose pixel value (brightness value) difference between adjacent (adjacent) pixels is equal to or greater than a predetermined threshold are extracted as feature points, so the influence of changes in the external environment such as sunshine changes and weather changes The portion of the shadow on the road caused by is not extracted as a feature point, and the luminance change of the characters, headlights, front grille, tail lamp, etc. of the moving body (eg, vehicle) is quantified without being affected by the shadow on the road Can be Since the license plate as the reference position of the moving body is sandwiched between headlights, tail lamps, and the like, the moving body (for example, the license plate, for example) is obtained by using the distribution along the vertical and horizontal directions of the extracted feature points. ) Position can be detected with high accuracy.

また、横位置候補範囲特定部１６は、横位置候補範囲としての車頭幅又は車尾幅を特定する範囲特定手段としての機能を有する。横位置候補範囲は、移動体の横位置を含む移動体の幅（車頭幅又は車尾幅）の範囲である。横位置候補範囲特定部１６は、縦方向特徴点計数部１５で計数した特徴点が存在する縦ラインのうち、連続して隣接する複数の縦ラインで構成される車頭幅又は車尾幅を特定する。すなわち、縦方向に（縦ライン毎に）計数した特徴点のヒストグラム（縦方向車頭特徴投影ヒストグラム）の分布が連続する部分（連続して隣接する複数の縦ライン）を車頭幅又は車尾幅として特定する。 Further, the lateral position candidate range specifying unit 16 has a function as range specifying means for specifying the vehicle head width or the vehicle tail width as the horizontal position candidate range. The lateral position candidate range is a range of the width (vehicle head width or vehicle tail width) of the moving object including the horizontal position of the moving object. The horizontal position candidate range specifying unit 16 specifies a vehicle head width or a vehicle tail width composed of a plurality of adjacent vertical lines among the vertical lines where the feature points counted by the vertical feature point counting unit 15 exist. To do. That is, a portion (a plurality of adjacent vertical lines) in which the distribution of feature point histograms (vertical vehicle head feature projection histogram) counted in the vertical direction (for each vertical line) is continuous is defined as the vehicle head width or the vehicle tail width. Identify.

そして、移動体座標検出部１８は、特定した車頭幅又は車尾幅に存在する特徴点を代表する縦ラインの位置に基づいて、移動体の横位置を検出する。特徴点を代表する縦ラインの位置は、例えば、特徴点の総数を略等分する縦ラインの位置とすることができる。例えば、縦方向車頭特徴投影ヒストグラムの分布が連続する部分に存在する特徴点の総数（合計値）を略等分する縦ラインの位置を移動体の横位置（ｘ座標）として検出する。なお、縦方向車頭特徴投影ヒストグラムの分布が仮に略均一である（例えば、特徴点の度数が略等しい）場合には、分布が連続する部分の略中央が移動体の横位置となる。これにより、移動体の位置を精度良く検出することができる。 Then, the moving object coordinate detection unit 18 detects the horizontal position of the moving object based on the position of the vertical line representing the feature point existing in the specified vehicle head width or vehicle width. The position of the vertical line representing the feature point can be, for example, the position of the vertical line that substantially divides the total number of feature points. For example, the position of the vertical line that substantially divides the total number (total value) of feature points existing in the portion where the distribution of the longitudinal vehicle head feature projection histogram continues is detected as the horizontal position (x coordinate) of the moving object. If the distribution of the longitudinal vehicle head feature projection histogram is substantially uniform (for example, the frequency of feature points is substantially equal), the approximate center of the portion where the distribution continues is the horizontal position of the moving body. Thereby, the position of the moving body can be detected with high accuracy.

また、縦方向車頭特徴投影ヒストグラムの分布が連続する部分（連続して隣接する複数の縦ライン）が離隔して複数存在する場合、最も幅の長い部分を車頭幅又は車尾幅として特定することもできる。これにより、最も確からしい車頭幅又は車尾幅を特定することができ、移動体の位置を精度良く検出することができる。 In addition, when there are a plurality of parts with continuous vertical vehicle head feature projection histogram distribution (a plurality of adjacent vertical lines) separated from each other, the longest part is specified as the car head width or the car tail width. You can also. As a result, the most probable vehicle head width or vehicle tail width can be specified, and the position of the moving body can be detected with high accuracy.

上述の例では、縦方向車頭特徴投影ヒストグラムの分布が連続する部分、あるいは連続する部分のうち最も幅（横方向の長さ）の長い部分を車頭幅として判定したが、車頭幅の判定方法は、これに限定されるものではない。以下、車頭幅の判定方法の他の例について説明する。 In the above-described example, the vertical vehicle head feature projection histogram distribution is determined as the vehicle head width, or the portion having the longest width (horizontal length) is determined as the vehicle head width. However, the present invention is not limited to this. Hereinafter, another example of the method for determining the vehicle head width will be described.

図７は本実施の形態の移動体検出装置１００による車頭幅又は車尾幅の特定方法の一例を示す説明図である。図７は、縦方向車頭特徴投影ヒストグラムを模式的に表したものであり、特徴点の度数の有無のみを示している。図７Ａにおいて、符号Ｗ１、Ｗ２、Ｗ３、Ｗ４が、縦方向車頭特徴投影ヒストグラムの分布が連続する部分を模式的に表したものである。 FIG. 7 is an explanatory diagram showing an example of a method for specifying the vehicle head width or the vehicle tail width by the moving body detection device 100 of the present embodiment. FIG. 7 schematically shows a longitudinal vehicle head feature projection histogram, and shows only the presence / absence of the frequency of feature points. In FIG. 7A, symbols W1, W2, W3, and W4 schematically represent portions where the distribution of the longitudinal vehicle head feature projection histogram continues.

図７Ａに示すように、横位置候補範囲特定部１６は、縦方向車頭特徴投影ヒストグラムの分布が連続する部分（横位置候補範囲）が離隔して複数存在する場合、連続する部分の離隔寸法が所定の離隔閾値以下である場合、当該２つの連続する部分を１つの連続する部分（横位置候補範囲）として特定する。例えば、図７Ａの例において、離隔閾値を１とすると、２つの連続する部分Ｗ３とＷ４との間の離隔寸法が「１」であるので、図７Ｂに示すように、当該２つの連続する部分Ｗ３、Ｗ４を合体して、１つの連続する部分Ｗ５とする。また、隣り合う２つの連続する部分Ｗ１とＷ２との間の離隔寸法は「５」であり、また、隣り合う２つの連続する部分Ｗ２とＷ３との間の離隔寸法は「３」であるので、合体しない。 As shown in FIG. 7A, the horizontal position candidate range specifying unit 16 determines that the separation size of the continuous portions is different when there are a plurality of portions (horizontal position candidate ranges) in which the distribution of the longitudinal vehicle head feature projection histogram is separated. When the distance is equal to or less than the predetermined separation threshold, the two consecutive portions are specified as one continuous portion (lateral position candidate range). For example, in the example of FIG. 7A, if the separation threshold is 1, the separation dimension between the two consecutive portions W3 and W4 is “1”, so that the two consecutive portions are shown in FIG. 7B. W3 and W4 are combined into one continuous portion W5. Further, the distance between the two adjacent portions W1 and W2 is “5”, and the distance between the two adjacent portions W2 and W3 is “3”. Do n’t merge.

すなわち、特徴点のヒストグラム（縦方向車頭特徴投影ヒストグラム）の分布が連続する部分（連続して隣接する複数の縦ライン）が離隔して複数存在する場合、分布が連続する部分同士の離隔寸法が所定の離隔閾値以下である場合、分布が連続する部分同士を１つの連続する部分（車頭幅又は車尾幅）として特定する。これにより、車体に含まれる部分と、車体以外の部分とを区分することができ、移動体の位置を精度良く検出することができる。 That is, when there are a plurality of portions (continuous adjacent vertical lines) in which the distribution of the histogram of feature points (vertical vehicle head feature projection histogram) is separated, there is a separation dimension between the portions in which the distribution is continuous. When the distance is equal to or less than the predetermined separation threshold, the portions where the distributions are continuous are specified as one continuous portion (vehicle head width or vehicle tail width). Thereby, the part contained in a vehicle body and the part other than a vehicle body can be distinguished, and the position of a moving body can be detected with a sufficient precision.

図８は本実施の形態の移動体検出装置１００による車頭幅又は車尾幅の特定方法の他の例を示す説明図である。横位置候補範囲特定部１６は、離隔閾値を設定する離隔閾値設定手段としての機能を有する。横位置候補範囲特定部１６は、隣り合う２つの連続する部分のうち、長さ（幅）の長い方の長さに応じて離隔閾値を設定する。例えば、図８に示すように、縦方向車頭特徴投影ヒストグラムの分布が連続する部分の長さ（縦ラインの数）がＬ〜Ｌ１である場合は、離隔閾値を１とする。また、縦方向車頭特徴投影ヒストグラムの分布が連続する部分の長さ（縦ラインの数）がＬ１＋１〜Ｌ２である場合は、離隔閾値を２とする。また、縦方向車頭特徴投影ヒストグラムの分布が連続する部分の長さ（縦ラインの数）がＬ２＋１〜Ｌ３である場合は、離隔閾値を３とする。 FIG. 8 is an explanatory diagram showing another example of the method for specifying the vehicle head width or the vehicle tail width by the moving body detection device 100 of the present embodiment. The lateral position candidate range specifying unit 16 has a function as a separation threshold setting means for setting a separation threshold. The lateral position candidate range specifying unit 16 sets the separation threshold according to the longer length (width) of two adjacent portions adjacent to each other. For example, as shown in FIG. 8, when the length (number of vertical lines) of the portion in which the distribution of the longitudinal vehicle head feature projection histogram is continuous is L to L1, the separation threshold is set to 1. Further, when the length (number of vertical lines) of the portion in which the distribution of the longitudinal vehicle head feature projection histogram continues is L1 + 1 to L2, the separation threshold is set to 2. Further, when the length (number of vertical lines) of the portion in which the distribution of the longitudinal vehicle head feature projection histogram continues is L2 + 1 to L3, the separation threshold is set to 3.

すなわち、縦方向車頭特徴投影ヒストグラムの分布が連続する部分（連続して隣接する複数の縦ライン）が隣り合って存在する場合、幅（長さ）が長い方の連続する部分の幅（長さ）が長いほど離隔閾値を大きくする。これにより、縦方向車頭特徴投影ヒストグラムの分布が連続する部分の長さに応じて、１つの部分に纏めることができ、最も確からしい車頭幅又は車尾幅を特定することができ、移動体の位置を精度良く検出することができる。 That is, when the distribution of the longitudinal vehicle head feature projection histogram is continuous (a plurality of adjacent vertical lines) are adjacent to each other, the width (length) of the continuous portion having the longer width (length) ) Is longer, the separation threshold is increased. As a result, according to the length of the portion where the distribution of the longitudinal vehicle head feature projection histogram continues, it can be combined into one portion, the most probable vehicle head width or vehicle tail width can be specified, The position can be detected with high accuracy.

次に、横方向四輪特徴投影ヒストグラムの生成方法について説明する。図９は本実施の形態の移動体検出装置１００による横方向四輪特徴投影ヒストグラムの生成方法の一例を示す説明図である。図９中、右側の図は、撮像画像の例を示し、左側の図は、横方向四輪特徴投影ヒストグラムの例を示す。 Next, a method for generating a lateral four-wheel feature projection histogram will be described. FIG. 9 is an explanatory diagram showing an example of a method for generating a lateral four-wheel feature projection histogram by the moving object detection apparatus 100 of the present embodiment. In FIG. 9, the right diagram shows an example of a captured image, and the left diagram shows an example of a lateral four-wheel feature projection histogram.

車幅領域設定部１７は、幅領域としての四輪車幅範囲を撮像画像内に設定する幅領域設定手段としての機能を有する。車幅領域設定部１７は、図６の例のようにして検出した移動体の横位置（ｘ座標）を基準にして所定の横寸法を有する幅領域（四輪車幅範囲）を撮像画像内に設定する。所定の横寸法は、移動体の幅（四輪車の車幅）の範囲を想定して設定することができる。四輪車幅範囲（幅領域）は、例えば、移動体の横位置（ｘ座標）を基準として左右方向それぞれに所定の画素数だけ広げた領域とすることができる。 The vehicle width region setting unit 17 has a function as a width region setting means for setting a four-wheeled vehicle width range as a width region in a captured image. The vehicle width region setting unit 17 sets a width region (four-wheel vehicle width range) having a predetermined lateral dimension in the captured image based on the lateral position (x coordinate) of the moving body detected as in the example of FIG. Set to. The predetermined lateral dimension can be set assuming a range of the width of the moving body (vehicle width of a four-wheeled vehicle). The four-wheeled vehicle width range (width region) can be, for example, a region widened by a predetermined number of pixels in the left-right direction with reference to the lateral position (x coordinate) of the moving body.

横方向特徴点計数部１３は、車幅領域設定部１７で設定した四輪車幅範囲（幅領域）の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う（隣接する）画素の輝度値の差分の絶対値が所定の輝度閾値Ｙｔｈ３より大きい場合、当該注目画素を特徴点として抽出する。図９の例では、｜Ｙ（ｘ、ｙ）−Ｙ（ｘ＋１、ｙ）｜＞Ｙｔｈ３を満たす場合、画素（ｘ、ｙ）を特徴点として抽出する。 The lateral feature point counting unit 13 counts the number of extracted feature points for each horizontal line in the four-wheeled vehicle width range (width region) set by the vehicle width region setting unit 17. In this case, if the absolute value of the difference between the luminance values of an arbitrary target pixel and a pixel that is adjacent to (adjacent to) the target pixel in the horizontal direction is greater than a predetermined luminance threshold Yth3, the feature point is the feature point. Extract as In the example of FIG. 9, when | Y (x, y) −Y (x + 1, y) |> Yth3 is satisfied, the pixel (x, y) is extracted as a feature point.

横ラインは、横方向（ｘ軸）に沿ったラインであり、例えば、撮像画像の大きさを（縦×横）画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、横方向特徴点計数部１３は、撮像画像の四輪車幅範囲内の特徴点の数を横方向（横ライン毎）に計数して合計し、合計した値を度数とした特徴点のヒストグラム（横方向四輪特徴投影ヒストグラム）を生成する。 The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the horizontal direction feature point counting unit 13 counts and adds the number of feature points within the four-wheeled vehicle width range of the captured image in the horizontal direction (for each horizontal line), and adds the total value as the frequency. A histogram (horizontal four-wheel feature projection histogram) is generated.

横方向四輪特徴投影ヒストグラムを生成する際には、撮像画像全体のうち、車頭付近が既に限定されているため、輝度閾値Ｙｔｈ３は、輝度閾値Ｙｔｈ１より若干小さくすることができる。 When generating the lateral four-wheel feature projection histogram, the luminance threshold Yth3 can be made slightly smaller than the luminance threshold Yth1 because the vicinity of the vehicle head is already limited in the entire captured image.

次に、横方向四輪特徴投影ヒストグラムを用いた、移動体の横位置（ｘ座標）の検出方法について説明する。図１０は本実施の形態の移動体検出装置１００による移動体の横位置の検出方法の一例を示す説明図である。図１０中、左側の図は、生成した横方向四輪特徴投影ヒストグラムの例を示し、右側の図は、撮像画像の例を示す。 Next, a method for detecting the lateral position (x coordinate) of the moving body using the lateral four-wheel feature projection histogram will be described. FIG. 10 is an explanatory diagram illustrating an example of a method for detecting a lateral position of a moving body by the moving body detection apparatus 100 according to the present embodiment. In FIG. 10, the left diagram shows an example of the generated lateral four-wheel feature projection histogram, and the right diagram shows an example of a captured image.

移動体座標検出部１８は、図４に例示した横方向画像特徴投影ヒストグラムに基づいて検出した縦位置（ｙ座標）に代えて、横方向四輪特徴投影ヒストグラムの特徴点の度数が第２特徴点閾値Ｐｔｈ２以上となる横ラインの位置に基づいて、移動体の縦位置（ｙ座標）を検出することができる。 The moving object coordinate detection unit 18 uses the frequency of the feature points of the horizontal four-wheel feature projection histogram as the second feature instead of the vertical position (y coordinate) detected based on the horizontal image feature projection histogram illustrated in FIG. The vertical position (y coordinate) of the moving body can be detected based on the position of the horizontal line that is greater than or equal to the point threshold value Pth2.

第２特徴点閾値Ｐｔｈ２は、例えば、計数した特徴点の数の最大値（度数の最大値）の７０％等としてもよく、予め設定しておいてもよい。移動体の縦位置（ｙ座標）は、例えば、横方向四輪特徴投影ヒストグラムの度数が第２特徴点閾値以上Ｐｔｈ２となる横ラインのうち、最も下方の位置とすることができる。例えば、撮像画像の幅領域（四輪車幅範囲）の大きさを（縦×横）画素とし、最も下方の横ラインのｙ座標がｙ２であるとすると移動体のｙ座標（縦位置）はｙ＝ｙ２となる。また、計数した特徴点の数の最大値（度数の最大値）が、所定の定数Ｖｔｈ以下である場合には、移動体の座標検出不可とすることができる。なお、特徴点を横方向に計数する範囲が、撮像画像全体ではなく四輪車幅範囲に限定されているので、第２特徴点Ｐｔｈ２は第１特徴点Ｐｔｈ１よりも小さい値とすることができる。 The second feature point threshold Pth2 may be, for example, 70% of the maximum number of counted feature points (maximum value of frequency) or may be set in advance. The vertical position (y-coordinate) of the moving body can be, for example, the lowest position in the horizontal line where the frequency of the horizontal four-wheel feature projection histogram is equal to or greater than the second feature point threshold value Pth2. For example, if the size of the width area (four-wheeled vehicle width range) of the captured image is (vertical × horizontal) pixels and the y coordinate of the lowermost horizontal line is y2, the y coordinate (vertical position) of the moving object is y = y2. Further, when the maximum value of the counted number of feature points (the maximum value of the frequency) is equal to or less than a predetermined constant Vth, it is possible to disable the coordinate detection of the moving object. In addition, since the range in which the feature points are counted in the horizontal direction is limited to the four-wheeled vehicle width range, not the entire captured image, the second feature point Pth2 can be set to a value smaller than the first feature point Pth1. .

特徴点を横方向に計数する範囲を、移動体の横位置（ｘ座標）を基準にした四輪車幅範囲（幅領域）に限定することにより、移動体（車両）の横、斜め前、あるいは斜め後ろ付近を走行する別の車両が存在する場合、当該別の車両により抽出される特徴点を除外することができるので、特徴点の分布が別の車両による影響を受けることを防止でき、さらに精度良く移動体の位置を検出することができる。 By limiting the range for counting feature points in the horizontal direction to the four-wheeled vehicle width range (width region) based on the horizontal position (x coordinate) of the moving body, Alternatively, when there is another vehicle that runs in the vicinity of the diagonal rear, the feature points extracted by the other vehicle can be excluded, so that the distribution of the feature points can be prevented from being influenced by another vehicle, Furthermore, the position of the moving body can be detected with high accuracy.

上述のように、計数した特徴点の数が第２特徴点閾値Ｐｔｈ２以上となる横ラインのうち、最も下方の横ラインの位置に基づいて、移動体の縦位置（ｙ座標）を検出する。一般的に、ナンバープレートの位置は、ヘッドライトに挟まれた位置、あるいはテールランプに挟まれた位置にあり、ナンバープレートの下方には車体が存在しない。そこで、横方向の特徴点の数が第２特徴点閾値Ｐｔｈ２以上となる横ラインのうち、最も下方の横ラインの位置は、車体部分と車体前方（又は車体後方）の路面部分との境界付近であって、ナンバープレートが設置された位置付近と考えることができるので、当該位置を移動体の縦位置（ｙ座標）として検出することにより、移動体の位置を精度よく検出することができる。 As described above, the vertical position (y coordinate) of the moving body is detected based on the position of the lowest horizontal line among the horizontal lines in which the counted number of feature points is equal to or greater than the second feature point threshold Pth2. Generally, the position of the license plate is located between the headlight or the tail lamp, and there is no vehicle body below the license plate. Therefore, the position of the lowest horizontal line among the horizontal lines in which the number of feature points in the horizontal direction is equal to or greater than the second feature point threshold Pth2 is near the boundary between the vehicle body portion and the road surface portion in front of the vehicle body (or the rear of the vehicle body). And since it can be considered near the position where the license plate is installed, the position of the moving body can be detected with high accuracy by detecting the position as the vertical position (y coordinate) of the moving body.

前述の横方向画像特徴投影ヒストグラム、縦方向車頭特徴投影ヒストグラム及び横方向四輪特徴投影ヒストグラムを生成する際の隣接する画素同士の輝度差が特徴点閾値以上となる画素を特徴点として使用している。これは、文字、ヘッドライト、フロントグリル等における輝度変化を定量化することを目的としている。しかし、影と日向との境界等ではグラデーションとなるような連続した輝度変化が現れる。このようなグラデーション部分では特徴点が多くなるため、移動体の検出に誤差が生じる可能性がある。そのため、抽出した特徴点同士が隣接するか否かを判定し、隣接して連続する特徴点の数が所定の閾値Ｃｍａｘを超える場合には、当該連続して存在する特徴点を計数しないようにして、グラデーション部分を除外することもできる。 Using the pixels whose luminance difference between adjacent pixels is equal to or greater than the feature point threshold when generating the aforementioned horizontal image feature projection histogram, vertical vehicle head feature projection histogram, and lateral four-wheel feature projection histogram, as feature points Yes. This is intended to quantify luminance changes in characters, headlights, front grills, and the like. However, a continuous luminance change appears as a gradation at the boundary between the shadow and the sun. Since such a gradation portion has many feature points, an error may occur in detection of a moving object. Therefore, it is determined whether or not the extracted feature points are adjacent to each other, and if the number of adjacent consecutive feature points exceeds a predetermined threshold Cmax, the consecutive feature points should not be counted. You can also exclude the gradation part.

次に移動体座標の検出範囲について説明する。図１１は移動体座標オフセット範囲の一例を示す説明図である。本実施の形態の移動体検出装置１００が検出する移動体の位置（座標）は、例えば、ナンバープレートの位置とすることができる。ナンバープレート検出（文字検出、車番検出など）を行う場合には、検出したナンバープレートの位置（座標）を撮像装置により取得した元画像における座標に変換した上で、元画像上のナンバープレートの位置を基準として、所要の特徴量を算出する。しかし、元画像上のナンバープレートの位置が、元画像の上下左右端の近傍に存在する場合には、特徴量の一部を算出することができず、ナンバープレート検出結果が誤る場合、あるいはナンバープレート検出を行うことができない場合がある。 Next, the detection range of the moving body coordinates will be described. FIG. 11 is an explanatory diagram showing an example of the moving object coordinate offset range. The position (coordinates) of the moving body detected by the moving body detection apparatus 100 of the present embodiment can be set to the position of the license plate, for example. When performing license plate detection (character detection, car number detection, etc.), the position (coordinates) of the detected license plate is converted to the coordinates in the original image acquired by the imaging device, and then the license plate of the original image is detected. A required feature amount is calculated based on the position. However, if the position of the license plate on the original image is in the vicinity of the top, bottom, left, and right edges of the original image, it is not possible to calculate a part of the feature amount and the license plate detection result is incorrect, Plate detection may not be possible.

そこで、図１１に示すように、撮像画像の上下左右端から所定の範囲（Ｓ１、Ｓ２、Ｓ３、Ｓ４）を移動体座標オフセット範囲（Ｓ１、Ｓ２、Ｓ３、Ｓ４）として設定しておき、検出した移動体の座標が移動体座標オフセット範囲内にある場合には、座標検出失敗（例えば、移動体存在しないとの判定結果）として移動体の検出を行わない。これにより、移動体の検出結果（移動体の座標）に基づいて、ナンバープレート検出を行う際の誤検出を防止することができる。なお、車頭部分を撮像する場合には、車頭部分が完全に視野に入るように、移動体座標オフセット範囲を設定する。また、車尾部分を撮像する場合には、車尾部分が完全に視野に入るように、移動体座標オフセット範囲を設定する。 Therefore, as shown in FIG. 11, a predetermined range (S1, S2, S3, S4) from the top, bottom, left, and right ends of the captured image is set as the moving body coordinate offset range (S1, S2, S3, S4) and detected. When the coordinates of the moving body are within the moving body coordinate offset range, the detection of the moving body is not performed as a coordinate detection failure (for example, a determination result that the moving body does not exist). Thereby, it is possible to prevent erroneous detection when performing license plate detection based on the detection result of the moving body (coordinates of the moving body). Note that when the vehicle head portion is imaged, the moving body coordinate offset range is set so that the vehicle head portion completely enters the field of view. Further, when imaging the vehicle rear portion, the moving object coordinate offset range is set so that the vehicle rear portion is completely within the field of view.

次に、本実施の形態の移動体検出装置１００の動作について説明する。図１２及び図１３は本実施の形態の移動体検出装置１００による移動体検出の処理手順の一例を示すフローチャートである。以下、処理の主体を便宜上制御部１０として説明する。制御部１０は、撮像画像を取得し（Ｓ１１）、取得した撮像画像に基づいて、差分画像を生成し（Ｓ１２）、撮像画像を差分画像でフィルタ処理する（Ｓ１３）。なお、差分画像の生成及び差分画像によるフィルタ処理を省略してもよい。 Next, the operation of the moving object detection apparatus 100 of the present embodiment will be described. 12 and 13 are flowcharts illustrating an example of a moving object detection processing procedure performed by the moving object detection apparatus 100 according to the present embodiment. Hereinafter, the main subject of the processing will be described as the control unit 10 for convenience. The control unit 10 acquires a captured image (S11), generates a differential image based on the acquired captured image (S12), and filters the captured image with the differential image (S13). The generation of the difference image and the filtering process using the difference image may be omitted.

制御部１０は、横ライン毎に特徴点を抽出し（Ｓ１４）、抽出した特徴点を横方向に計数することにより、横方向画像特徴投影ヒストグラムを生成する（Ｓ１５）。 The control unit 10 extracts feature points for each horizontal line (S14), and generates a horizontal image feature projection histogram by counting the extracted feature points in the horizontal direction (S15).

制御部１０は、横方向画像特徴投影ヒストグラムの特徴点の分布に基づいて、車頭基準位置（横方向画像特徴投影ヒストグラムの度数が閾値を満たす最も低い位置）を特定し（Ｓ１６）、特定した車頭基準位置から上下方向に所定の範囲だけ広げた車頭高さ範囲を設定する（Ｓ１７）。 The control unit 10 specifies the vehicle head reference position (the lowest position where the frequency of the horizontal image feature projection histogram satisfies the threshold) based on the distribution of the feature points of the horizontal image feature projection histogram (S16), and the specified vehicle head A vehicle head height range widened by a predetermined range in the vertical direction from the reference position is set (S17).

制御部１０は、設定した車頭高さ範囲内において、縦ライン毎に特徴点を抽出し（Ｓ１８）、抽出した特徴点を縦方向に計数することにより、縦方向車頭特徴投影ヒストグラムを生成する（Ｓ１９）。 The control unit 10 extracts feature points for each vertical line within the set vehicle head height range (S18), and counts the extracted feature points in the vertical direction to generate a vertical vehicle head feature projection histogram ( S19).

制御部１０は、縦方向車頭特徴投影ヒストグラムの特徴点の分布において、分布が連続する最も長い部分を車頭幅として特定する（Ｓ２０）。制御部１０は、特定した車頭幅において、縦方向車頭特徴投影ヒストグラムの分布を略等分する位置を移動体のｘ座標として検出する（Ｓ２１）。 The control unit 10 identifies the longest continuous portion of the distribution of feature points in the longitudinal vehicle head feature projection histogram as the vehicle head width (S20). The control unit 10 detects, as the x-coordinate of the moving object, a position at which the distribution of the longitudinal vehicle head feature projection histogram is approximately equally divided in the specified vehicle head width (S21).

制御部１０は、検出したｘ座標を基準として左右方向にそれぞれ所定の範囲だけ広げた四輪車幅範囲を設定し（Ｓ２２）、設定した四輪車幅範囲内において、ステップＳ１４で抽出した特徴点を横方向に計数することにより、横方向四輪特徴投影ヒストグラムを生成する（Ｓ２３）。 The control unit 10 sets a four-wheeled vehicle width range that is widened by a predetermined range in the left-right direction with reference to the detected x coordinate (S22), and the feature extracted in step S14 within the set four-wheeled vehicle width range. By counting the points in the horizontal direction, a horizontal four-wheel feature projection histogram is generated (S23).

制御部１０は、横方向四輪特徴投影ヒストグラムの特徴点の分布に基づいて、移動体のｙ座標（横方向四輪特徴投影ヒストグラムの度数が閾値を満たす最も低い位置）を検出し（Ｓ２４）、処理を終了する。 The control unit 10 detects the y coordinate of the moving object (the lowest position at which the frequency of the horizontal four-wheel feature projection histogram satisfies the threshold) based on the distribution of the feature points of the horizontal four-wheel feature projection histogram (S24). The process is terminated.

移動体検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１２及び図１３に示すような、各処理手順を定めたコンピュータプログラムをＤＶＤなどの記録媒体に記録しておく。そして、当該記録媒体に記録したコンピュータプログラムを光ディスク装置等で読み込ませることにより、コンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で移動体検出装置を実現することができる。 The moving body detection apparatus 100 can also be realized using a general-purpose computer including a CPU, a RAM, and the like. That is, a computer program that defines each processing procedure as shown in FIGS. 12 and 13 is recorded on a recording medium such as a DVD. Then, the computer program recorded on the recording medium is read by an optical disk device or the like, and loaded into a RAM provided in the computer, and the computer program is executed by the CPU, thereby realizing a moving body detection device on the computer. be able to.

本実施の形態の移動体検出装置１００は、移動体の車両らしさを求めるため、「車種情報生成」、「車線情報生成」、「位置情報生成」及び「追跡情報生成」の各処理を行う。まず、車種情報生成、すなわち移動体の種別判定について説明する。 The mobile body detection device 100 according to the present embodiment performs each process of “vehicle type information generation”, “lane information generation”, “position information generation”, and “tracking information generation” in order to determine the vehicle likeness of the mobile body. First, vehicle type information generation, that is, type determination of a moving object will be described.

移動体検出装置１００は、位置（座標）が検出された移動体に対して、移動体の種別（例えば、四輪車両、二輪車両、不明)に分類する。すなわち、移動体検出装置１００は、検出した移動体の種別を判定する移動体判定装置としても機能する。また、移動体の種別を判定する際に用いる特徴点は、移動体の検出処理において抽出した特徴点をそのまま用いることができる。 The mobile body detection device 100 classifies the mobile body from which the position (coordinates) is detected into a mobile body type (for example, four-wheel vehicle, two-wheel vehicle, unknown). That is, the mobile body detection device 100 also functions as a mobile body determination device that determines the type of the detected mobile body. In addition, as the feature points used when determining the type of the moving object, the feature points extracted in the moving object detection process can be used as they are.

まず、横方向二輪特徴投影ヒストグラムの生成方法について説明する。図１４は本実施の形態の移動体検出装置１００による横方向二輪特徴投影ヒストグラムの生成方法の一例を示す説明図である。図１４中、右側の図は、撮像画像の例を示し、左側の図は、横方向二輪特徴投影ヒストグラムの例を示す。 First, a method for generating a horizontal two-wheel feature projection histogram will be described. FIG. 14 is an explanatory diagram showing an example of a method for generating a lateral two-wheel feature projection histogram by the moving object detection apparatus 100 of the present embodiment. In FIG. 14, the right diagram shows an example of a captured image, and the left diagram shows an example of a horizontal two-wheel feature projection histogram.

第１種別領域設定部２１は、撮像画像上で、幅（横方向の長さ）が比較的長い領域である第１部分領域としての四輪車幅範囲を設定する。四輪車幅範囲は、図９に例示したものと同じである。なお、移動体の検出処理において、すでに車幅領域設定部１７により四輪車幅範囲は設定されているので、設定された四輪車幅範囲をそのまま用いることができる。 The first type region setting unit 21 sets a four-wheeled vehicle width range as a first partial region, which is a region having a relatively long width (lateral length) on the captured image. The width range of the four-wheeled vehicle is the same as that illustrated in FIG. In the moving object detection process, since the four-wheeled vehicle width range is already set by the vehicle width region setting unit 17, the set four-wheeled vehicle width range can be used as it is.

図１４に示すように、第２種別領域設定部２２は、撮像画像上で、幅（横方向の長さ）が比較的短い領域である第２部分領域としての二輪車幅範囲を設定する。二輪車幅範囲は、例えば、検出した移動体の横位置（ｘ座標）を基準にして所定の横寸法を有する範囲を撮像画像内に設定する。所定の横寸法は、移動体の幅（二輪車の車幅）の範囲を想定して設定することができる。二輪車幅範囲は、例えば、移動体の横位置（ｘ座標）を基準として左右方向それぞれに所定の画素数だけ広げた領域とすることができる。また、以下、第１部分領域を四輪車幅範囲とも称し、第２部分領域を二輪車幅範囲とも称する。 As shown in FIG. 14, the second type region setting unit 22 sets a two-wheeled vehicle width range as a second partial region that is a region having a relatively short width (length in the horizontal direction) on the captured image. As the two-wheeled vehicle width range, for example, a range having a predetermined lateral dimension is set in the captured image with reference to the detected lateral position (x coordinate) of the moving body. The predetermined lateral dimension can be set assuming a range of the width of the moving body (vehicle width of the two-wheeled vehicle). The two-wheeled vehicle width range can be, for example, a region widened by a predetermined number of pixels in the left-right direction with reference to the lateral position (x coordinate) of the moving body. Hereinafter, the first partial region is also referred to as a four-wheeled vehicle width range, and the second partial region is also referred to as a two-wheeled vehicle width range.

四輪車幅範囲は、車幅が比較的長い領域であるのに対し、二輪車幅範囲は、車幅が比較的短い領域であり、移動体の種別（種別は、例えば、幅の長さに応じて異なるものとして分けられたものである）に対応する。例えば、四輪車幅範囲が、幅が比較的長い第１種別に対応する場合、二輪車幅範囲は幅が比較的短い第２種別に対応させることができる。また、移動体の種別は、四輪車と二輪車とに限定されるものではなく、例えば、第１部分領域が大型車両の幅に対応する場合、第２部分領域は普通車両の幅に対応させることができる。 The four-wheeled vehicle width range is a region where the vehicle width is relatively long, whereas the two-wheeled vehicle width range is a region where the vehicle width is relatively short, and the type of the moving object (the type is, for example, the width length). Corresponding to different ones). For example, when the four-wheeled vehicle width range corresponds to the first type having a relatively long width, the two-wheeled vehicle width range can correspond to the second type having a relatively short width. In addition, the type of the moving body is not limited to a four-wheeled vehicle and a two-wheeled vehicle. For example, when the first partial region corresponds to the width of a large vehicle, the second partial region corresponds to the width of a normal vehicle. be able to.

横方向特徴点計数部１３は、第２種別領域設定部２２で設定した二輪車幅範囲の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う（隣接する）画素の輝度値の差分の絶対値が所定の輝度閾値Ｙｔｈ３より大きい場合、当該注目画素を特徴点として抽出する。図９の例では、｜Ｙ（ｘ、ｙ）−Ｙ（ｘ＋１、ｙ）｜＞Ｙｔｈ３を満たす場合、画素（ｘ、ｙ）を特徴点として抽出する。 The horizontal feature point counting unit 13 counts the number of extracted feature points for each horizontal line in the two-wheeled vehicle width range set by the second type region setting unit 22. In this case, if the absolute value of the difference between the luminance values of an arbitrary target pixel and a pixel that is adjacent to (adjacent to) the target pixel in the horizontal direction is greater than a predetermined luminance threshold Yth3, the feature point is the feature point. Extract as In the example of FIG. 9, when | Y (x, y) −Y (x + 1, y) |> Yth3 is satisfied, the pixel (x, y) is extracted as a feature point.

横ラインは、横方向（ｘ軸）に沿ったラインであり、例えば、撮像画像の大きさを（縦×横）画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、横方向特徴点計数部１３は、撮像画像の二輪車幅範囲内の特徴点の数を横方向（横ライン毎）に計数して合計し、合計した値を度数とした特徴点のヒストグラム（横方向二輪特徴投影ヒストグラム）を生成する。 The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the horizontal direction feature point counting unit 13 counts and sums the number of feature points within the two-wheeled vehicle width range of the captured image in the horizontal direction (each horizontal line), and a histogram of feature points with the total value as a frequency ( A horizontal two-wheel feature projection histogram) is generated.

横方向二輪特徴投影ヒストグラムを生成する際には、横方向四輪特徴投影ヒストグラムと同様、撮像画像全体のうち、車頭付近が既に限定されているため、輝度閾値Ｙｔｈ３は、輝度閾値Ｙｔｈ１より若干小さくすることができる。 When the horizontal two-wheel feature projection histogram is generated, the luminance threshold value Yth3 is slightly smaller than the luminance threshold value Yth1 because the vicinity of the vehicle head is already limited in the entire captured image as in the horizontal four-wheel feature projection histogram. can do.

なお、横方向四輪特徴投影ヒストグラムは、すでに移動体の検出処理において生成されているので、再度生成する必要はない。 Since the horizontal four-wheel feature projection histogram has already been generated in the moving object detection process, it is not necessary to generate it again.

次に、生成した横方向二輪特徴投影ヒストグラムを用いて、移動体の種別判定を行うか否かを決定する方法について説明する。 Next, a method for determining whether or not to determine the type of the moving object using the generated lateral two-wheel feature projection histogram will be described.

特徴点分布位置特定部２３は、最上位位置及び最下位位置を特定する位置特定手段としての機能を有する。特徴点分布位置特定部２３は、横方向特徴点計数部１３で計数した特徴点の数が所定の特徴点閾値以上となる横ラインの位置のうち、最上位位置及び最下位位置を特定する。 The feature point distribution position specifying unit 23 has a function as position specifying means for specifying the highest position and the lowest position. The feature point distribution position specifying unit 23 specifies the highest position and the lowest position among horizontal line positions where the number of feature points counted by the horizontal feature point counting unit 13 is equal to or greater than a predetermined feature point threshold.

特徴点閾値は、適宜設定することができ、例えば、１とすることができる。特徴点閾値が１である場合は、特徴点が存在するか否かを判定することになる。すなわち、横方向四輪特徴投影ヒストグラムの度数が０を超える（１以上）横ラインの位置のうち、最も上方の位置を最上位位置とし、度数が０を超える（１以上）横ラインの位置のうち、最も下方の位置を最下位位置とする。横方向二輪特徴投影ヒストグラムについても、同様に、度数が０を超える（１以上）横ラインの位置のうち、最も上方の位置を最上位位置とし、度数が０を超える（１以上）横ラインの位置のうち、最も下方の位置を最下位位置とする。 The feature point threshold can be set as appropriate, and can be set to 1, for example. When the feature point threshold is 1, it is determined whether or not a feature point exists. That is, among the positions of the horizontal lines where the frequency of the horizontal four-wheel feature projection histogram exceeds 0 (1 or more), the uppermost position is the highest position, and the position of the horizontal line where the frequency exceeds 0 (1 or more). Of these, the lowest position is the lowest position. Similarly, in the horizontal two-wheel feature projection histogram, among the positions of the horizontal lines where the frequency exceeds 0 (1 or more), the uppermost position is the highest position, and the frequency of the horizontal line where the frequency exceeds 0 (1 or more). Of the positions, the lowest position is the lowest position.

図１５は本実施の形態の移動体検出装置１００による種別判定を行うか否かの決定方法の一例を示す説明図である。図１５において、始点は撮像画像の上端の位置を示し、終点は撮像画像の下端の位置を示す。また、中間は撮像画像の中心位置、すなわち始点と終点との距離を二等分した位置である。移動体種別判定部２４は、移動体の種別を判定する判定手段としての機能を有する。 FIG. 15 is an explanatory diagram illustrating an example of a method for determining whether or not to perform type determination by the moving object detection device 100 according to the present embodiment. In FIG. 15, the start point indicates the position of the upper end of the captured image, and the end point indicates the position of the lower end of the captured image. The middle is a center position of the captured image, that is, a position obtained by dividing the distance between the start point and the end point into two equal parts. The moving body type determination unit 24 has a function as a determination unit that determines the type of the moving body.

図１５Ａに示すように、移動体種別判定部２４は、特徴点分布位置特定部２３で特定した最上位位置が撮像画像の上半分の領域にあり、特定した最下位位置が撮像画像の下半分の領域にある場合、移動体の種別を判定する（判定すると決定する）。 As shown in FIG. 15A, the moving body type determination unit 24 has the uppermost position specified by the feature point distribution position specifying unit 23 in the upper half area of the captured image, and the specified lowest position is the lower half of the captured image. If it is in the area, the type of the moving object is determined (determined if determined).

移動体（車両）のナンバープレート、ヘッドライト、テールランプ、バンパー、フロントグリル等の車頭部分又は車尾部分が撮像画像の中心付近で映っている場合には、特徴点の分布（ヒストグラム）の長さ（横ラインの数）は長くなり、最上位位置が撮像画像の上半分の領域にあり、最下位位置が撮像画像の下半分の領域にあるので、移動体の種別を精度良く判定することができる。 Length of feature point distribution (histogram) when the vehicle head part or car tail part such as license plate, headlight, tail lamp, bumper, front grille, etc. of the moving object (vehicle) is reflected near the center of the captured image (Number of horizontal lines) becomes longer, the highest position is in the upper half area of the captured image, and the lowest position is in the lower half area of the captured image. it can.

また、図１５Ｂ、図１５Ｃに示すように、車頭部分又は車尾部分が、撮像画像の中心付近で映っていない場合には、最上位位置が撮像画像の下半分の領域にあり、あるいは、最下位位置が撮像画像の上半分の領域にあるので、移動体の種別を精度良く判定することができないため、移動体の種別を判定しない。これにより、移動体の種別を精度良く判定することができるとともに、誤って判定することを防止できる。なお、横方向四輪特徴投影ヒストグラムについても図１５と同様であるので、説明は省略する。 Further, as shown in FIGS. 15B and 15C, when the vehicle head portion or the vehicle tail portion is not reflected near the center of the captured image, the highest position is in the lower half area of the captured image, or Since the lower position is in the upper half area of the captured image, the type of the moving body cannot be accurately determined, and therefore the type of the moving body is not determined. Thereby, while being able to determine the classification of a mobile body accurately, it can prevent determining incorrectly. Note that the horizontal four-wheel feature projection histogram is the same as that in FIG.

次に、移動体の種別の判定方法について説明する。図１６は本実施の形態の移動体検出装置１００による横方向四輪特徴投影ヒストグラム及び横方向二輪特徴投影ヒストグラムの特徴量の一例を示す説明図であり、図１７は本実施の形態の移動体検出装置１００による移動体の種別判定方法の一例を示す説明図である。特徴量は、横方向四輪特徴投影ヒストグラムに含まれる特徴点の合計値Ｎ１、横方向二輪特徴投影ヒストグラムに含まれる特徴点の合計値Ｎ２、及び横方向二輪特徴投影ヒストグラムの度数の平均値Ｖなどである。 Next, a method for determining the type of mobile object will be described. FIG. 16 is an explanatory diagram illustrating an example of feature amounts of the lateral four-wheel feature projection histogram and the lateral two-wheel feature projection histogram by the moving object detection device 100 of the present embodiment, and FIG. 17 illustrates the moving object of the present embodiment. It is explanatory drawing which shows an example of the classification determination method of the mobile body by the detection apparatus. The feature amount includes a total value N1 of feature points included in the lateral four-wheel feature projection histogram, a total value N2 of feature points included in the lateral two-wheel feature projection histogram, and an average value V of the frequencies of the lateral two-wheel feature projection histogram. Etc.

横方向特徴点計数部１３は、計数手段としての機能を有し、撮像画像内の所定の横幅を有する四輪車幅範囲（第１部分領域）に含まれる特徴点の数Ｎ１、及び当該所定の横幅より小さい横幅を有する二輪車幅範囲（第２部分領域）に含まれる特徴点の数Ｎ２をそれぞれ計数する。すなわち、特徴点の数Ｎ１は、例えば、横方向四輪特徴投影ヒストグラムに含まれる特徴点の合計値であり、特徴点の数Ｎ２は、例えば、横方向二輪特徴投影ヒストグラムに含まれる特徴点の合計値である。 The lateral feature point counting unit 13 has a function as a counting unit, and includes the number N1 of feature points included in the four-wheeled vehicle width range (first partial region) having a predetermined lateral width in the captured image, and the predetermined The number N2 of feature points included in the two-wheeled vehicle width range (second partial region) having a width smaller than the width is counted. That is, the number N1 of feature points is, for example, the total value of the feature points included in the lateral four-wheel feature projection histogram, and the number N2 of feature points is, for example, the number of feature points included in the lateral two-wheel feature projection histogram. It is the total value.

移動体種別判定部２４は、横方向特徴点計数部１３で計数した特徴点の数Ｎ１及びＮ２の比（例えば、Ｎ２／Ｎ１）に基づいて、移動体の種別を判定する。例えば、幅の短い第２種別の移動体が撮像画像上で映っている場合、四輪車幅範囲（第１部分領域）に含まれる特徴点の数Ｎ１が少なくなるので、比（Ｎ２／Ｎ１）の値は大きくなる。また、幅の長い第１種別の移動体が撮像画像上で映っている場合、四輪車幅範囲（第１部分領域）に含まれる特徴点の数Ｎ１が多くなるので、比（Ｎ２／Ｎ１）の値は小さくなる。隣り合う（隣接する）画素同士の画素値（輝度値）の差分が所定の閾値以上となる画素を特徴点として抽出するので、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分が特徴点として抽出されず、路面上の影に影響されることなく、移動体（例えば、車両）の文字、ヘッドライト、フロントグリル、テールランプ等の輝度変化を移動体の種別に応じて定量化することができるので、特徴点の数の比（Ｎ２／Ｎ１）の大小に応じて移動体の種別を精度よく判定することができる。 The moving body type determination unit 24 determines the type of the moving body based on the ratio (for example, N2 / N1) of the number of feature points N1 and N2 counted by the horizontal direction feature point counting unit 13. For example, when the second type mobile body with a short width is shown on the captured image, the number N1 of feature points included in the four-wheeled vehicle width range (first partial region) is reduced, so the ratio (N2 / N1 ) Value increases. In addition, when the first type mobile body having a long width is reflected on the captured image, the number N1 of feature points included in the four-wheeled vehicle width range (first partial region) increases, so the ratio (N2 / N1 ) Value becomes smaller. Since a pixel whose pixel value (luminance value) difference between adjacent (adjacent) pixels is equal to or greater than a predetermined threshold is extracted as a feature point, it is on the road surface caused by the influence of external environment changes such as sunshine changes and weather changes. The shadow part is not extracted as a feature point, and it is not affected by the shadow on the road surface. The brightness change of the moving object (for example, vehicle), headlights, front grille, tail lamp, etc., depends on the moving object type. Therefore, the type of the moving object can be accurately determined according to the ratio of the number of feature points (N2 / N1).

より具体的には、図１７のＮｏ．１に示すように、移動体種別判定部２４は、特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、所定の第１閾値Ｔｈ１より小さい場合、移動体が第１種別であると判定する。第１種別は、例えば、比較的幅の長い移動体であり、四輪車である。幅の長い第１種別の移動体が撮像画像上で映っている場合、第１部分領域に含まれる特徴点の数Ｎ１が多くなるので、比（Ｎ２／Ｎ１）の値は小さくなる。そこで、比（Ｎ２／Ｎ１）が、所定の第１閾値Ｔｈ１より小さい場合、移動体が第１種別であると判定することができる。 More specifically, in FIG. As shown in FIG. 1, the moving body type determination unit 24 determines that the moving body is the first type when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is smaller than a predetermined first threshold Th1. judge. The first type is, for example, a relatively long moving body, which is a four-wheeled vehicle. When the first type mobile body having a long width is reflected on the captured image, the number N1 of feature points included in the first partial region is increased, and thus the value of the ratio (N2 / N1) is decreased. Therefore, when the ratio (N2 / N1) is smaller than the predetermined first threshold Th1, it can be determined that the moving body is the first type.

また、図１７のＮｏ．２に示すように、移動体種別判定部２４は、特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、第２閾値Ｔｈ２（Ｔｈ２＞Ｔｈ１）以上である場合、移動体が第１種別と異なる第２種別であると判定する。第２種別は、例えば、比較的幅の短い移動体であり、二輪車である。幅の短い第２種別の移動体が撮像画像上で映っている場合、第１部分領域に含まれる特徴点の数Ｎ１が少なくなるので、比（Ｎ２／Ｎ１）の値は大きくなる。そこで、比（Ｎ２／Ｎ１）が、所定の第２閾値Ｔｈ２より大きい場合、移動体が第２種別であると判定することができる。 In addition, in FIG. As shown in FIG. 2, when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is equal to or greater than the second threshold Th2 (Th2> Th1), the moving body type determination unit 24 determines that the moving body is the first. It is determined that the second type is different from the type. The second type is, for example, a relatively short movable body and is a two-wheeled vehicle. When the second type moving body with a short width is shown on the captured image, the number N1 of feature points included in the first partial region is reduced, and thus the value of the ratio (N2 / N1) is increased. Therefore, when the ratio (N2 / N1) is larger than the predetermined second threshold Th2, it can be determined that the moving body is the second type.

また、移動体種別判定部２４は、特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、第１閾値Ｔｈ１以上であり、第２閾値Ｔｈ２より小さい場合、特徴点の数Ｎ１と数Ｎ２との差分（例えば、Ｎ１−Ｎ２）と、所定の第３閾値Ｔｈ３との大小に応じて、移動体が第１種別であるか第２種別であるかを判定する。比（Ｎ２／Ｎ１）が、第１閾値Ｔｈ１より大きく、第２閾値Ｔｈ２より小さい場合には、第１種別であるか第２種別であるかを判定することができない。そこで、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）と、第３閾値Ｔｈ３との大小に応じて、移動体の種別を判定する。 In addition, when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is equal to or larger than the first threshold Th1 and smaller than the second threshold Th2, the moving body type determination unit 24 counts the number N1 and the number of feature points. Whether the moving body is the first type or the second type is determined according to the difference between N2 (for example, N1-N2) and a predetermined third threshold Th3. When the ratio (N2 / N1) is larger than the first threshold Th1 and smaller than the second threshold Th2, it cannot be determined whether the ratio is the first type or the second type. Therefore, the type of the moving body is determined according to the difference between the number N1 and the number N2 of feature points (N1−N2) and the third threshold Th3.

例えば、幅の短い第２種別の移動体が撮像画像上で映っている場合、四輪車幅範囲（第１部分領域）に含まれる特徴点の数Ｎ１が少なくなるので、差分（Ｎ１−Ｎ２）の値は小さくなる。また、幅の長い第１種別の移動体が撮像画像上で映っている場合、四輪車幅範囲（第１部分領域）に含まれる特徴点の数Ｎ１が多くなるので、差分（Ｎ１−Ｎ２）の値は大きくなる。 For example, when the second type mobile body with a short width is shown on the captured image, the number N1 of feature points included in the four-wheeled vehicle width range (first partial region) is reduced, so the difference (N1-N2 ) Value becomes smaller. In addition, when the first type mobile body having a long width is reflected on the captured image, the number N1 of feature points included in the four-wheeled vehicle width range (first partial region) increases, so the difference (N1-N2 ) Value increases.

そして、図１７のＮｏ．４に示すように、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が、第３閾値Ｔｈ３以上である場合には、幅の長い第１種別（四輪車）であると判定することができる。なお、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が、第３閾値Ｔｈ３より小さい場合には、幅の短い第２種別（二輪車）であると判定してもよい。 And No. of FIG. As shown in FIG. 4, when the difference (N1-N2) between the number N1 and the number N2 of feature points is equal to or greater than the third threshold Th3, it is determined that the type is a long first type (four-wheeled vehicle). can do. When the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it may be determined that the second type (two-wheeled vehicle) has a short width.

また、図１７のＮｏ．３に示すように、移動体種別判定部２４は、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合に、特徴点の数Ｎ２（より具体的には、横方向二輪特徴投影ヒストグラムの度数の平均値Ｖ）が所定の第４閾値Ｔｈ４より小さいときは、移動体が第２種別であると判定する。特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合には、幅の短い第２種別であると判定することができる。そして、四輪車両などの幅の長い第１種別の移動体では、フロントグリル、文字等が多く存在するので特徴点の数Ｎ２は多くなり、二輪車両などの幅の短い第２種別の移動体では、フロントグリル、文字等が少ないので特徴点の数Ｎ２は少なくなる。このため、特徴点の数Ｎ２（横方向二輪特徴投影ヒストグラムの度数の平均値Ｖ）が所定の第４閾値Ｔｈ４より小さい場合には、二輪車両などの幅の短い第２種別であると判定することができる。したがって、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合に、さらに特徴点の数Ｎ２（横方向二輪特徴投影ヒストグラムの度数の平均値Ｖ）が所定の第４閾値Ｔｈ４より小さいか否かを判定することにより、精度良く移動体の種別を判定することができる。なお、横方向二輪特徴投影ヒストグラムの度数の平均値Ｖに代えて、特徴点の数Ｎ２を用いることもできる。 In addition, in FIG. As shown in FIG. 3, the moving body type determination unit 24 determines the number N2 of feature points (more specifically, when the difference (N1-N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3. When the average value V) of the frequency in the horizontal two-wheel feature projection histogram is smaller than the predetermined fourth threshold Th4, it is determined that the moving body is the second type. When the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it can be determined that the second type has a short width. In the first type mobile body having a long width such as a four-wheeled vehicle, since there are many front grills, characters, etc., the number N2 of feature points increases, and the second type mobile body having a short width such as a two-wheel vehicle. Then, since there are few front grills, letters, etc., the number N2 of feature points is reduced. For this reason, when the number N2 of feature points (the average value V of the frequency of the horizontal two-wheel feature projection histogram) is smaller than the predetermined fourth threshold Th4, it is determined that the second type has a short width such as a two-wheel vehicle. be able to. Therefore, when the difference (N1-N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, the number N2 of feature points (the average value V of the frequency of the horizontal two-way feature projection histogram) is further determined. By determining whether or not it is smaller than the fourth threshold Th4, it is possible to accurately determine the type of the moving object. Note that the number N2 of feature points may be used in place of the average value V of the frequencies in the horizontal two-wheel feature projection histogram.

移動体種別判定部２４は、時系列に移動体の種別を判定するようにしてあり、図１７のＮｏ．５に示すように、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合に、特徴点の数Ｎ２（横方向二輪特徴投影ヒストグラムの度数の平均値Ｖ）が第４閾値Ｔｈ４以上のときは、移動体の種別が直近に判定した種別と同じであると判定する。特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合には、幅の短い第２種別であると判定することができる。しかし、特徴点の数Ｎ２（横方向二輪特徴投影ヒストグラムの度数の平均値Ｖ）が所定の第４閾値Ｔｈ４以上である場合には、四輪車両などの幅の長い第１種別の移動体であると判定することもできる。そこで、特徴点の数Ｎ１と数Ｎ２との差分（Ｎ１−Ｎ２）が第３閾値Ｔｈ３より小さい場合に、特徴点の数Ｎ２（横方向二輪特徴投影ヒストグラムの度数の平均値Ｖ）が第４閾値Ｔｈ４以上であるときは、第１種別であるか第２種別であるかを正確に判定することができないので、移動体の種別が直近に判定した種別と変わらないものとして、直近に判定した種別と同じであると判定する。これにより、移動体の種別の判定が困難なタイミングが生じても直近に判定した結果を用いることができ、種別の判定を誤ることを防止することができる。なお、横方向二輪特徴投影ヒストグラムの度数の平均値Ｖに代えて、特徴点の数Ｎ２を用いることもできる。 The mobile body type determination unit 24 determines the type of mobile body in time series. As shown in FIG. 5, when the difference (N1-N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, the number N2 of feature points (the average value V of the frequency of the lateral two-wheel feature projection histogram) ) Is equal to or greater than the fourth threshold Th4, it is determined that the type of the moving object is the same as the type most recently determined. When the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it can be determined that the second type has a short width. However, when the number N2 of feature points (the average value V of the frequency of the horizontal two-wheel feature projection histogram) is equal to or greater than a predetermined fourth threshold Th4, a long-width first type mobile body such as a four-wheel vehicle is used. It can also be determined that there is. Therefore, when the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, the number N2 of feature points (the average value V of the frequency of the horizontal two-way feature projection histogram) is the fourth. When it is equal to or greater than the threshold Th4, it is impossible to accurately determine whether the type is the first type or the second type. Therefore, it is determined that the type of the moving object is not different from the type determined most recently. It is determined that the type is the same. As a result, even when a timing at which it is difficult to determine the type of the moving object, the latest determination result can be used, and it is possible to prevent the type from being erroneously determined. Note that the number N2 of feature points may be used in place of the average value V of the frequencies in the horizontal two-wheel feature projection histogram.

次に、車線情報の生成方法について説明する。撮像装置の視野内に車線が複数存在する場合、隣接車線の車両は車体の一部のみしか撮影されず車両の画像としては不適切である。そのため、不適切な画像を出力しないために、撮影画像上の移動体が走行している車線を判定する。 Next, a method for generating lane information will be described. When there are a plurality of lanes within the field of view of the imaging device, only a part of the vehicle body is photographed for vehicles in adjacent lanes, which is inappropriate as an image of the vehicle. Therefore, in order not to output an inappropriate image, the lane in which the moving body on the captured image is traveling is determined.

図１８は本実施の形態の移動体検出装置１００による車線の判定方法の一例を示す説明図である。図１８Ａに示すように、撮像画像を中央領域、２つの分離領域（左分離領域、右分離領域）、左端近傍領域及び右端近傍領域に区分する。 FIG. 18 is an explanatory diagram illustrating an example of a lane determination method performed by the moving object detection device 100 according to the present embodiment. As shown in FIG. 18A, the captured image is divided into a central region, two separation regions (a left separation region and a right separation region), a left end vicinity region, and a right end vicinity region.

中央領域は、視野内の車線が映っている領域に相当し、撮像画像の中央から横方向に所定の第１幅を有する領域である。 The central region corresponds to a region where a lane in the field of view is shown, and is a region having a predetermined first width in the lateral direction from the center of the captured image.

左端近傍領域及び右端近傍領域は、隣接車線が映っている領域に相当し、撮像画像の左端又は右端から横方向に所定の近傍幅を有する領域である。 The left end vicinity region and the right end vicinity region correspond to regions where adjacent lanes are shown, and are regions having a predetermined vicinity width in the horizontal direction from the left end or the right end of the captured image.

分離領域は、中央領域を間にして分離され、所定の第２幅を有する領域である。分離領域、左端近傍領域及び右端近傍領域を含む領域全体は、移動体の横位置（ｘ座標）が、撮像画像の左端又は右端を超えてしまう可能性がある範囲である。 The separation region is a region having a predetermined second width that is separated with a central region in between. The entire region including the separation region, the left end vicinity region, and the right end vicinity region is a range in which the horizontal position (x coordinate) of the moving body may exceed the left end or the right end of the captured image.

図１８Ｂに示すように、車線情報生成部３１は、検出した移動体のｘ座標（横位置）が左端近傍領域又は右端近傍領域内にある場合、隣接車線であると判定する。この場合、移動体種別判定部２４は、移動体の種別の判定を行わない。移動体のｘ座標が左端近傍領域又は右端近傍領域内にある場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っていないとして、移動体の種別を判定しない。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。 As illustrated in FIG. 18B, the lane information generation unit 31 determines that the vehicle is an adjacent lane when the detected x-coordinate (lateral position) of the moving body is within the left end vicinity region or the right end vicinity region. In this case, the moving body type determination unit 24 does not determine the moving body type. If the x-coordinate of the moving object is in the region near the left end or the region near the right end, the type of the moving object is not determined assuming that the moving object is not reflected in the captured image to the extent that the type of the moving object can be determined. . Thereby, it can prevent determining the classification of a moving body accidentally, and can determine with sufficient precision.

図１８Ｂに示すように、車線情報生成部３１は、検出した移動体のｘ座標が中央領域内にある場合、視野内の車線であると判定する。この場合、移動体種別判定部２４は、移動体の種別を判定する。移動体のｘ座標が中央領域内にある場合、移動体（車両）のナンバープレート、ヘッドライト、テールランプ、バンパー、フロントグリル等の車頭部分又は車尾部分が撮像画像の中心付近で映っているので、移動体の種別を精度良く判定することができる。 As illustrated in FIG. 18B, the lane information generation unit 31 determines that the lane is in the field of view when the detected x coordinate of the moving body is within the central region. In this case, the moving body type determination unit 24 determines the type of the moving body. When the x coordinate of the moving object is in the center area, the vehicle head part or the tail part of the moving object (vehicle) such as the license plate, headlight, tail lamp, bumper, front grille, etc. is reflected near the center of the captured image. The type of the moving object can be determined with high accuracy.

図１８Ｂに示すように、車線情報生成部３１は、検出した移動体のｘ座標が中央領域内にない場合に、検出した移動体の幅が所定の幅閾値より小さいとき、隣接車線であると判定する。この場合、移動体種別判定部２４は、移動体の種別の判定を行わない。 As illustrated in FIG. 18B, the lane information generation unit 31 determines that the detected lane is an adjacent lane when the detected moving object has an x coordinate that is not within the central region and the detected moving object has a width smaller than a predetermined width threshold. judge. In this case, the moving body type determination unit 24 does not determine the moving body type.

すなわち、移動体の車頭付近の特徴点が視野外に分布する場合は車幅の幅閾値以上が視野内に入る場合は視野内と判定し、幅閾値未満である場合は視野外であると判定する。ここで、特徴点が視野外に分布するものは、移動体検出の際に特定した「車頭幅」の開始点（左端点）と終了点(右端点)がそれぞれ撮像画像の左端と右端と一致するか否かにより判定することができる。また、視野内に入る車幅は「車頭幅」の長さにより判定することができる。 In other words, if feature points near the vehicle head are distributed outside the field of view, it is determined that the vehicle width is within the field of view if it is greater than or equal to the width threshold of the vehicle width, and is outside the field of view if it is less than the width threshold. To do. Here, when the feature points are distributed outside the field of view, the start point (left end point) and end point (right end point) of the “vehicle head width” specified when moving objects are detected match the left and right ends of the captured image, respectively. It can be determined by whether or not to do so. Further, the vehicle width falling within the field of view can be determined by the length of the “vehicle head width”.

また、車線情報生成部３１は、検出した移動体のｘ座標が中央領域内にない場合に、検出した移動体の幅が所定の幅閾値より大きいとき、視野内の車線であると判定する。この場合、移動体種別判定部２４は、移動体の種別を判定する。 The lane information generation unit 31 determines that the lane is in the field of view when the detected mobile object has an x coordinate that is not within the central region and the detected mobile object has a width greater than a predetermined width threshold. In this case, the moving body type determination unit 24 determines the type of the moving body.

移動体のＸ座標が中央領域内にない場合には、移動体の横位置が撮像画像の左端又は右端を超えて撮像画像内に存在しない可能性があるため、移動体の種別を精度良く判定することができない可能性がある。そこで、例えば、移動体の幅が所定の幅閾値より大きい場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っているとして、移動体の種別を判定する。一方、移動体の幅が所定の幅閾値より小さい場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っていないとして、移動体の種別を判定しない。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。 If the X coordinate of the moving object is not within the central area, the horizontal position of the moving object may not exist in the captured image beyond the left or right edge of the captured image, so the type of the moving object is accurately determined. You may not be able to. Therefore, for example, when the width of the moving body is larger than a predetermined width threshold, the moving body type is determined on the assumption that the moving body appears in the captured image to the extent that the moving body type can be determined. On the other hand, when the width of the moving body is smaller than the predetermined width threshold, the type of the moving body is not determined assuming that the moving body is not reflected in the captured image to the extent that the type of the moving body can be determined. Thereby, it can prevent determining the classification of a moving body accidentally, and can determine with sufficient precision.

また、車線情報生成部３１は、検出した移動体のＸ座標が分離領域内にあるとき、視野内の車線であると判定する。この場合、移動体種別判定部２４は、移動体の種別を判定する。移動体のＸ座標が中央領域内にない場合には、移動体の横位置が撮像画像の左端又は右端を超えて撮像画像内に存在しない可能性があるため、移動体の種別を精度良く判定することができない可能性がある。そこで、例えば、中央領域を間にして分離され、所定の第２幅を有する２つの分離領域内に移動体の横位置があるときは、移動体の種別を判定することができる程度に移動体が撮像画像に映っているとして、移動体の種別を判定する。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。 The lane information generation unit 31 determines that the lane is within the field of view when the detected X coordinate of the moving body is within the separation region. In this case, the moving body type determination unit 24 determines the type of the moving body. If the X coordinate of the moving object is not within the central area, the horizontal position of the moving object may not exist in the captured image beyond the left or right edge of the captured image, so the type of the moving object is accurately determined. You may not be able to. Therefore, for example, when there is a lateral position of the moving body in two separation areas separated by a central region and having a predetermined second width, the moving body can be determined to the extent that the type of the moving body can be determined. , The type of the moving object is determined. Thereby, it can prevent determining the classification of a moving body accidentally, and can determine with sufficient precision.

次に、位置情報の生成方法について説明する。図１９は本実施の形態の移動体検出装置１００による位置情報の生成方法の一例を示す説明図である。図１９において、左側の図は横方向四輪特徴投影ヒストグラムを示し、右側の図は撮像画像を示す。 Next, a method for generating position information will be described. FIG. 19 is an explanatory diagram illustrating an example of a method for generating position information by the moving object detection device 100 according to the present embodiment. In FIG. 19, the left diagram shows a lateral four-wheel feature projection histogram, and the right diagram shows a captured image.

車体のナンバープレート付近が撮影されていることを判定するために、撮影された位置が正しいかどうかの判定を行う。ナンバープレートは車体のヘッドライト付近(車尾の場合はテールランプ付近)に装着されていることから、ナンバープレートが撮像画像の中心付近で撮影されるときは、撮像画像の下側には車体が存在しないことが分かる。 In order to determine that the vicinity of the license plate of the vehicle body has been shot, it is determined whether or not the shot position is correct. Since the license plate is mounted near the headlight of the vehicle body (in the case of the car tail, near the tail lamp), when the license plate is shot near the center of the captured image, the vehicle body exists below the captured image. I understand that I don't.

位置情報生成部３２は、横方向四輪特徴投影ヒストグラムの下側に対して車両位置判定領域を設定し、図１９Ａに示すように、車両位置判定領域内のヒストグラム値（特徴点の数）が閾値未満の場合は正しい位置で撮影されていると判定し、移動体の位置が正しい旨の情報を生成する。 The position information generation unit 32 sets a vehicle position determination region on the lower side of the lateral four-wheel feature projection histogram, and the histogram value (number of feature points) in the vehicle position determination region is set as shown in FIG. 19A. If it is less than the threshold value, it is determined that the image is taken at the correct position, and information indicating that the position of the moving object is correct is generated.

また、位置情報生成部３２は、図１９Ｂに示すように、車両位置判定領域内のヒストグラム値（特徴点の数）が閾値以上の場合は正しい位置ではないと判定し、移動体の位置が正しくない旨の情報を生成する。なお、車両位置判定領域は、撮像画像の縦方向の画素数の１０％程度の値とすることができる。 Further, as shown in FIG. 19B, the position information generation unit 32 determines that the position is not the correct position when the histogram value (number of feature points) in the vehicle position determination area is greater than or equal to the threshold value, and the position of the moving object is correct. Generates no information. Note that the vehicle position determination region can be a value of about 10% of the number of pixels in the vertical direction of the captured image.

次に、追跡情報の生成方法について説明する。図２０は本実施の形態の移動体検出装置１００による移動体の追跡方法の一例を示す説明図であり、図２１は本実施の形態の移動体検出装置１００による追跡情報の一例を示す説明図である。図２０において、座標（ｘ（０）、ｙ（０））は追跡開始時の移動体のｘｙ座標であり、座標（ｘ（ｔ−１）、ｙ（ｔ−１））は、直近（前）フレーム（撮像画像）での移動体のｘｙ座標であり、座標（ｘ（ｔ）、ｙ（ｔ））は、現在（今）フレーム（撮像画像）での移動体のｘｙ座標である。 Next, a method for generating tracking information will be described. FIG. 20 is an explanatory diagram illustrating an example of a tracking method of a moving object by the moving object detection device 100 of the present embodiment, and FIG. 21 is an explanatory diagram illustrating an example of tracking information by the moving object detection device 100 of the present embodiment. It is. In FIG. 20, the coordinates (x (0), y (0)) are the xy coordinates of the moving body at the start of tracking, and the coordinates (x (t−1), y (t−1)) are the latest (previous). ) The xy coordinates of the moving body in the frame (captured image), and the coordinates (x (t), y (t)) are the xy coordinates of the moving body in the current (now) frame (captured image).

移動体のｘｙ座標の軌跡から時系列に連続する移動体が、同一の物体であるかどうかを判定し、また、視野内で直線的な走行をしているかどうかを判定するために、追跡処理を行う。追跡処理では、現在のフレーム（例えば、時刻ｔの撮像画像）で検出された移動体のｘｙ座標が、直近のフレーム（例えば、時刻ｔ−１の撮像画像）から移動可能な範囲であること、追跡開始時からの移動量が閾値以上であることを判定する。 A tracking process is performed to determine whether or not a moving object that is continuous in time series from the trajectory of the xy coordinates of the moving object is the same object, and whether or not it is traveling linearly within the field of view. I do. In the tracking process, the xy coordinates of the moving object detected in the current frame (for example, the captured image at time t) are within a range that can be moved from the latest frame (for example, the captured image at time t−1). It is determined that the amount of movement from the start of tracking is greater than or equal to a threshold value.

移動可能な範囲であるか否かの判定は、直近のフレームでの移動体のｘｙ座標に対して、移動可能範囲を設定し、現在のフレームでの移動体のｘｙ座標が、当該移動可能範囲内に存在するかどうかで判定する。この場合、フレーム間で連続して移動可能範囲であると判定された回数を追跡回数として計数し、追跡回数が多いほど移動物体が直線的な走行をしていると判断する信頼度が高くなる。 The determination as to whether or not it is a movable range is performed by setting a movable range with respect to the xy coordinates of the moving object in the most recent frame, and the xy coordinates of the moving object in the current frame being the movable range. Judgment is made based on whether or not it exists inside. In this case, the number of times determined to be a continuously movable range between frames is counted as the number of tracking times, and the higher the number of tracking times, the higher the reliability with which it is determined that the moving object is traveling linearly. .

また、追跡開始時からの移動量が閾値以上であるか否かの判定は、追跡回数が１回以上のものに対して、追跡開始時の移動体のｘｙ座標と、現在のフレームでの移動体のｘｙ座標との距離により判定する。当該距離が小さい場合は、移動体ではないと判定して追跡失敗であると判定する。また、当該距離が大きい場合は、移動体であると判定して追跡成功であると判定する。 Also, whether or not the amount of movement from the start of tracking is greater than or equal to the threshold is determined by comparing the xy coordinates of the moving object at the start of tracking and the movement in the current frame for a tracking number of one or more. Judgment is based on the distance to the xy coordinates of the body. When the distance is small, it is determined that it is not a moving body and it is determined that tracking has failed. If the distance is large, it is determined that the object is a moving body and the tracking is successful.

移動可能範囲は、車頭計測と車尾計測では進行方向が異なるため、以下のように設定することができる。車頭計測の場合は、現在のフレームでの移動可能範囲左端＝ｘ（ｔ−１）−定数ｄ、移動可能範囲右端＝ｘ（ｔ−１）＋定数ｄ、移動可能範囲上端＝ｙ（ｔ−１）−定数ｈ、移動可能範囲下端＝撮像画像の下端とすることができる。 The movable range can be set as follows because the traveling direction differs between vehicle head measurement and vehicle tail measurement. In the case of vehicle head measurement, the movable range left end in the current frame = x (t−1) −constant d, the movable range right end = x (t−1) + constant d, and the movable range upper end = y (t− 1) —constant h, movable range lower end = lower end of captured image.

また、車尾計測の場合は、現在のフレームでの移動可能範囲左端＝ｘ（ｔ−１）−定数ｄ、移動可能範囲右端＝ｘ（ｔ−１）＋定数ｄ、移動可能範囲上端＝撮像画像の上端、移動可能範囲下端＝ｙ（ｔ−１）＋定数ｈ、とすることができる。 Further, in the case of vehicle rear measurement, the movable range left end in the current frame = x (t−1) −constant d, the movable range right end = x (t−1) + constant d, the movable range upper end = imaging. The upper end of the image and the lower end of the movable range = y (t−1) + constant h.

図２１に示すように、追跡情報生成部３３は、移動体の追跡開始時のｘ座標と現在のｘ座標との差の絶対値が閾値Ｄｘより大きい場合、または、移動体の追跡開始時のｙ座標と現在のｙ座標との差の絶対値が閾値Ｄｙより大きい場合、追跡成功であって移動体である旨の追跡情報を生成する。 As illustrated in FIG. 21, the tracking information generation unit 33 determines whether the absolute value of the difference between the x coordinate at the start of tracking of the mobile object and the current x coordinate is greater than a threshold value Dx, or at the start of tracking of the mobile object. If the absolute value of the difference between the y-coordinate and the current y-coordinate is larger than the threshold value Dy, tracking information indicating that the tracking is successful and the mobile body is generated.

また、追跡情報生成部３３は、移動体の追跡開始時のｘ座標と現在のｘ座標との差の絶対値が閾値Ｄｘ以下であり、かつ、移動体の追跡開始時のｙ座標と現在のｙ座標との差の絶対値が閾値Ｄｙ以下である場合、追跡失敗であって移動体でない旨の追跡情報を生成する。 In addition, the tracking information generation unit 33 has an absolute value of a difference between the x coordinate at the start of tracking of the moving object and the current x coordinate equal to or less than the threshold Dx, and the y coordinate at the start of tracking of the moving object and the current coordinate. If the absolute value of the difference from the y-coordinate is equal to or less than the threshold value Dy, tracking information indicating that the tracking has failed and that the object is not a moving object is generated.

車頭計測の場合は撮像画像の上方から視野内に進入してきた車両を追跡し、また、車尾計測の場合は撮像画像の下方から視野内に進入してきた車両を追跡する。そのため、予め指定した追跡開始範囲内に移動体のｘｙ座標が存在するときに追跡の開始を行うことができる。例えば、車頭計測の場合は、追跡開始範囲の上端は撮像画像の上端と一致し、追跡開始範囲の下端は、撮像画像の上端から下方に所定数の画素とすることができる。また、車尾計測の場合は、追跡開始範囲の上端は撮像画像の下端から上方に所定数の画素とし、追跡開始範囲の下端は、撮像画像の下端とすることができる。 In the case of vehicle head measurement, the vehicle that has entered the field of view from the upper side of the captured image is tracked. In the case of vehicle tail measurement, the vehicle that has entered the field of view from the lower side of the captured image is tracked. Therefore, the tracking can be started when the xy coordinates of the moving object exist within the tracking start range designated in advance. For example, in the case of vehicle head measurement, the upper end of the tracking start range coincides with the upper end of the captured image, and the lower end of the tracking start range can be a predetermined number of pixels downward from the upper end of the captured image. Further, in the case of vehicle tail measurement, the upper end of the tracking start range can be a predetermined number of pixels upward from the lower end of the captured image, and the lower end of the tracking start range can be the lower end of the captured image.

次に、本実施の形態の移動体検出装置１００の動作について説明する。図２２は本実施の形態の移動体検出装置１００による移動体の種別判定の処理手順の一例を示すフローチャートである。以下、処理の主体を便宜上制御部１０として説明する。制御部１０は、移動体の座標（位置）を取得し（Ｓ３１）、横方向四輪特徴投影ヒストグラムを取得し（Ｓ３２）、横ライン毎に抽出した特徴点を取得する（Ｓ３３）。移動体の座標（位置）、横方向四輪特徴投影ヒストグラム、特徴点は、いずれも移動体の位置を検出する際に求めたものである。 Next, the operation of the moving object detection apparatus 100 of the present embodiment will be described. FIG. 22 is a flowchart illustrating an example of a processing procedure for determining the type of a moving object by the moving object detection device 100 according to the present embodiment. Hereinafter, the main subject of the processing will be described as the control unit 10 for convenience. The control unit 10 acquires the coordinates (position) of the moving body (S31), acquires a lateral four-wheel feature projection histogram (S32), and acquires feature points extracted for each horizontal line (S33). The coordinates (position) of the moving object, the lateral four-wheel feature projection histogram, and the feature points are all obtained when detecting the position of the moving object.

制御部１０は、撮像画像上に二輪車幅範囲を設定し（Ｓ３４）、横方向二輪特徴投影ヒストグラムを生成する（Ｓ３５）。制御部１０は、横方向二輪特徴投影ヒストグラムの度数の平均値Ｖを算出し（Ｓ３６）、横方向四輪特徴投影ヒストグラムの度数（特徴点）の合計値Ｎ１を算出し（Ｓ３７）、横方向二輪特徴投影ヒストグラムの度数（特徴点）の合計値Ｎ２を算出する（Ｓ３８）。 The control unit 10 sets a two-wheeled vehicle width range on the captured image (S34), and generates a lateral two-wheel feature projection histogram (S35). The control unit 10 calculates the average value V of the frequency in the horizontal direction two-wheel feature projection histogram (S36), calculates the total value N1 of the frequency (feature point) in the horizontal direction four-wheel feature projection histogram (S37), and then in the horizontal direction. A total value N2 of the frequencies (feature points) of the two-wheel feature projection histogram is calculated (S38).

制御部１０は、算出した合計値Ｎ１、Ｎ２、平均値Ｖに基づいて移動体の種別を判定し（Ｓ３９）、処理を終了する。なお、移動体の種別の判定条件と判定結果は、図１７に例示したとおりである。 The control unit 10 determines the type of the moving body based on the calculated total values N1 and N2 and the average value V (S39), and ends the process. The determination conditions and determination results for the type of mobile object are as illustrated in FIG.

移動体検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図２２に示すような、各処理手順を定めたコンピュータプログラムをＤＶＤなどの記録媒体に記録しておく。そして、当該記録媒体に記録したコンピュータプログラムを光ディスク装置等で読み込ませることにより、コンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で移動体検出装置（移動体判定装置）を実現することができる。 The moving body detection apparatus 100 can also be realized using a general-purpose computer including a CPU, a RAM, and the like. That is, a computer program that defines each processing procedure as shown in FIG. 22 is recorded on a recording medium such as a DVD. Then, the computer program recorded on the recording medium is read by an optical disk device or the like, and loaded into a RAM provided in the computer, and the computer program is executed by the CPU, so that the mobile object detection device (mobile object) is executed on the computer. Determination device) can be realized.

本実施の形態の移動体検出装置１００で検出した移動体のｘｙ座標及び物体情報（車種情報、車線情報、位置情報、追跡情報）は、移動体情報として、本実施の形態の移動体検出装置１００とは別個である、プレート検出処理、車両判定処理などを行う装置（以下、外部装置と称する）へ出力することができる。 The xy coordinates and object information (vehicle type information, lane information, position information, tracking information) of the moving body detected by the moving body detection apparatus 100 of the present embodiment are used as the moving body information, and the moving body detection apparatus of the present embodiment. It is possible to output to a device (hereinafter referred to as an external device) that performs plate detection processing, vehicle determination processing, and the like, which is separate from 100.

プレート検出処理を行う外部装置では、撮像装置で撮像された元画像に基づいてナンバープレート検出処理を行うので、移動体検出装置１００での移動体検出処理において、元画像を縮小した撮像画像を用いている場合には、検出した移動体のｘｙ座標を元画像の座標に変換すればよい。 In the external device that performs the plate detection process, the license plate detection process is performed based on the original image captured by the imaging device. Therefore, in the moving body detection process of the mobile body detection device 100, a captured image obtained by reducing the original image is used. In such a case, the detected xy coordinates of the moving body may be converted to the coordinates of the original image.

また、車両判定処理を行う外部装置では、ナンバープレート検出が失敗した移動体に対して、移動体の通過情報、物体情報等から車両であるかどうかの判定を行う。そのため、移動体検出装置１００が出力する物体情報は、車両である、及び車両でない、の二通りの値を表すことができる。外部装置での判定条件は、例えば、以下のとおりである。すなわち、（１）車両判定処理が有効である（例えば、車両判定処理を行うと設定した場合）、かつ、移動体の追跡結果が成功である、かつ、移動体の追跡回数＞閾値、かつ、移動体の位置が視野内の車線である場合、車両であると判定する。（２）前述の（１）の条件を満たさない場合には、車両でないと判定する。 In addition, the external device that performs the vehicle determination process determines whether the vehicle is a vehicle based on the passing information, object information, and the like of the moving body for the moving body that failed to detect the license plate. Therefore, the object information output by the moving body detection apparatus 100 can represent two values, that is, a vehicle and a non-vehicle. Determination conditions in the external device are, for example, as follows. That is, (1) the vehicle determination process is effective (for example, when it is set to perform the vehicle determination process), the tracking result of the moving object is successful, and the tracking number of the moving object> the threshold value, and When the position of the moving body is a lane in the field of view, it is determined that the vehicle is a vehicle. (2) If the above condition (1) is not satisfied, it is determined that the vehicle is not a vehicle.

上述の実施の形態において、撮像画像の一方向を撮像画像の横方向とし、他方向を縦方向として説明したが、撮像画像の一方向を撮像画像の縦方向とし、他方向を横方向とすることもできる。 In the above-described embodiment, one direction of the captured image is described as the horizontal direction of the captured image and the other direction is the vertical direction. However, one direction of the captured image is the vertical direction of the captured image, and the other direction is the horizontal direction. You can also.

以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。 The embodiments and examples disclosed above should be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above embodiments and examples but by the scope of claims, and is intended to include all modifications and variations within the meaning and scope equivalent to the scope of claims. .

１０制御部
１１差分画像生成部
１２特徴点抽出部
１３横方向特徴点計数部
１４車頭高さ領域設定部
１５縦方向特徴点計数部
１６横位置候補範囲特定部
１７車幅領域設定部
１８移動体座標検出部
２０車種情報生成部
２１第１種別領域設定部
２２第２種別領域設定部
２３特徴点分布位置特定部
２４移動体種別判定部
３１車線情報生成部
３２位置情報生成部
３３追跡情報生成部 DESCRIPTION OF SYMBOLS 10 Control part 11 Difference image generation part 12 Feature point extraction part 13 Lateral direction feature point counting part 14 Vehicle head height area setting part 15 Vertical direction feature point counting part 16 Lateral position candidate range specification part 17 Vehicle width area setting part 18 Mobile body Coordinate detection unit 20 Vehicle type information generation unit 21 First type region setting unit 22 Second type region setting unit 23 Feature point distribution position specification unit 24 Moving body type determination unit 31 Lane information generation unit 32 Location information generation unit 33 Tracking information generation unit

Claims

複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定する移動体判定装置において、
撮像画像の各画素の画素値に基づいて特徴点を抽出する抽出手段と、
前記撮像画像内の所定の横幅を有する第１部分領域に含まれ、前記抽出手段で抽出した特徴点の数Ｎ１、及び前記所定の横幅より小さい横幅を有する第２部分領域に含まれ、前記抽出手段で抽出した特徴点の数Ｎ２をそれぞれ計数する計数手段と、
該計数手段で計数した特徴点の数Ｎ１及びＮ２の比（Ｎ２／Ｎ１）に基づいて、移動体の種別を判定する判定手段と
を備え、
前記判定手段は、
前記比（Ｎ２／Ｎ１）が、所定の第１閾値より小さい場合、移動体が第１種別であると判定するようにしてあり、
前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きい第２閾値より大きい場合、移動体が前記第１種別と異なる第２種別であると判定するようにしてあり、
前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きく、前記第２閾値より小さい場合、特徴点の数Ｎ１と数Ｎ２との差分と、所定の第３閾値との大小に応じて、移動体が前記第１種別であるか前記第２種別であるかを判定するよう構成してあることを特徴とする移動体判定装置。 In the mobile object determination device that determines the type of mobile object using a captured image in which a plurality of pixels are arranged in a matrix,
Extraction means for extracting feature points based on the pixel value of each pixel of the captured image;
Included in the first partial region having a predetermined lateral width in the captured image and included in the second partial region having the number N1 of feature points extracted by the extraction unit and a lateral width smaller than the predetermined lateral width, the extraction Counting means for counting the number N2 of feature points extracted by the means;
Determination means for determining the type of the moving object based on the ratio (N2 / N1) of the number of feature points N1 and N2 counted by the counting means ;
The determination means includes
When the ratio (N2 / N1) is smaller than a predetermined first threshold value, the mobile body is determined to be the first type,
When the ratio (N2 / N1) is greater than a second threshold value that is greater than the first threshold value, the mobile body is determined to be a second type different from the first type;
When the ratio (N2 / N1) is larger than the first threshold value and smaller than the second threshold value, it moves according to the difference between the number N1 and the number N2 of feature points and the predetermined third threshold value. body moving object determination device according to configured characterized tare Rukoto to determine whether a second type or a first type.

前記判定手段は、
特徴点の数Ｎ１と数Ｎ２との差分が前記第３閾値より小さい場合に、特徴点の数Ｎ２が所定の第４閾値より小さいときは、移動体が前記第２種別であると判定するように構成してあることを特徴とする請求項１に記載の移動体判定装置。 The determination means includes
When the difference between the number N1 of feature points and the number N2 is smaller than the third threshold value, if the number N2 of feature points is smaller than a predetermined fourth threshold value, the moving body is determined to be the second type. The mobile body determination device according to claim 1 , wherein the mobile body determination device is configured as follows.

前記判定手段は、
時系列に移動体の種別を判定するようにしてあり、
特徴点の数Ｎ１と数Ｎ２との差分が前記第３閾値より小さい場合に、特徴点の数Ｎ２が前記第４閾値より大きいときは、移動体の種別が直近に判定した種別と同じであると判定するように構成してあることを特徴とする請求項２に記載の移動体判定装置。 The determination means includes
The type of mobile object is determined in time series,
When the difference between the number N1 of feature points and the number N2 is smaller than the third threshold value, and the number N2 of feature points is larger than the fourth threshold value, the type of the moving object is the same as the type most recently determined. The mobile body determination device according to claim 2 , wherein the mobile body determination device is configured to determine that

前記第１種別は、四輪車両であり、
前記第２種別は、二輪車両であることを特徴とする請求項１乃至請求項３のいずれか１項に記載の移動体判定装置。 The first type is a four-wheel vehicle,
The second type, the mobile determining device according to any one of claims 1 to 3, characterized in that a two-wheeled vehicle.

前記計数手段で計数した特徴点の数が所定の特徴点閾値以上となる前記一方向ラインの位置のうち、最上位位置及び最下位位置を特定する位置特定手段を備え、
前記判定手段は、
前記位置特定手段で特定した最上位位置が前記撮像画像の上半分の領域にあり、特定した最下位位置が前記撮像画像の下半分の領域にある場合、移動体の種別を判定するように構成してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動体判定装置。 A position specifying means for specifying the highest position and the lowest position among the positions of the one-way line where the number of feature points counted by the counting means is equal to or greater than a predetermined feature point threshold;
The determination means includes
When the highest position specified by the position specifying means is in the upper half area of the captured image and the specified lowest position is in the lower half area of the captured image, the type of the moving object is determined. move object determination apparatus according to any one of claims 1 to 4, characterized in that are.

前記抽出手段で抽出した特徴点に基づいて、前記撮像画像内の移動体の横位置を検出する検出手段を備え、
前記判定手段は、
前記検出手段で検出した移動体の横位置が、前記撮像画像の中央から横方向に所定の第１幅を有する中央領域内にある場合、移動体の種別を判定するように構成してあることを特徴とする請求項１乃至請求項５のいずれか１項に記載の移動体判定装置。 Detecting means for detecting a lateral position of the moving body in the captured image based on the feature points extracted by the extracting means;
The determination means includes
When the lateral position of the moving body detected by the detection means is within a central area having a predetermined first width in the lateral direction from the center of the captured image, the type of the moving body is determined. moving object determination device according to any one of claims 1 through claim 5, characterized in.

前記抽出手段で抽出した特徴点に基づいて、移動体の幅を検出する幅検出手段を備え、
前記判定手段は、
前記検出手段で検出した移動体の横位置が前記中央領域内にない場合に、前記幅検出手段で検出した移動体の幅が所定の幅閾値より大きいとき、移動体の種別を判定するように構成してあることを特徴とする請求項６に記載の移動体判定装置。 Based on the feature points extracted by the extraction means, comprising a width detection means for detecting the width of the moving body,
The determination means includes
When the lateral position of the moving object detected by the detecting means is not within the central area, the type of the moving object is determined when the width of the moving object detected by the width detecting means is larger than a predetermined width threshold. The mobile body determination device according to claim 6 , wherein the mobile body determination device is configured.

前記判定手段は、
前記検出手段で検出した移動体の横位置が前記中央領域内にない場合に、該中央領域を間にして分離され、所定の第２幅を有する２つの分離領域内にあるとき、移動体の種別を判定するように構成してあることを特徴とする請求項６に記載の移動体判定装置。 The determination means includes
When the lateral position of the moving body detected by the detecting means is not within the central area, the moving body is separated when the central area is in between two separation areas having a predetermined second width. The mobile body determination device according to claim 6 , wherein the mobile body determination device is configured to determine a type.

撮像時点が異なる第１の撮像画像及び第２の撮像画像それぞれの対応する各画素の画素値の差分が第１差分閾値より大きい第１の画素を特定する第１画素特定手段と、
前記第１の撮像画像及び第２の撮像画像それぞれの対応する各画素の画素値の差分が前記第１差分閾値より小さく、該第１差分閾値より小さい第２差分閾値より大きい第２の画素を特定する第２画素特定手段と、
前記第１画素特定手段で特定した第１の画素及び該第１の画素に隣接する画素であって前記第２の画素で構成される差分画像を生成する差分画像生成手段と、
前記第１の撮像画像又は第２の撮像画像のいずれかを前記差分画像生成手段で生成した差分画像でフィルタ処理する処理手段と
を備え、
前記抽出手段は、
前記処理手段でフィルタ処理して得られた撮像画像の各画素の画素値に基づいて特徴点を抽出するように構成してあることを特徴とする請求項１乃至請求項８のいずれか１項に記載の移動体判定装置。 First pixel specifying means for specifying a first pixel in which a difference between pixel values of corresponding pixels of a first captured image and a second captured image at different imaging time points is greater than a first difference threshold;
A second pixel having a pixel value difference between corresponding pixels of each of the first captured image and the second captured image is smaller than the first difference threshold and greater than a second difference threshold smaller than the first difference threshold. Second pixel specifying means for specifying;
Differential image generation means for generating a differential image composed of the first pixel specified by the first pixel specifying means and a pixel adjacent to the first pixel and composed of the second pixel;
Processing means for filtering either the first captured image or the second captured image with the difference image generated by the difference image generating means;
The extraction means includes
Any one of claims 1 to 8, characterized in that is arranged to extract a feature point on the basis of the pixel value of each pixel of a captured image obtained by filtering by the processing unit The moving body determination apparatus described in 1.

コンピュータに、複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定させるためのコンピュータプログラムにおいて、
コンピュータに、
撮像画像の各画素の画素値に基づいて特徴点を抽出するステップと、
前記撮像画像内の所定の横幅を有する第１部分領域に含まれ、抽出した特徴点の数Ｎ１、及び前記所定の横幅より小さい横幅を有する第２部分領域に含まれ、抽出した特徴点の数Ｎ２をそれぞれ計数するステップと、
計数した特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、所定の第１閾値より小さい場合、移動体が第１種別であると判定するステップと、
前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きい第２閾値より大きい場合、移動体が前記第１種別と異なる第２種別であると判定するステップと、
前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きく、前記第２閾値より小さい場合、特徴点の数Ｎ１と数Ｎ２との差分と、所定の第３閾値との大小に応じて、移動体が前記第１種別であるか前記第２種別であるかを判定するステップと
を実行させることを特徴とするコンピュータプログラム。 In a computer program for causing a computer to determine the type of moving object using a captured image in which a plurality of pixels are arranged in a matrix,
On the computer,
Extracting feature points based on pixel values of each pixel of the captured image;
The number N1 of feature points extracted and included in the first partial region having a predetermined lateral width in the captured image, and the number of feature points extracted and included in the second partial region having a lateral width smaller than the predetermined lateral width. Counting N2 respectively;
When the ratio of the number N2 to the counted number N1 of the feature points (N2 / N1) is smaller than a predetermined first threshold, the step of determining that the moving body is the first type;
When the ratio (N2 / N1) is greater than a second threshold value greater than the first threshold value, the step of determining that the moving body is a second type different from the first type;
When the ratio (N2 / N1) is larger than the first threshold value and smaller than the second threshold value, it moves according to the difference between the number N1 and the number N2 of feature points and the predetermined third threshold value. And a step of determining whether a body is the first type or the second type .

複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定する移動体判定装置による移動体判定方法において、
撮像画像の各画素の画素値に基づいて特徴点を抽出するステップと、
前記撮像画像内の所定の横幅を有する第１部分領域に含まれ、抽出された特徴点の数Ｎ１、及び前記所定の横幅より小さい横幅を有する第２部分領域に含まれ、抽出された特徴点の数Ｎ２をそれぞれ計数するステップと、
計数された特徴点の数Ｎ１に対する数Ｎ２の比（Ｎ２／Ｎ１）が、所定の第１閾値より小さい場合、移動体が第１種別であると判定するステップと、
前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きい第２閾値より大きい場合、移動体が前記第１種別と異なる第２種別であると判定するステップと、
前記比（Ｎ２／Ｎ１）が、前記第１閾値より大きく、前記第２閾値より小さい場合、特徴点の数Ｎ１と数Ｎ２との差分と、所定の第３閾値との大小に応じて、移動体が前記第１種別であるか前記第２種別であるかを判定するステップと
を含むことを特徴とする移動体判定方法。 In the moving body determination method by the moving body determination device that determines the type of the moving body using a captured image in which a plurality of pixels are arranged in a matrix,
Extracting feature points based on pixel values of each pixel of the captured image;
The extracted feature points included in the first partial region having a predetermined lateral width in the captured image and included in the extracted second feature region N1 and the second partial region having a lateral width smaller than the predetermined lateral width. Respectively counting the number N2 of
When the ratio of the number N2 to the counted number N1 of feature points (N2 / N1) is smaller than a predetermined first threshold value, the step of determining that the moving body is the first type;
When the ratio (N2 / N1) is greater than a second threshold value greater than the first threshold value, the step of determining that the moving body is a second type different from the first type;
When the ratio (N2 / N1) is larger than the first threshold value and smaller than the second threshold value, it moves according to the difference between the number N1 and the number N2 of feature points and the predetermined third threshold value. And a step of determining whether the body is the first type or the second type .