JP5505440B2 - Moving object determination device, computer program, and moving object determination method - Google Patents
Moving object determination device, computer program, and moving object determination method Download PDFInfo
- Publication number
- JP5505440B2 JP5505440B2 JP2012036750A JP2012036750A JP5505440B2 JP 5505440 B2 JP5505440 B2 JP 5505440B2 JP 2012036750 A JP2012036750 A JP 2012036750A JP 2012036750 A JP2012036750 A JP 2012036750A JP 5505440 B2 JP5505440 B2 JP 5505440B2
- Authority
- JP
- Japan
- Prior art keywords
- type
- captured image
- feature points
- moving body
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定する移動体判定装置、該移動体判定装置をコンピュータで実現するためのコンピュータプログラム及び移動体判定方法に関する。 The present invention relates to a moving body determination device that determines a type of a moving body using a captured image in which a plurality of pixels are arranged in a matrix, a computer program and a moving body determination method for realizing the moving body determination device by a computer About.
円滑な交通を実現し、あるいは交通事故を未然に防止するために詳細な交通情報を提供することが求められている。例えば、道路の所定の地点を通過する車両の通過台数又は平均速度等のマクロな交通パラメータを取得することができる装置のみならず、個々の車両の位置又は動きを精度良く計測することができる装置が求められている。 It is demanded to provide detailed traffic information in order to realize smooth traffic or prevent traffic accidents. For example, not only a device that can acquire macro traffic parameters such as the number of vehicles passing through a predetermined point on a road or an average speed, but also a device that can accurately measure the position or movement of each vehicle. Is required.
これらの計測装置は屋外に設置されることが多く、様々な環境変化に対応した安定性のある計測精度が要求されている。また、これらの装置を用いた社会インフラを普及させるためには、安価な装置を提供することも不可欠である。 These measuring devices are often installed outdoors, and stable measuring accuracy corresponding to various environmental changes is required. In order to spread social infrastructure using these devices, it is also essential to provide inexpensive devices.
このような装置の一例として、画像処理技術を利用した画像式車両感知器の普及が進んでいる。例えば、ビデオカメラで撮像された画像情報から、車両の存在、小型車や中型車などの車種、車両速度などを検出して交通流計測を行う装置が開示されている(特許文献1参照)。 As an example of such an apparatus, an image-type vehicle detector using an image processing technique has been widely used. For example, an apparatus for measuring traffic flow by detecting the presence of a vehicle, a vehicle type such as a small-sized vehicle or a medium-sized vehicle, vehicle speed, and the like from image information captured by a video camera is disclosed (see Patent Document 1).
しかし、特許文献1に開示されている装置は、現在のフレームでの撮像画像と過去のフレームでの撮像画像とを比較し、例えば、両者の画素値の差分が所定の閾値を超えた場合には、車両が存在すると判定するものである。また、従来の技術として、予め車両が存在しない道路の画像を背景画像として記憶しておき、撮像画像と背景画像との差分画像に基づいて車両を検出するものもある。
However, the apparatus disclosed in
昼間の時間帯や季節などによっては、車両の前方、横の路面上等には車両の影が発生する場合があり、車両の移動に伴って影も移動する。また、影の部分と影でない部分との輝度差もあるので、差分画像に基づいて車両を検出する場合、影の部分を車両として誤って検出するという問題があり、車両の種別を判定することが困難であった。このため、精度よく車両などの移動体の種別を判定することが望まれていた。 Depending on the daytime time zone, season, etc., the shadow of the vehicle may be generated in front of the vehicle, on the side of the road, etc., and the shadow also moves as the vehicle moves. Also, since there is a luminance difference between the shadow part and the non-shadow part, when detecting a vehicle based on the difference image, there is a problem that the shadow part is erroneously detected as a vehicle, and the type of the vehicle is determined. It was difficult. For this reason, it has been desired to accurately determine the type of a moving body such as a vehicle.
本発明は、斯かる事情に鑑みてなされたものであり、従来よりもさらに精度良く移動体の種別を判定することができる移動体判定装置、該移動体判定装置をコンピュータで実現するためのコンピュータプログラム及び移動体判定方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and a moving body determination device capable of determining the type of a moving body with higher accuracy than before, and a computer for realizing the moving body determination device by a computer It is an object to provide a program and a moving object determination method.
第1発明に係る移動体判定装置は、複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定する移動体判定装置において、撮像画像の各画素の画素値に基づいて特徴点を抽出する抽出手段と、前記撮像画像内の所定の横幅を有する第1部分領域に含まれ、前記抽出手段で抽出した特徴点の数N1、及び前記所定の横幅より小さい横幅を有する第2部分領域に含まれ、前記抽出手段で抽出した特徴点の数N2をそれぞれ計数する計数手段と、該計数手段で計数した特徴点の数N1及びN2の比(N2/N1)に基づいて、移動体の種別を判定する判定手段とを備え、前記判定手段は、前記比(N2/N1)が、所定の第1閾値より小さい場合、移動体が第1種別であると判定するようにしてあり、前記比(N2/N1)が、前記第1閾値より大きい第2閾値より大きい場合、移動体が前記第1種別と異なる第2種別であると判定するようにしてあり、前記比(N2/N1)が、前記第1閾値より大きく、前記第2閾値より小さい場合、特徴点の数N1と数N2との差分と、所定の第3閾値との大小に応じて、移動体が前記第1種別であるか前記第2種別であるかを判定するよう構成してあることを特徴とする。 The mobile body determination device according to the first aspect of the present invention is the mobile body determination device that determines the type of mobile body using a captured image in which a plurality of pixels are arranged in a matrix, based on the pixel value of each pixel of the captured image. Extraction means for extracting feature points; and first number of feature points N1 extracted by the extraction means included in the first partial region having a predetermined lateral width in the captured image, and a first width having a lateral width smaller than the predetermined lateral width. Based on the counting means for counting the number N2 of feature points included in the two partial areas and extracted by the extraction means, and the ratio (N2 / N1) of the number of feature points N1 and N2 counted by the counting means, Determining means for determining the type of the moving object , wherein the determining means determines that the moving object is the first type when the ratio (N2 / N1) is smaller than a predetermined first threshold value. And the ratio (N2 / N1) is If the second threshold value is greater than the first threshold value, the mobile body is determined to be a second type different from the first type, and the ratio (N2 / N1) is greater than the first threshold value. If the value is smaller than the second threshold, the moving object is the first type or the second type depending on the difference between the number N1 and the number N2 of feature points and the predetermined third threshold. configured characterized tare Rukoto to determine.
第2発明に係る移動体判定装置は、第1発明において、前記判定手段は、特徴点の数N1と数N2との差分が前記第3閾値より小さい場合に、特徴点の数N2が所定の第4閾値より小さいときは、移動体が前記第2種別であると判定するように構成してあることを特徴とする。 In the mobile body determination device according to a second aspect of the present invention, in the first aspect , the determination means determines that the number N2 of feature points is a predetermined value when the difference between the number N1 and the number N2 of feature points is smaller than the third threshold value. When the value is smaller than the fourth threshold value, the mobile object is determined to be the second type.
第3発明に係る移動体判定装置は、第2発明において、前記判定手段は、時系列に移動体の種別を判定するようにしてあり、特徴点の数N1と数N2との差分が前記第3閾値より小さい場合に、特徴点の数N2が前記第4閾値より大きいときは、移動体の種別が直近に判定した種別と同じであると判定するように構成してあることを特徴とする。 According to a third aspect of the present invention, there is provided the mobile body determination device according to the second aspect , wherein the determination means determines the type of the mobile body in time series, and the difference between the number N1 and the number N2 of feature points is the first. When the number N2 of feature points is larger than the fourth threshold value when the number is less than 3, the mobile object type is determined to be the same as the most recently determined type. .
第4発明に係る移動体判定装置は、第1発明乃至第3発明のいずれか1つにおいて、前記第1種別は、四輪車両であり、前記第2種別は、二輪車両であることを特徴とする。 Moving object determination device according to the fourth invention, in any one of the first invention to third invention, the first type is a four-wheel vehicle, characterized in that the second type is a two-wheeled vehicle And
第5発明に係る移動体判定装置は、第1発明乃至第4発明のいずれか1つにおいて、前記計数手段で計数した特徴点の数が所定の特徴点閾値以上となる前記一方向ラインの位置のうち、最上位位置及び最下位位置を特定する位置特定手段を備え、前記判定手段は、前記位置特定手段で特定した最上位位置が前記撮像画像の上半分の領域にあり、特定した最下位位置が前記撮像画像の下半分の領域にある場合、移動体の種別を判定するように構成してあることを特徴とする。 Moving object determination device according to a fifth invention, in any one of the first invention to fourth invention, the position of the unidirectional line number of feature points counted in said counting means is equal to or greater than a predetermined feature point threshold Position determining means for specifying the highest position and the lowest position, and the determination means has the highest position specified by the position specifying means in the upper half area of the captured image, and the specified lowest position. When the position is in the lower half area of the captured image, the type of the moving body is determined.
第6発明に係る移動体判定装置は、第1発明乃至第5発明のいずれか1つにおいて、前記抽出手段で抽出した特徴点に基づいて、前記撮像画像内の移動体の横位置を検出する検出手段を備え、前記判定手段は、前記検出手段で検出した移動体の横位置が、前記撮像画像の中央から横方向に所定の第1幅を有する中央領域内にある場合、移動体の種別を判定するように構成してあることを特徴とする。 According to a sixth aspect of the present invention, in any one of the first to fifth aspects, the mobile body determination device detects a lateral position of the mobile body in the captured image based on the feature points extracted by the extraction means. A detection unit, wherein the determination unit determines the type of the moving object when the lateral position of the moving object detected by the detection unit is within a central region having a predetermined first width in the horizontal direction from the center of the captured image. It is characterized by determining.
第7発明に係る移動体判定装置は、第6発明において、前記抽出手段で抽出した特徴点に基づいて、移動体の幅を検出する幅検出手段を備え、前記判定手段は、前記検出手段で検出した移動体の横位置が前記中央領域内にない場合に、前記幅検出手段で検出した移動体の幅が所定の幅閾値より大きいとき、移動体の種別を判定するように構成してあることを特徴とする。 According to a seventh aspect of the present invention, there is provided a mobile body determination apparatus according to the sixth aspect, further comprising: width detection means for detecting a width of the mobile body based on the feature points extracted by the extraction means, wherein the determination means is the detection means. When the detected lateral position of the moving body is not within the central region, the type of the moving body is determined when the width of the moving body detected by the width detecting unit is larger than a predetermined width threshold. It is characterized by that.
第8発明に係る移動体判定装置は、第6発明において、前記判定手段は、前記検出手段で検出した移動体の横位置が前記中央領域内にない場合に、該中央領域を間にして分離され、所定の第2幅を有する2つの分離領域内にあるとき、移動体の種別を判定するように構成してあることを特徴とする。 According to an eighth aspect of the present invention, there is provided the mobile body determination device according to the sixth aspect , wherein when the lateral position of the mobile body detected by the detection means is not within the central area, the determination section separates the central area in between. The type of the moving object is determined when it is within two separation regions having a predetermined second width.
第9発明に係る移動体判定装置は、第1発明乃至第8発明のいずれか1つにおいて、撮像時点が異なる第1の撮像画像及び第2の撮像画像それぞれの対応する各画素の画素値の差分が第1差分閾値より大きい第1の画素を特定する第1画素特定手段と、前記第1の撮像画像及び第2の撮像画像それぞれの対応する各画素の画素値の差分が前記第1差分閾値より小さく、該第1差分閾値より小さい第2差分閾値より大きい第2の画素を特定する第2画素特定手段と、前記第1画素特定手段で特定した第1の画素及び該第1の画素に隣接する画素であって前記第2の画素で構成される差分画像を生成する差分画像生成手段と、前記第1の撮像画像又は第2の撮像画像のいずれかを前記差分画像生成手段で生成した差分画像でフィルタ処理する処理手段とを備え、前記抽出手段は、前記処理手段でフィルタ処理して得られた撮像画像の各画素の画素値に基づいて特徴点を抽出するように構成してあることを特徴とする。 According to a ninth aspect of the present invention, there is provided the mobile body determination device according to any one of the first to eighth aspects, wherein the pixel values of the respective pixels corresponding to the first captured image and the second captured image at different imaging time points are used. First pixel specifying means for specifying a first pixel whose difference is greater than a first difference threshold, and a difference between pixel values of corresponding pixels of each of the first captured image and the second captured image is the first difference. A second pixel specifying means for specifying a second pixel that is smaller than a threshold and greater than a second difference threshold that is less than the first difference threshold; a first pixel specified by the first pixel specifying means; and the first pixel A difference image generation unit that generates a difference image that is a pixel adjacent to the second pixel and that includes the second pixel, and the difference image generation unit generates either the first captured image or the second captured image. To filter the difference image And a stage, the extraction means is characterized in that is arranged to extract a feature point on the basis of the pixel value of each pixel of a captured image obtained by filtering by the processing means.
第10発明に係るコンピュータプログラムは、コンピュータに、複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定させるためのコンピュータプログラムにおいて、コンピュータに、撮像画像の各画素の画素値に基づいて特徴点を抽出するステップと、前記撮像画像内の所定の横幅を有する第1部分領域に含まれ、抽出した特徴点の数N1、及び前記所定の横幅より小さい横幅を有する第2部分領域に含まれ、抽出した特徴点の数N2をそれぞれ計数するステップと、計数した特徴点の数N1に対する数N2の比(N2/N1)が、所定の第1閾値より小さい場合、移動体が第1種別であると判定するステップと、前記比(N2/N1)が、前記第1閾値より大きい第2閾値より大きい場合、移動体が前記第1種別と異なる第2種別であると判定するステップと、前記比(N2/N1)が、前記第1閾値より大きく、前記第2閾値より小さい場合、特徴点の数N1と数N2との差分と、所定の第3閾値との大小に応じて、移動体が前記第1種別であるか前記第2種別であるかを判定するステップとを実行させることを特徴とする。 A computer program according to a tenth aspect of the present invention is a computer program for causing a computer to determine the type of a moving body using a captured image in which a plurality of pixels are arranged in a matrix. Extracting a feature point based on the value; and a second number N1 of the extracted feature points included in the first partial region having a predetermined horizontal width in the captured image and a horizontal width smaller than the predetermined horizontal width The step of counting the number N2 of extracted feature points included in the partial region, and the ratio of the number N2 to the number N1 of feature points (N2 / N1) is smaller than a predetermined first threshold value, When the ratio (N2 / N1) is greater than a second threshold value that is greater than the first threshold value, the moving object is determined to be the first type. A step of determining that the second type is, and if the ratio (N2 / N1) is larger than the first threshold and smaller than the second threshold, a difference between the number N1 and the number N2 of feature points, and a predetermined depending on the magnitude of the third threshold value, the moving body is characterized in that to execute the steps of: determining whether said second type or the first is classification.
第11発明に係る移動体判定方法は、複数の画素がマトリクス状に配された撮像画像を用いて移動体の種別を判定する移動体判定装置による移動体判定方法において、撮像画像の各画素の画素値に基づいて特徴点を抽出するステップと、前記撮像画像内の所定の横幅を有する第1部分領域に含まれ、抽出された特徴点の数N1、及び前記所定の横幅より小さい横幅を有する第2部分領域に含まれ、抽出された特徴点の数N2をそれぞれ計数するステップと、計数された特徴点の数N1に対する数N2の比(N2/N1)が、所定の第1閾値より小さい場合、移動体が第1種別であると判定するステップと、前記比(N2/N1)が、前記第1閾値より大きい第2閾値より大きい場合、移動体が前記第1種別と異なる第2種別であると判定するステップと、前記比(N2/N1)が、前記第1閾値より大きく、前記第2閾値より小さい場合、特徴点の数N1と数N2との差分と、所定の第3閾値との大小に応じて、移動体が前記第1種別であるか前記第2種別であるかを判定するステップとを含むことを特徴とする。 A moving body determination method according to an eleventh aspect of the present invention is the moving body determination method by the moving body determination device that determines the type of moving body using a captured image in which a plurality of pixels are arranged in a matrix. Extracting feature points based on pixel values; and a number N1 of extracted feature points included in the first partial region having a predetermined lateral width in the captured image, and having a lateral width smaller than the predetermined lateral width The step of counting the number N2 of extracted feature points included in the second partial region, respectively, and the ratio (N2 / N1) of the number N2 to the number N1 of feature points counted is smaller than a predetermined first threshold value If the mobile object is of the first type, and the ratio (N2 / N1) is greater than a second threshold value that is greater than the first threshold value, the mobile object is a second type that is different from the first type. It is determined that And the ratio (N2 / N1) is greater than the first threshold and smaller than the second threshold, depending on the difference between the difference between the number N1 and the number N2 of feature points and the predetermined third threshold Te, wherein the moving body and determining whether the said second type or the first is classification.
第1発明、第10発明及び第11発明にあっては、抽出手段は、撮像画像の各画素(例えば、隣り合う各画素)の画素値に基づいて特徴点を抽出する。撮像画像の横方向をx軸、縦方向をy軸とし、xy座標の原点を撮像画像の左上とすると、各画素は、例えば、横方向(x軸方向)に隣り合う各画素(例えば、隣接する画素同士)、及び縦方向(y軸方向)に隣り合う各画素(例えば、隣接する画素同士)である。画素値は、例えば、輝度値Yである。特徴点は、任意の注目画素及び当該注目画素と隣り合う画素の輝度値の差分の絶対値が所定の輝度閾値より大きい場合、当該注目画素を特徴点として抽出する。 In the first invention, the tenth invention and the eleventh invention, the extracting means extracts the feature points based on the pixel value of each pixel (for example, each adjacent pixel) of the captured image. If the horizontal direction of the captured image is the x-axis, the vertical direction is the y-axis, and the origin of the xy coordinates is the upper left of the captured image, each pixel is, for example, each pixel adjacent to the horizontal direction (x-axis direction) (for example, adjacent Pixels adjacent to each other in the vertical direction (y-axis direction) (for example, adjacent pixels). The pixel value is, for example, the luminance value Y. A feature point is extracted as a feature point when the absolute value of the difference between the luminance values of an arbitrary pixel of interest and a pixel adjacent to the pixel of interest is larger than a predetermined luminance threshold.
計数手段は、撮像画像内の所定の横幅を有する第1部分領域に含まれ、抽出した特徴点の数N1、及び当該所定の横幅より小さい横幅を有する第2部分領域に含まれ、抽出した特徴点の数N2をそれぞれ計数する。第1部分領域は、車幅が比較的長い領域であるのに対し、第2部分領域は、車幅が比較的短い領域であり、移動体の種別(種別は、例えば、幅の長さに応じて異なるものとして分けられたものである)に対応する。例えば、第1部分領域が、幅が比較的長い第1種別に対応する場合、第2部分領域は幅が比較的短い第2種別に対応させることができる。そして、第1部分領域が四輪車両の幅に対応する場合、第2部分領域は二輪車両の幅に対応させることができる。また、第1部分領域が大型車両の幅に対応する場合、第2部分領域は普通車両の幅に対応させることができる。第1部分領域を四輪車幅範囲とも称し、第2部分領域を二輪車幅範囲とも称する。 The counting means is included in the first partial region having a predetermined lateral width in the captured image, and is included in the extracted number N1 of feature points and the second partial region having a lateral width smaller than the predetermined lateral width, and extracted features. The number of points N2 is counted. The first partial area is an area having a relatively long vehicle width, whereas the second partial area is an area having a relatively short vehicle width, and the type of mobile body (the type is, for example, the length of the width). Corresponding to different ones). For example, when the first partial region corresponds to the first type having a relatively wide width, the second partial region can correspond to the second type having a relatively short width. When the first partial region corresponds to the width of the four-wheel vehicle, the second partial region can correspond to the width of the two-wheel vehicle. When the first partial area corresponds to the width of the large vehicle, the second partial area can correspond to the width of the ordinary vehicle. The first partial region is also referred to as a four-wheeled vehicle width range, and the second partial region is also referred to as a two-wheeled vehicle width range.
判定手段は、計数した特徴点の数N1及びN2の比(例えば、N2/N1)に基づいて、移動体の種別を判定する。例えば、幅の短い第2種別の移動体が撮像画像上で映っている場合、第1部分領域に含まれる特徴点の数N1が少なくなるので、比(N2/N1)の値は大きくなる。また、幅の長い第1種別の移動体が撮像画像上で映っている場合、第1部分領域に含まれる特徴点の数N1が多くなるので、比(N2/N1)の値は小さくなる。隣り合う(隣接する)画素同士の画素値(輝度値)の差分が所定の閾値以上となる画素を特徴点として抽出するので、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分が特徴点として抽出されず、路面上の影に影響されることなく、移動体(例えば、車両)の文字、ヘッドライト、フロントグリル、テールランプ等の輝度変化を移動体の種別に応じて定量化することができるので、特徴点の数の比(N2/N1)の大小に応じて移動体の種別を精度よく判定することができる。 The determination means determines the type of the moving object based on the ratio (for example, N2 / N1) of the counted number N1 and N2. For example, when the second type moving body with a short width is shown on the captured image, the number N1 of feature points included in the first partial region is reduced, and the value of the ratio (N2 / N1) is increased. Further, when the first type moving body having a long width is reflected on the captured image, the number N1 of feature points included in the first partial region is increased, and thus the value of the ratio (N2 / N1) is decreased. Since a pixel whose pixel value (luminance value) difference between adjacent (adjacent) pixels is equal to or greater than a predetermined threshold is extracted as a feature point, it is on the road surface caused by the influence of external environment changes such as sunshine changes and weather changes. The shadow part is not extracted as a feature point, and it is not affected by the shadow on the road surface. The brightness change of the moving object (for example, vehicle), headlights, front grille, tail lamp, etc., depends on the moving object type. Therefore, the type of the moving object can be accurately determined according to the ratio of the number of feature points (N2 / N1).
また、判定手段は、特徴点の数N1に対する数N2の比(N2/N1)が、所定の第1閾値Th1より小さい場合、移動体が第1種別であると判定する。第1種別は、例えば、比較的幅の長い移動体である。幅の長い第1種別の移動体が撮像画像上で映っている場合、第1部分領域に含まれる特徴点の数N1が多くなるので、比(N2/N1)の値は小さくなる。そこで、比(N2/N1)が、所定の第1閾値Th1より小さい場合、移動体が第1種別であると判定することができる。 In addition , the determination unit determines that the moving body is the first type when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is smaller than a predetermined first threshold Th1. The first type is, for example, a relatively long moving body. When the first type mobile body having a long width is reflected on the captured image, the number N1 of feature points included in the first partial region is increased, and thus the value of the ratio (N2 / N1) is decreased. Therefore, when the ratio (N2 / N1) is smaller than the predetermined first threshold Th1, it can be determined that the moving body is the first type.
また、判定手段は、特徴点の数N1に対する数N2の比(N2/N1)が、第2閾値Th2(Th2>Th1)より大きい場合、移動体が第1種別と異なる第2種別であると判定する。第2種別は、例えば、比較的幅の短い移動体である。幅の短い第2種別の移動体が撮像画像上で映っている場合、第1部分領域に含まれる特徴点の数N1が少なくなるので、比(N2/N1)の値は大きくなる。そこで、比(N2/N1)が、所定の第2閾値Th2より大きい場合、移動体が第2種別であると判定することができる。 In addition , the determination unit determines that the moving body is a second type different from the first type when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is greater than a second threshold Th2 (Th2> Th1). judge. The second type is, for example, a mobile body having a relatively short width. When the second type moving body with a short width is shown on the captured image, the number N1 of feature points included in the first partial region is reduced, and thus the value of the ratio (N2 / N1) is increased. Therefore, when the ratio (N2 / N1) is larger than the predetermined second threshold Th2, it can be determined that the moving body is the second type.
また、判定手段は、特徴点の数N1に対する数N2の比(N2/N1)が、第1閾値Th1より大きく、第2閾値Th2より小さい場合、特徴点の数N1と数N2との差分(例えば、N1−N2)と、所定の第3閾値Th3との大小に応じて、移動体が第1種別であるか第2種別であるかを判定する。比(N2/N1)が、第1閾値Th1より大きく、第2閾値Th2より小さい場合には、第1種別であるか第2種別であるかを判定することができない。そこで、特徴点の数N1と数N2との差分(N1−N2)と、第3閾値Th3との大小に応じて、移動体の種別を判定する。例えば、幅の短い第2種別の移動体が撮像画像上で映っている場合、第1部分領域に含まれる特徴点の数N1が少なくなるので、差分(N1−N2)の値は小さくなる。また、幅の長い第1種別の移動体が撮像画像上で映っている場合、第1部分領域に含まれる特徴点の数N1が多くなるので、差分(N1−N2)の値は大きくなる。そこで、特徴点の数N1と数N2との差分(N1−N2)が、第3閾値Th3より大きい場合には、幅の長い第1種別であると判定することができ、特徴点の数N1と数N2との差分(N1−N2)が、第3閾値Th3より小さい場合には、幅の短い第2種別であると判定することができる。 In addition , when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is larger than the first threshold Th1 and smaller than the second threshold Th2, the determination unit determines the difference between the number N1 of feature points and the number N2 ( For example, it is determined whether the moving body is the first type or the second type according to the magnitude of N1-N2) and a predetermined third threshold Th3. When the ratio (N2 / N1) is larger than the first threshold Th1 and smaller than the second threshold Th2, it cannot be determined whether the ratio is the first type or the second type. Therefore, the type of the moving body is determined according to the difference between the number N1 and the number N2 of feature points (N1−N2) and the third threshold Th3. For example, when the second type moving body with a short width is shown on the captured image, the number N1 of feature points included in the first partial region is reduced, and thus the difference (N1-N2) is reduced. Further, when the first type moving body having a long width is reflected on the captured image, the number N1 of feature points included in the first partial region is increased, and thus the value of the difference (N1−N2) is increased. Therefore, when the difference (N1−N2) between the number N1 and the number N2 of feature points is larger than the third threshold Th3, it can be determined that the type is a long first type, and the number N1 of feature points When the difference (N1−N2) between N2 and the number N2 is smaller than the third threshold Th3, it can be determined that the second type has a short width.
第2発明にあっては、判定手段は、特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合に、特徴点の数N2が所定の第4閾値Th4より小さいときは、移動体が第2種別であると判定する。特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合には、幅の短い第2種別であると判定することができる。そして、四輪車両などの幅の長い第1種別の移動体では、フロントグリル、文字等が多く存在するので特徴点の数N2は多くなり、二輪車両などの幅の短い第2種別の移動体では、フロントグリル、文字等が少ないので特徴点の数N2は少なくなる。このため、特徴点の数N2が所定の第4閾値Th4より小さい場合には、二輪車両などの幅の短い第2種別であると判定することができる。したがって、特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合に、さらに特徴点の数N2が所定の第4閾値Th4より小さいか否かを判定することにより、精度良く移動体の種別を判定することができる。 In the second invention, the determination means determines that the number N2 of feature points is a predetermined fourth threshold Th4 when the difference (N1-N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3. When it is smaller, it is determined that the moving body is the second type. When the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it can be determined that the second type has a short width. In the first type mobile body having a long width such as a four-wheeled vehicle, since there are many front grills, characters, etc., the number N2 of feature points increases, and the second type mobile body having a short width such as a two-wheel vehicle. Then, since there are few front grills, letters, etc., the number N2 of feature points is reduced. For this reason, when the number N2 of feature points is smaller than the predetermined fourth threshold Th4, it can be determined that the second type has a short width such as a two-wheeled vehicle. Therefore, when the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it is further determined whether or not the number N2 of feature points is smaller than a predetermined fourth threshold Th4. Thus, the type of the moving body can be determined with high accuracy.
第3発明にあっては、判定手段は、時系列に移動体の種別を判定するようにしてあり、特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合に、特徴点の数N2が第4閾値Th4より大きいときは、移動体の種別が直近に判定した種別と同じであると判定する。特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合には、幅の短い第2種別であると判定することができる。しかし、特徴点の数N2が所定の第4閾値Th4より大きい場合には、四輪車両などの幅の長い第1種別の移動体であると判定することもできる。そこで、特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合に、特徴点の数N2が第4閾値Th4より大きいときは、第1種別であるか第2種別であるかを正確に判定することができないので、移動体の種別が直近に判定した種別と変わらないものとして、直近に判定した種別と同じであると判定する。これにより、移動体の種別の判定が困難なタイミングが生じても直近に判定した結果を用いることができ、種別の判定を誤ることを防止することができる。 In the third invention, the determination means determines the type of the moving object in time series, and the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3. In this case, when the number N2 of feature points is larger than the fourth threshold Th4, it is determined that the type of the moving object is the same as the type determined most recently. When the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it can be determined that the second type has a short width. However, when the number N2 of feature points is larger than the predetermined fourth threshold Th4, it can be determined that the moving body is the first type mobile body having a long width such as a four-wheel vehicle. Therefore, when the difference (N1−N2) between the number N1 of feature points and the number N2 is smaller than the third threshold Th3, if the number N2 of feature points is larger than the fourth threshold Th4, it is determined whether the type is the first type. Since it is impossible to accurately determine whether the type is two, it is determined that the type of the moving body is the same as the most recently determined type, assuming that it is not different from the most recently determined type. As a result, even when a timing at which it is difficult to determine the type of the moving object, the most recent determination result can be used, and it is possible to prevent the type from being erroneously determined.
第4発明にあっては、第1種別は四輪車両であり、第2種別は二輪車両である。これにより、四輪車両と二輪車両との区別をすることができる。 In the fourth invention, the first type is a four-wheel vehicle, and the second type is a two-wheel vehicle. Thereby, a four-wheel vehicle and a two-wheel vehicle can be distinguished.
第5発明にあっては、計数手段は、第1部分領域又は第2部分領域の一方向ライン(例えば、横ライン)毎に特徴点の数を計数する。すなわち、計数手段は、第1部分領域(四輪車幅範囲)の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う(隣接する)画素の輝度値の差分の絶対値が所定の輝度閾値Yth3より大きい場合、当該注目画素を特徴点として抽出する。横ラインは、横方向(x軸)に沿ったラインであり、例えば、撮像画像の大きさを(縦×横)画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、第1計数手段は、撮像画像の第1部分領域(四輪車幅範囲)内の特徴点の数を横方向(横ライン毎)に計数して合計し、合計した値を度数とした特徴点のヒストグラム(横方向四輪特徴投影ヒストグラム)を生成する。また、第1計数手段は、第2部分領域(二輪車幅範囲)の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う(隣接する)画素の輝度値の差分の絶対値が所定の輝度閾値Yth3より大きい場合、当該注目画素を特徴点として抽出する。横ラインは、横方向(x軸)に沿ったラインであり、例えば、撮像画像の大きさを(縦×横)画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、第1計数手段は、撮像画像の第2部分領域(二輪車幅範囲)内の特徴点の数を横方向(横ライン毎)に計数して合計し、合計した値を度数とした特徴点のヒストグラム(横方向二輪特徴投影ヒストグラム)を生成する。 In the fifth invention, the counting means counts the number of feature points for each one-way line (for example, a horizontal line) of the first partial region or the second partial region. That is, the counting means counts the number of extracted feature points for each horizontal line of the first partial region (four-wheeled vehicle width range). In this case, if the absolute value of the difference between the luminance values of an arbitrary target pixel and a pixel that is adjacent to (adjacent to) the target pixel in the horizontal direction is greater than a predetermined luminance threshold Yth3, the feature point is the feature point. Extract as The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the first counting means counts the number of feature points in the first partial region (four-wheeled vehicle width range) of the captured image in the horizontal direction (for each horizontal line) and sums up, and the total value is used as the frequency. A histogram of feature points (horizontal four-wheel feature projection histogram) is generated. The first counting means counts the number of extracted feature points for each horizontal line of the second partial region (two-wheeled vehicle width range). In this case, if the absolute value of the difference between the luminance values of an arbitrary target pixel and a pixel that is adjacent to (adjacent to) the target pixel in the horizontal direction is greater than a predetermined luminance threshold Yth3, the feature point is the feature point. Extract as The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the first counting means counts the number of feature points in the second partial region (two-wheeled vehicle width range) of the captured image in the horizontal direction (each horizontal line) and adds up the feature points, and the total value is the feature point. The histogram (lateral two-wheel feature projection histogram) is generated.
位置特定手段は、第1計数手段で計数した特徴点の数が所定の特徴点閾値以上となる横ラインの位置のうち、最上位位置及び最下位位置を特定する。特徴点閾値は、適宜設定することができ、例えば、1とすることができる。特徴点閾値が1である場合は、特徴点が存在するか否かを判定することになる。すなわち、横方向四輪特徴投影ヒストグラムの度数が0を超える(1以上)最も上方の位置を最上位位置とし、度数が0を超える(1以上)最も下方の位置を最下位位置とする。横方向二輪特徴投影ヒストグラムについても、同様に、度数が0を超える(1以上)最も上方の位置を最上位位置とし、度数が0を超える(1以上)最も下方の位置を最下位位置とする。 The position specifying means specifies the highest position and the lowest position among horizontal line positions where the number of feature points counted by the first counting means is equal to or greater than a predetermined feature point threshold. The feature point threshold can be set as appropriate, and can be set to 1, for example. When the feature point threshold is 1, it is determined whether or not a feature point exists. That is, the uppermost position where the frequency of the horizontal four-wheel feature projection histogram exceeds 0 (1 or more) is the highest position, and the lowermost position where the frequency exceeds 0 (1 or more) is the lowest position. Similarly for the horizontal two-wheel feature projection histogram, the highest position where the frequency exceeds 0 (1 or more) is the highest position, and the lowest position where the frequency is more than 0 (1 or more) is the lowest position. .
判定手段は、特定した最上位位置が撮像画像の上半分の領域にあり、特定した最下位位置が撮像画像の下半分の領域にある場合、移動体の種別を判定する。移動体(車両)のナンバープレート、ヘッドライト、テールランプ、バンパー、フロントグリル等の車頭部分又は車尾部分が撮像画像の中心付近で映っている場合には、特徴点の分布(ヒストグラム)の長さ(横ラインの数)は長くなり、最上位位置が撮像画像の上半分の領域にあり、最下位位置が撮像画像の下半分の領域にあるので、移動体の種別を精度良く判定することができる。逆に、車頭部分又は車尾部分が、撮像画像の中心付近で映っていない場合には、最上位位置が撮像画像の下半分の領域にあり、あるいは、最下位位置が撮像画像の上半分の領域にあるので、移動体の種別を精度良く判定することができないため、移動体の種別を判定しない。これにより、移動体の種別を精度良く判定することができるとともに、誤って判定することを防止することができる。 The determination unit determines the type of the moving object when the identified highest position is in the upper half area of the captured image and the identified lowest position is in the lower half area of the captured image. Length of feature point distribution (histogram) when the vehicle head part or car tail part such as license plate, headlight, tail lamp, bumper, front grille, etc. of the moving object (vehicle) is reflected near the center of the captured image (Number of horizontal lines) becomes longer, the highest position is in the upper half area of the captured image, and the lowest position is in the lower half area of the captured image. it can. On the contrary, when the vehicle head portion or the vehicle rear portion is not reflected near the center of the captured image, the highest position is in the lower half area of the captured image, or the lowest position is the upper half of the captured image. Since it is in the region, the type of the moving object cannot be determined with high accuracy, and therefore the type of the moving object is not determined. Thereby, while being able to determine the classification of a moving body with a sufficient precision, it can prevent determining incorrectly.
第6発明にあっては、検出手段は、抽出した特徴点に基づいて、撮像画像内の移動体の横位置を検出する。移動体の位置は、例えば、以下のようにして検出することができる。(1)撮像画像の横ライン毎に、抽出した特徴点の数を計数する。すなわち、撮像画像上の特徴点の数を横方向(横ライン毎)に計数して合計し、合計した値を度数とした特徴点の横方向のヒストグラムを生成する。(2)検出手段は、計数した特徴点の数(ヒストグラムの度数)が所定の閾値以上となる横ラインの位置に基づいて、移動体の縦位置(y座標)を検出する。移動体の縦位置(y座標)は、例えば、ヒストグラムの度数が閾値以上となる横ラインのうち、最も下方の位置とすることができる。(3)次に、撮像画像の縦ライン毎に、抽出した特徴点の数を計数する。すなわち、撮像画像の特徴点の数を縦方向(縦ライン毎)に計数して合計し、合計した値を度数とした特徴点の縦方向のヒストグラムを生成する。(4)検出手段は、計数した特徴点(ヒストグラムの度数)が存在する縦ラインの位置に基づいて、移動体の横位置(x座標)を検出する。移動体の横位置(x座標)は、縦方向のヒストグラムに基づいて、車頭幅を判定し、判定した車頭幅の所定位置を移動体の横位置(x座標)とすることができる。例えば、縦方向のヒストグラムの分布が連続する部分のうち、最も幅(横方向の長さ)の長い部分を車頭幅と判定する。そして、車頭幅内のヒストグラムの度数の合計値を略等分する位置(横方向の位置)を移動体の横位置(x座標)とすることができる。 In the sixth invention, the detecting means detects the lateral position of the moving body in the captured image based on the extracted feature points. The position of the moving body can be detected as follows, for example. (1) The number of extracted feature points is counted for each horizontal line of the captured image. That is, the number of feature points on the captured image is counted in the horizontal direction (for each horizontal line) and summed, and a histogram of the feature points in the horizontal direction is generated with the total value as the frequency. (2) The detection means detects the vertical position (y coordinate) of the moving body based on the position of the horizontal line where the number of counted feature points (frequency of the histogram) is equal to or greater than a predetermined threshold. The vertical position (y coordinate) of the moving body can be, for example, the lowest position among the horizontal lines where the frequency of the histogram is equal to or greater than a threshold value. (3) Next, the number of extracted feature points is counted for each vertical line of the captured image. That is, the number of feature points of the captured image is counted in the vertical direction (for each vertical line) and summed, and a vertical histogram of the feature points with the total value as a frequency is generated. (4) The detection means detects the horizontal position (x coordinate) of the moving body based on the position of the vertical line where the counted feature point (histogram frequency) exists. The lateral position (x coordinate) of the moving body is determined based on the histogram in the vertical direction, and the predetermined position of the determined vehicle head width can be set as the lateral position (x coordinate) of the moving body. For example, the portion having the longest width (length in the horizontal direction) among the portions in which the distribution of the histogram in the vertical direction continues is determined as the vehicle head width. The position (lateral position) at which the total value of the frequencies in the histogram within the vehicle head width is approximately equally divided can be set as the lateral position (x coordinate) of the moving body.
判定手段は、検出した移動体の横位置が、撮像画像の中央から横方向に所定の第1幅を有する中央領域内にある場合、移動体の種別を判定する。移動体の横位置が中央領域内にある場合、移動体(車両)のナンバープレート、ヘッドライト、テールランプ、バンパー、フロントグリル等の車頭部分又は車尾部分が撮像画像の中心付近で映っているので、移動体の種別を精度良く判定することができる。 The determination unit determines the type of the moving object when the detected lateral position of the moving object is within a central region having a predetermined first width in the horizontal direction from the center of the captured image. When the horizontal position of the moving object is within the central area, the vehicle head part or the tail part of the moving object (vehicle) such as the license plate, headlight, tail lamp, bumper, front grille, etc. is reflected near the center of the captured image. The type of the moving object can be determined with high accuracy.
第7発明にあっては、幅検出手段は、抽出した特徴点に基づいて、移動体の幅を検出する。移動体の幅は、例えば、以下のようにして検出することができる。(1)撮像画像の縦ライン毎に、抽出した特徴点の数を計数する。すなわち、撮像画像の特徴点の数を縦方向(縦ライン毎)に計数して合計し、合計した値を度数とした特徴点の縦方向のヒストグラムを生成する。(2)そして、縦方向のヒストグラムの分布が連続する部分のうち、最も幅(横方向の長さ)の長い部分を移動体の幅として検出する。 In the seventh invention, the width detecting means detects the width of the moving body based on the extracted feature points. The width of the moving object can be detected as follows, for example. (1) The number of extracted feature points is counted for each vertical line of the captured image. That is, the number of feature points of the captured image is counted in the vertical direction (for each vertical line) and summed, and a vertical histogram of the feature points with the total value as a frequency is generated. (2) Then, a portion having the longest width (length in the horizontal direction) is detected as the width of the moving body among the portions where the distribution of the histogram in the vertical direction is continuous.
判定手段は、検出した移動体の横位置が中央領域内にない場合に、検出した移動体の幅が所定の幅閾値より大きいとき、移動体の種別を判定する。移動体の横位置が中央領域内にない場合には、移動体の横位置が撮像画像の左端又は右端を超えて撮像画像内に存在しない可能性があるため、移動体の種別を精度良く判定することができない可能性がある。そこで、例えば、移動体の幅が所定の幅閾値より大きい場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っているとして、移動体の種別を判定する。一方、移動体の幅が所定の幅閾値より小さい場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っていないとして、移動体の種別を判定しない。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。 The determination unit determines the type of the moving object when the width of the detected moving object is larger than a predetermined width threshold when the lateral position of the detected moving object is not within the central region. If the horizontal position of the moving object is not within the central area, the horizontal position of the moving object may not exist in the captured image beyond the left or right edge of the captured image, so the type of the moving object is accurately determined. You may not be able to. Therefore, for example, when the width of the moving body is larger than a predetermined width threshold, the moving body type is determined on the assumption that the moving body appears in the captured image to the extent that the moving body type can be determined. On the other hand, when the width of the moving body is smaller than the predetermined width threshold, the type of the moving body is not determined assuming that the moving body is not reflected in the captured image to the extent that the type of the moving body can be determined. Thereby, it can prevent determining the classification of a moving body accidentally, and can determine with sufficient precision.
第8発明にあっては、判定手段は、検出した移動体の横位置が中央領域内にない場合に、当該中央領域を間にして分離され、所定の第2幅を有する2つの分離領域内にあるとき、移動体の種別を判定する。移動体の横位置が中央領域内にない場合には、移動体の横位置が撮像画像の左端又は右端を超えて撮像画像内に存在しない可能性があるため、移動体の種別を精度良く判定することができない可能性がある。そこで、例えば、中央領域を間にして分離され、所定の第2幅を有する2つの分離領域内に移動体の横位置があるときは、移動体の種別を判定することができる程度に移動体が撮像画像に映っているとして、移動体の種別を判定する。一方、2つの分離領域内に移動体の横位置がないときは、移動体の種別を判定することができる程度に移動体が撮像画像に映っていないとして、移動体の種別を判定しない。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。 In the eighth invention, when the lateral position of the detected moving body is not within the central area, the determination means is separated within the two separation areas having a predetermined second width and separated between the central areas. If it is, the type of the moving object is determined. If the horizontal position of the moving object is not within the central area, the horizontal position of the moving object may not exist in the captured image beyond the left or right edge of the captured image, so the type of the moving object is accurately determined. You may not be able to. Therefore, for example, when there is a lateral position of the moving body in two separation areas separated by a central region and having a predetermined second width, the moving body can be determined to the extent that the type of the moving body can be determined. , The type of the moving object is determined. On the other hand, when there is no lateral position of the moving body in the two separation regions, the type of the moving body is not determined assuming that the moving body is not reflected in the captured image to the extent that the type of the moving body can be determined. Thereby, it can prevent determining the classification of a moving body accidentally, and can determine with sufficient precision.
第9発明にあっては、撮像時点が異なる第1の撮像画像(例えば、時刻t)及び第2の撮像画像(例えば、時刻t+1)それぞれの対応する各画素の画素値(例えば、輝度値)の差分が第1差分閾値(強差分閾値)より大きい第1の画素を特定するとともに、第1の撮像画像及び第2の撮像画像それぞれの対応する各画素の画素値の差分が第1差分閾値より小さい第2差分閾値(弱差分閾値)より大きい第2の画素を特定する。ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分は、時系列に得られた撮像画像上で輝度値の差が大きく表れるので、第1差分閾値(強差分閾値)を用いることにより、ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分に対応する第1の画素を特定することができる。また、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分、及びボンネット等のテクスチャの少ない部分は、時系列に得られた撮像画像上で輝度値の差があまり大きく表れないので、第2差分閾値(弱差分閾値)を用いることにより、路面上の影の部分、ボンネット等のテクスチャの少ない部分に対応する第2の画素を特定することができる。 In the ninth invention, the pixel value (for example, luminance value) of each corresponding pixel of the first captured image (for example, time t) and the second captured image (for example, time t + 1) having different imaging time points. The first pixel is larger than the first difference threshold (strong difference threshold), and the difference between the pixel values of the corresponding pixels of the first captured image and the second captured image is the first difference threshold. A second pixel greater than the smaller second difference threshold (weak difference threshold) is identified. The number plate, headlight, front grille, tail lamp, and other parts show a large difference in luminance values on the captured images obtained in time series. Therefore, by using the first difference threshold (strong difference threshold), the license plate The first pixel corresponding to the headlight, the front grill, the tail lamp, and the like can be specified. In addition, shadows on the road surface caused by changes in the external environment such as sunshine changes and weather changes, and parts with little texture such as bonnets have a large difference in luminance values on the captured images obtained in time series. Since it does not appear, by using the second difference threshold value (weak difference threshold value), it is possible to specify the second pixel corresponding to a shadowed part on the road surface, a part with less texture such as a hood.
差分画像生成手段は、特定した第1の画素及び当該第1の画素に隣接する第2の画素で構成される差分画像を生成する。第1の画素、及び第1の画素に隣接する(連続する)第2の画素で構成される差分画像は、移動体(車両)部分と離れて存在する影の部分を取り除くことができるとともに、ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分(例えば、車頭部分又は車尾部分)と隣接(連続)するボンネット等のテクスチャの少ない部分を含めることができる。これにより、差分画像として、車頭(又は車尾)の部分を含む車体部分を特定する(残す)ことができる。なお、差分画像は、例えば、車体部分を「1」とし、車体部分以外を「0」で表す二値化画像である。抽出手段は、第1の撮像画像又は第2の撮像画像のいずれか(例えば、時刻tの撮像画像)を、生成した差分画像でフィルタ処理(例えば、二値化した差分画像の「1」の対応する撮像画像の画素を残し、差分画像の「0」に対応する撮像画像の画素を除去する)して得られた撮像画像の各画素(例えば、隣り合う画素)の画素値に基づいて特徴点を抽出する。これにより、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分を削除することができるとともに、車体部分を含めることができ、精度良く移動体を検出することができる。 The difference image generation means generates a difference image composed of the identified first pixel and the second pixel adjacent to the first pixel. The difference image composed of the first pixel and the second pixel adjacent (continuous) to the first pixel can remove a shadow portion that is separated from the moving body (vehicle) portion, A low-textured portion such as a bonnet adjacent (continuous) to a portion (for example, a vehicle head portion or a vehicle tail portion) such as a license plate, a headlight, a front grille, and a tail lamp can be included. As a result, the vehicle body portion including the vehicle head (or vehicle tail) portion can be specified (leaved) as the difference image. The difference image is, for example, a binarized image in which the vehicle body portion is “1” and the portions other than the vehicle body portion are represented by “0”. The extraction means filters either the first captured image or the second captured image (for example, the captured image at time t) with the generated difference image (for example, “1” of the binarized difference image). A feature is based on the pixel value of each pixel (for example, adjacent pixel) of the captured image obtained by leaving the corresponding captured image pixel and removing the captured image pixel corresponding to “0” of the difference image) Extract points. As a result, shadows on the road surface caused by changes in the external environment such as sunshine changes and weather changes can be deleted, the vehicle body part can be included, and a moving body can be detected with high accuracy.
本発明によれば、移動体の種別を精度よく検出することができる。 According to the present invention, it is possible to accurately detect the type of moving object.
以下、本発明を実施の形態を示す図面に基づいて説明する。図1は本実施の形態の移動体検出装置100の構成の一例を示すブロック図である。なお、移動体検出装置100は、移動体の種別を判定する移動体種別判定装置としての機能を備える。以下では、移動体検出装置100には、移動体種別判定装置も含むことができるものとする。移動体検出装置100は、装置全体を制御する制御部10、差分画像生成部11、特徴点抽出部12、横方向特徴点計数部13、車頭高さ領域設定部14、縦方向特徴点計数部15、横位置候補範囲特定部16、車幅領域設定部17、移動体座標検出部18、車種情報生成部20、車線情報生成部31、位置情報生成部32、追跡情報生成部33などを備える。また、車種情報生成部20は、第1種別領域設定部21、第2種別領域設定部22、特徴点分布位置特定部23、移動体種別判定部24などを備える。
Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments. FIG. 1 is a block diagram showing an example of the configuration of the moving
以下の説明では、撮像画像の左上端を原点として横方向をx軸とし、縦方向をy軸とする。また、撮像画像は、例えば、グレースケールの画像であるが、これに限定されるものではない。また、移動体には、四輪車両、二輪車両などの車両を含むものとする。 In the following description, the horizontal direction is the x-axis and the vertical direction is the y-axis with the upper left corner of the captured image as the origin. The captured image is, for example, a gray scale image, but is not limited thereto. Further, the moving body includes vehicles such as a four-wheel vehicle and a two-wheel vehicle.
ビデオカメラ又はカメラ等の撮像装置(不図示)は、道路を視野として、所定の高さ、レンズの光軸方向(例えば、俯角及び回転角)などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。例えば、撮像装置は、走行する移動体の前方から撮像してもよく、移動体の後方から撮像してもよい。移動体の前方から撮像する場合には、移動体の車頭部分を検出し、移動体の後方から撮像する場合には、移動体の車尾部分を検出することになる。 An imaging device (not shown) such as a video camera or a camera is located near the road in a state where imaging conditions such as a predetermined height and a lens optical axis direction (for example, depression angle and rotation angle) are set with the road as a field of view. It is installed at the required point. For example, the imaging device may take an image from the front of the traveling moving body, or may take an image from the rear of the moving body. When imaging from the front of the moving body, the vehicle head portion of the moving body is detected, and when capturing from the rear of the moving body, the tail portion of the moving body is detected.
撮像装置により取得した元画像の大きさは、例えば、前述の撮像画像の大きさより大きい。すなわち、元画像を縮小した縮小画像を前述の撮像画像として用いる。これにより、移動体の検出又は判定に要する画像処理の負荷を軽減することができる。なお、元画像の大きさが画像処理の負荷軽減を必要としない場合には、縮小することなく元画像を撮像画像として用いることができる。 The size of the original image acquired by the imaging device is larger than the size of the above-described captured image, for example. That is, a reduced image obtained by reducing the original image is used as the above-described captured image. Thereby, it is possible to reduce the load of image processing required for detection or determination of the moving body. When the size of the original image does not require a reduction in image processing load, the original image can be used as a captured image without being reduced.
また、以下の説明では、移動体の位置(横位置、縦位置)を、撮像画像上のx座標及びy座標で表す。また、移動体の位置としては、ナンバープレートの位置(例えば、ナンバープレートの文字部分の位置、ナンバープレートの中央位置など)を想定しているが、移動体の位置はナンバープレートの位置に限定されるものではない。 Moreover, in the following description, the position (horizontal position, vertical position) of the moving body is represented by the x coordinate and y coordinate on the captured image. In addition, the position of the moving body is assumed to be the position of the license plate (for example, the position of the character portion of the license plate, the center position of the license plate, etc.), but the position of the moving body is limited to the position of the license plate. It is not something.
移動体検出装置100は、時系列的に撮像された撮像画像中の変化のある領域に対する特徴点の分布から移動体の位置(座標)と、移動体の物体情報、すなわち移動体の種別(例えば、車両であるか否か、車両である場合には四輪車両であるか二輪車両であるか)の判定を行う。
The moving
移動体の検出処理では、移動体が移動している部分を検出するため時系列的に撮像時点が異なる2つの撮像画像に基づいて、差分画像を生成する。以下、差分画像の生成について説明する。図2は本実施の形態の移動体検出装置100による差分画像の生成方法の一例を示す説明図である。
In the moving object detection process, a difference image is generated based on two captured images having different imaging time points in time series in order to detect a moving part of the moving object. Hereinafter, the generation of the difference image will be described. FIG. 2 is an explanatory diagram illustrating an example of a method for generating a difference image by the moving
差分画像生成部11は、差分画像生成手段、第1画素特定手段、第2画素特定手段及び処理手段としての機能を有する。
The difference
図2Aに示すように、差分画像生成部11は、撮像時点が異なる第1の撮像画像(例えば、時刻t)及び第2の撮像画像(例えば、時刻t+1)それぞれの対応する各画素の画素値(例えば、輝度値)の差分が第1差分閾値(強差分閾値)より大きい第1の画素を特定するとともに、第1の撮像画像及び第2の撮像画像それぞれの対応する各画素の画素値の差分が第1差分閾値より小さい第2差分閾値(弱差分閾値)より大きい第2の画素を特定する。例えば、輝度値の範囲を0〜255(0が黒に対応し、255が白に対応する)とした場合、第1差分閾値(強差分閾値)は、移動体(車体)の形状、輪郭が特定されるように比較的大きな値とすることができる。また、第2差分閾値(弱差分閾値)は、移動体(車体)の内部、すなわち輪郭の内側部分が特定されるように比較的小さな値とすることができる。
As illustrated in FIG. 2A, the difference
ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分は、時系列に得られた撮像画像上で輝度値の差が大きく表れるので、第1差分閾値(強差分閾値)を用いることにより、ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分に対応する第1の画素を特定することができる。また、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分、及びボンネット等のテクスチャの少ない部分は、時系列に得られた撮像画像上で輝度値の差があまり大きく表れないので、第2差分閾値(弱差分閾値)を用いることにより、路面上の影の部分、ボンネット等のテクスチャの少ない部分に対応する第2の画素を特定することができる。 The number plate, headlight, front grille, tail lamp, and other parts show a large difference in luminance values on the captured images obtained in time series. Therefore, by using the first difference threshold (strong difference threshold), the license plate The first pixel corresponding to the headlight, the front grill, the tail lamp, and the like can be specified. In addition, shadows on the road surface caused by changes in the external environment such as sunshine changes and weather changes, and parts with little texture such as bonnets have a large difference in luminance values on the captured images obtained in time series. Since it does not appear, by using the second difference threshold value (weak difference threshold value), it is possible to specify the second pixel corresponding to a shadowed part on the road surface, a part with less texture such as a hood.
図2Bの例では、第1差分閾値(強差分閾値)より大きい輝度を有する画素は符号WTで示す。また、第1差分閾値(強差分閾値)より小さい輝度であって、第2差分閾値(弱差分閾値)より大きい輝度を有する画素は符号GR1で示す。また、第2差分閾値(弱差分閾値)より小さい輝度を有する画素は符号BKで示す。 In the example of FIG. 2B, a pixel having a luminance greater than the first difference threshold (strong difference threshold) is indicated by reference numeral WT. A pixel having a luminance smaller than the first difference threshold (strong difference threshold) and larger than the second difference threshold (weak difference threshold) is denoted by reference symbol GR1. A pixel having a luminance smaller than the second difference threshold (weak difference threshold) is indicated by reference numeral BK.
図2B及び図2Cに示すように、差分画像生成部11は、特定した第1の画素及び当該第1の画素に隣接する第2の画素で構成される差分画像を生成する。図2B及び図2Cの例では、画素WT(第1の画素)に隣接する画素GR1(第2の画素)は、画素WTとするとともに、画素WTから離隔している画素GR1は、画素BKとすることにより、画素WT及び画素BKで構成される差分画像(二値化画像)を生成する。
As illustrated in FIGS. 2B and 2C, the difference
第1の画素、及び第1の画素に隣接する(連続する)第2の画素で構成される差分画像は、移動体(車両)部分と離れて存在する影の部分を取り除くことができるとともに、ナンバープレート、ヘッドライト、フロントグリル、テールランプなどの部分(例えば、車頭部分又は車尾部分)と隣接(連続)するボンネット等のテクスチャの少ない部分を含めることができる。これにより、差分画像として、車頭(又は車尾)の部分を含む車体部分を特定する(残す)ことができる。なお、差分画像は、例えば、車体部分を「1」とし、車体部分以外を「0」で表す二値化画像である。 The difference image composed of the first pixel and the second pixel adjacent (continuous) to the first pixel can remove a shadow portion that is separated from the moving body (vehicle) portion, A low-textured portion such as a bonnet adjacent (continuous) to a portion (for example, a vehicle head portion or a vehicle tail portion) such as a license plate, a headlight, a front grille, and a tail lamp can be included. As a result, the vehicle body portion including the vehicle head (or vehicle tail) portion can be specified (leaved) as the difference image. The difference image is, for example, a binarized image in which the vehicle body portion is “1” and the portions other than the vehicle body portion are represented by “0”.
特徴点抽出部12は、特徴点を抽出する抽出手段としての機能を有する。特徴点抽出部12は、撮像画像の各画素(例えば、隣り合う各画素であるが、隣り合う画素に限定されない)の画素値に基づいて特徴点を抽出する。撮像画像の横方向をx軸、縦方向をy軸とすると、隣り合う各画素は、横方向(x軸方向)に隣り合う各画素(例えば、隣接する画素同士)、及び縦方向(y軸方向)に隣り合う各画素(例えば、隣接する画素同士)である。画素値は、例えば、輝度値Yである。特徴点は、任意の注目画素及び当該注目画素と隣り合う画素の輝度値の差分の絶対値が所定の輝度閾値より大きい場合、当該注目画素を特徴点として抽出する。
The feature
特徴点を抽出する場合、差分画像生成部11で生成した差分画像を用いなくてもよいが、差分画像を用いる場合には、以下のようにすることができる。すなわち、差分画像生成部11は、差分画像を生成した際の撮像時点の異なる第1の撮像画像又は第2の撮像画像のいずれか(図2の例では、例えば、時刻tの撮像画像)を、生成した差分画像でフィルタ処理(例えば、二値化した差分画像の「1」の対応する撮像画像の画素を残し、差分画像の「0」に対応する撮像画像の画素を除去する)する。特徴点抽出部12は、フィルタ処理して得られた撮像画像の隣り合う各画素の画素値に基づいて特徴点を抽出する。差分画像によるフィルタ処理を行うことにより、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分を削除することができるとともに、車体部分を含めることができ、精度良く移動体を検出することができる。
When extracting feature points, the difference image generated by the difference
次に、特徴点の分布であるヒストグラムの生成方法について説明する。なお、移動体を検出するために生成するヒストグラムには、横方向画像特徴投影ヒストグラム、縦方向車頭特徴投影ヒストグラム及び横方向四輪特徴投影ヒストグラムがある。また、移動体の種別を判定するために生成するヒストグラムには、前述の横方向四輪特徴投影ヒストグラムに加えて、横方向二輪特徴投影ヒストグラムがある。 Next, a method for generating a histogram that is a distribution of feature points will be described. Histograms generated for detecting a moving body include a horizontal image feature projection histogram, a vertical vehicle head feature projection histogram, and a horizontal four-wheel feature projection histogram. In addition to the horizontal four-wheel feature projection histogram described above, the histogram generated to determine the type of the moving body includes a horizontal two-wheel feature projection histogram.
まず、横方向画像特徴投影ヒストグラムの生成方法について説明する。図3は本実施の形態の移動体検出装置100による横方向画像特徴投影ヒストグラムの生成方法の一例を示す説明図である。図3中、右側の図は、撮像画像の例を示し、左側の図は、横方向画像特徴投影ヒストグラムの例を示す。
First, a method for generating a horizontal image feature projection histogram will be described. FIG. 3 is an explanatory diagram showing an example of a method for generating a horizontal image feature projection histogram by the moving
横方向特徴点計数部13は、特徴点の数を計数する第1計数手段としての機能を有する。図3に示すように、横方向特徴点計数部13は、撮像画像の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う(隣接する)画素の輝度値の差分の絶対値が所定の輝度閾値Yth1より大きい場合、当該注目画素を特徴点として抽出する。図3の例では、|Y(x、y)−Y(x+1、y)|>Yth1を満たす場合、画素(x、y)を特徴点として抽出する。
The lateral feature
横ラインは、横方向(x軸)に沿ったラインであり、例えば、撮像画像の大きさを(縦×横)画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、横方向特徴点計数部13は、撮像画像上の特徴点の数を横方向(横ライン毎)に計数して合計し、合計した値を度数とした特徴点のヒストグラム(横方向画像特徴投影ヒストグラム)を生成する。すなわち、横方向画像特徴投影ヒストグラムは、撮像画像全体の特徴点を横方向に投影して得られた特徴点の分布を表す。
The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the horizontal direction feature
横方向画像特徴投影ヒストグラムを生成する際には、撮像画像全体から車頭部分又は車尾部分を抽出する必要があるため、輝度閾値Yth1は、若干大きい値とすることが望ましい。 When generating the horizontal image feature projection histogram, it is necessary to extract the vehicle head portion or the vehicle tail portion from the entire captured image, and therefore it is desirable that the luminance threshold value Yth1 be a slightly large value.
次に、車頭基準位置の検出方法について説明する。図4は本実施の形態の移動体検出装置100による車頭基準位置の検出方法の一例を示す説明図である。図4中、左側の図は、生成した横方向画像特徴投影ヒストグラムの例を示し、右側の図は、撮像画像の例を示す。なお、車頭基準位置は、移動体の縦位置(y座標)とすることができるので、車頭基準位置の検出することにより、移動体の縦位置(y座標)を検出することもできる。
Next, a method for detecting the vehicle head reference position will be described. FIG. 4 is an explanatory diagram showing an example of a vehicle head reference position detection method by the moving
移動体座標検出部18は、移動体を検出する検出手段としての機能を有する。図4に示すように、移動体座標検出部18は、横方向特徴点計数部13で計数した特徴点の数(横方向画像特徴投影ヒストグラムの度数)が所定の第1特徴点閾値Pth1以上となる横ラインの位置に基づいて、移動体の縦位置(y座標)を検出する。
The moving body coordinate
第1特徴点閾値Pth1は、例えば、計数した特徴点の数の最大値(度数の最大値)の70%等としてもよく、予め設定しておいてもよい。車頭基準位置(移動体の縦位置)は、例えば、横方向画像特徴投影ヒストグラムの度数が第1特徴点閾値Pth1以上となる横ラインのうち、最も下方の位置とすることができる。例えば、撮像画像の大きさを(縦×横)画素とし、最も下方の横ラインのy座標がy1であるとすると車頭基準位置、すなわち移動体のy座標(縦位置)はy=y1となる。なお、車頭基準位置は、ナンバープレートが装着された位置とすることができる。また、計数した特徴点の数の最大値(度数の最大値)が、所定の定数Vth以下である場合には、移動体の座標検出不可とすることができる。 The first feature point threshold value Pth1 may be, for example, 70% of the maximum value of the number of feature points counted (maximum value of the frequency) or may be set in advance. The vehicle head reference position (vertical position of the moving body) can be, for example, the lowest position in the horizontal line where the frequency of the horizontal image feature projection histogram is equal to or higher than the first feature point threshold Pth1. For example, if the size of the captured image is (vertical × horizontal) pixels and the y coordinate of the lowermost horizontal line is y1, the vehicle head reference position, that is, the y coordinate (vertical position) of the moving body is y = y1. . The vehicle head reference position can be a position where a license plate is mounted. Further, when the maximum value of the counted number of feature points (the maximum value of the frequency) is equal to or less than a predetermined constant Vth, it is possible to disable the coordinate detection of the moving object.
上述のように、横方向画像特徴投影ヒストグラムの度数が第1特徴点閾値Pth1以上となる最も下方の位置を移動体の縦位置(y座標)として出する。一般的に、ナンバープレートの位置は、ヘッドライトに挟まれた位置、あるいはテールランプに挟まれた位置にあり、ナンバープレートの下方には車体が存在しない。そこで、横方向の特徴点の数が第1特徴点閾値Pth1以上となる横ラインのうち、最も下方の横ラインの位置は、車体部分と車体前方(又は車体後方)の路面部分との境界付近であって、ナンバープレートが設置された位置付近と考えることができるので、当該位置を移動体の縦位置(y座標)として検出することにより、移動体の位置を精度よく検出することができる。 As described above, the lowest position where the frequency of the horizontal image feature projection histogram is equal to or higher than the first feature point threshold Pth1 is output as the vertical position (y coordinate) of the moving object. Generally, the position of the license plate is located between the headlight or the tail lamp, and there is no vehicle body below the license plate. Therefore, the position of the lowest horizontal line among the horizontal lines in which the number of feature points in the lateral direction is equal to or greater than the first feature point threshold Pth1 is near the boundary between the vehicle body portion and the road surface portion in front of the vehicle body (or the rear of the vehicle body). And since it can be considered near the position where the license plate is installed, the position of the moving body can be detected with high accuracy by detecting the position as the vertical position (y coordinate) of the moving body.
次に、縦方向車頭特徴投影ヒストグラムの生成方法について説明する。図5は本実施の形態の移動体検出装置100による縦方向車頭特徴投影ヒストグラムの生成方法の一例を示す説明図である。図5中、上側の図は、撮像画像の例を示し、下側の図は、縦方向車頭特徴投影ヒストグラムの例を示す。
Next, a method for generating a longitudinal vehicle head feature projection histogram will be described. FIG. 5 is an explanatory diagram showing an example of a method of generating a longitudinal vehicle head feature projection histogram by the moving
車頭高さ領域設定部14は、高さ領域としての車頭高さ範囲を撮像画像内に設定する高さ領域設定手段としての機能を有する。図5に示すように、車頭高さ領域設定部14は、検出した車頭基準位置(移動体の縦位置)を基準にして所定の縦寸法を有する車頭高さ範囲(高さ領域)を撮像画像内に設定する。所定の縦寸法は、移動体の高さの範囲を想定して設定することができる。車頭高さ範囲は、例えば、車頭基準位置を基準として上下方向それぞれに所定の画素数だけ広げた領域とすることができる。
The vehicle head height
縦方向特徴点計数部15は、特徴点の数を計数する第2計数手段としての機能を有する。図5に示すように、縦方向特徴点計数部15は、撮像画像の車頭高さ範囲(高さ領域)内を縦ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と縦方向に隣り合う(隣接する)画素の輝度値の差分の絶対値が所定の輝度閾値Yth2より大きい場合、当該注目画素を特徴点として抽出する。図5の例では、|Y(x、y)−Y(x、y+1)|>Yth2を満たす場合、画素(x、y)を特徴点として抽出する。
The vertical feature
縦ラインは、縦方向(y軸)に沿ったラインであり、例えば、撮像画像の大きさを(縦×横)画素とすると、縦ラインは横の画素数だけ存在することになる。すなわち、縦方向特徴点計数部15は、撮像画像の車頭高さ範囲内の特徴点の数を縦方向(縦ライン毎)に計数して合計し、合計した値を度数とした特徴点のヒストグラム(縦方向車頭特徴投影ヒストグラム)を生成する。すなわち、縦方向車頭特徴投影ヒストグラムは、車頭高さ範囲内の特徴点を縦方向に投影して得られた特徴点の分布を表す。
The vertical line is a line along the vertical direction (y-axis). For example, when the size of the captured image is (vertical × horizontal) pixels, there are as many vertical lines as there are horizontal pixels. That is, the vertical direction feature
縦方向車頭特徴投影ヒストグラムを生成する際には、撮像画像全体のうち、車頭付近が既に限定されているため、ヘッドライト、フロントグリル、ナンバープレート等を全て抽出することができればよいので、輝度閾値Yth2は、輝度閾値Yth1より小さくすることができる。 When generating the longitudinal vehicle head feature projection histogram, since the vicinity of the vehicle head is already limited in the entire captured image, it is only necessary to extract all of the headlights, the front grille, the license plate, etc. Yth2 can be made smaller than the luminance threshold Yth1.
次に、移動体の横位置(x座標)の検出方法について説明する。図6は本実施の形態の移動体検出装置100による移動体の横位置の検出方法の一例を示す説明図である。図6中、下側の図は、生成した縦方向車頭特徴投影ヒストグラムの例を示し、上側の図は、撮像画像の例を示す。
Next, a method for detecting the lateral position (x coordinate) of the moving body will be described. FIG. 6 is an explanatory diagram showing an example of a method for detecting the lateral position of the moving body by the moving
移動体座標検出部18は、計数した特徴点(縦方向車頭特徴投影ヒストグラムの度数)が存在する縦ラインの位置に基づいて、移動体の横位置(x座標)を検出する。移動体の横位置(x座標)は、縦方向車頭特徴投影ヒストグラムに基づいて、車頭幅を判定し、判定した車頭幅の所定位置を移動体の横位置(x座標)とすることができる。例えば、縦方向車頭特徴投影ヒストグラムの分布が連続する部分を車頭幅と判定する。そして、車頭幅内のヒストグラムの度数の合計値を略等分する位置(横方向の位置)を移動体の横位置(x座標)とすることができる。
The moving object coordinate
上述のように、隣り合う(隣接する)画素同士の画素値(輝度値)の差分が所定の閾値以上となる画素を特徴点として抽出するので、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分が特徴点として抽出されず、路面上の影に影響されることなく、移動体(例えば、車両)の文字、ヘッドライト、フロントグリル、テールランプ等の輝度変化を定量化することができる。そして、移動体の基準位置としてのナンバープレートは、ヘッドライトやテールランプ等で挟まれているので、抽出した特徴点の縦横それぞれの方向に沿った分布を用いることにより、移動体(例えば、ナンバープレート)の位置を精度よく検出することができる。 As described above, pixels whose pixel value (brightness value) difference between adjacent (adjacent) pixels is equal to or greater than a predetermined threshold are extracted as feature points, so the influence of changes in the external environment such as sunshine changes and weather changes The portion of the shadow on the road caused by is not extracted as a feature point, and the luminance change of the characters, headlights, front grille, tail lamp, etc. of the moving body (eg, vehicle) is quantified without being affected by the shadow on the road Can be Since the license plate as the reference position of the moving body is sandwiched between headlights, tail lamps, and the like, the moving body (for example, the license plate, for example) is obtained by using the distribution along the vertical and horizontal directions of the extracted feature points. ) Position can be detected with high accuracy.
また、横位置候補範囲特定部16は、横位置候補範囲としての車頭幅又は車尾幅を特定する範囲特定手段としての機能を有する。横位置候補範囲は、移動体の横位置を含む移動体の幅(車頭幅又は車尾幅)の範囲である。横位置候補範囲特定部16は、縦方向特徴点計数部15で計数した特徴点が存在する縦ラインのうち、連続して隣接する複数の縦ラインで構成される車頭幅又は車尾幅を特定する。すなわち、縦方向に(縦ライン毎に)計数した特徴点のヒストグラム(縦方向車頭特徴投影ヒストグラム)の分布が連続する部分(連続して隣接する複数の縦ライン)を車頭幅又は車尾幅として特定する。
Further, the lateral position candidate
そして、移動体座標検出部18は、特定した車頭幅又は車尾幅に存在する特徴点を代表する縦ラインの位置に基づいて、移動体の横位置を検出する。特徴点を代表する縦ラインの位置は、例えば、特徴点の総数を略等分する縦ラインの位置とすることができる。例えば、縦方向車頭特徴投影ヒストグラムの分布が連続する部分に存在する特徴点の総数(合計値)を略等分する縦ラインの位置を移動体の横位置(x座標)として検出する。なお、縦方向車頭特徴投影ヒストグラムの分布が仮に略均一である(例えば、特徴点の度数が略等しい)場合には、分布が連続する部分の略中央が移動体の横位置となる。これにより、移動体の位置を精度良く検出することができる。
Then, the moving object coordinate
また、縦方向車頭特徴投影ヒストグラムの分布が連続する部分(連続して隣接する複数の縦ライン)が離隔して複数存在する場合、最も幅の長い部分を車頭幅又は車尾幅として特定することもできる。これにより、最も確からしい車頭幅又は車尾幅を特定することができ、移動体の位置を精度良く検出することができる。 In addition, when there are a plurality of parts with continuous vertical vehicle head feature projection histogram distribution (a plurality of adjacent vertical lines) separated from each other, the longest part is specified as the car head width or the car tail width. You can also. As a result, the most probable vehicle head width or vehicle tail width can be specified, and the position of the moving body can be detected with high accuracy.
上述の例では、縦方向車頭特徴投影ヒストグラムの分布が連続する部分、あるいは連続する部分のうち最も幅(横方向の長さ)の長い部分を車頭幅として判定したが、車頭幅の判定方法は、これに限定されるものではない。以下、車頭幅の判定方法の他の例について説明する。 In the above-described example, the vertical vehicle head feature projection histogram distribution is determined as the vehicle head width, or the portion having the longest width (horizontal length) is determined as the vehicle head width. However, the present invention is not limited to this. Hereinafter, another example of the method for determining the vehicle head width will be described.
図7は本実施の形態の移動体検出装置100による車頭幅又は車尾幅の特定方法の一例を示す説明図である。図7は、縦方向車頭特徴投影ヒストグラムを模式的に表したものであり、特徴点の度数の有無のみを示している。図7Aにおいて、符号W1、W2、W3、W4が、縦方向車頭特徴投影ヒストグラムの分布が連続する部分を模式的に表したものである。
FIG. 7 is an explanatory diagram showing an example of a method for specifying the vehicle head width or the vehicle tail width by the moving
図7Aに示すように、横位置候補範囲特定部16は、縦方向車頭特徴投影ヒストグラムの分布が連続する部分(横位置候補範囲)が離隔して複数存在する場合、連続する部分の離隔寸法が所定の離隔閾値以下である場合、当該2つの連続する部分を1つの連続する部分(横位置候補範囲)として特定する。例えば、図7Aの例において、離隔閾値を1とすると、2つの連続する部分W3とW4との間の離隔寸法が「1」であるので、図7Bに示すように、当該2つの連続する部分W3、W4を合体して、1つの連続する部分W5とする。また、隣り合う2つの連続する部分W1とW2との間の離隔寸法は「5」であり、また、隣り合う2つの連続する部分W2とW3との間の離隔寸法は「3」であるので、合体しない。
As shown in FIG. 7A, the horizontal position candidate
すなわち、特徴点のヒストグラム(縦方向車頭特徴投影ヒストグラム)の分布が連続する部分(連続して隣接する複数の縦ライン)が離隔して複数存在する場合、分布が連続する部分同士の離隔寸法が所定の離隔閾値以下である場合、分布が連続する部分同士を1つの連続する部分(車頭幅又は車尾幅)として特定する。これにより、車体に含まれる部分と、車体以外の部分とを区分することができ、移動体の位置を精度良く検出することができる。 That is, when there are a plurality of portions (continuous adjacent vertical lines) in which the distribution of the histogram of feature points (vertical vehicle head feature projection histogram) is separated, there is a separation dimension between the portions in which the distribution is continuous. When the distance is equal to or less than the predetermined separation threshold, the portions where the distributions are continuous are specified as one continuous portion (vehicle head width or vehicle tail width). Thereby, the part contained in a vehicle body and the part other than a vehicle body can be distinguished, and the position of a moving body can be detected with a sufficient precision.
図8は本実施の形態の移動体検出装置100による車頭幅又は車尾幅の特定方法の他の例を示す説明図である。横位置候補範囲特定部16は、離隔閾値を設定する離隔閾値設定手段としての機能を有する。横位置候補範囲特定部16は、隣り合う2つの連続する部分のうち、長さ(幅)の長い方の長さに応じて離隔閾値を設定する。例えば、図8に示すように、縦方向車頭特徴投影ヒストグラムの分布が連続する部分の長さ(縦ラインの数)がL〜L1である場合は、離隔閾値を1とする。また、縦方向車頭特徴投影ヒストグラムの分布が連続する部分の長さ(縦ラインの数)がL1+1〜L2である場合は、離隔閾値を2とする。また、縦方向車頭特徴投影ヒストグラムの分布が連続する部分の長さ(縦ラインの数)がL2+1〜L3である場合は、離隔閾値を3とする。
FIG. 8 is an explanatory diagram showing another example of the method for specifying the vehicle head width or the vehicle tail width by the moving
すなわち、縦方向車頭特徴投影ヒストグラムの分布が連続する部分(連続して隣接する複数の縦ライン)が隣り合って存在する場合、幅(長さ)が長い方の連続する部分の幅(長さ)が長いほど離隔閾値を大きくする。これにより、縦方向車頭特徴投影ヒストグラムの分布が連続する部分の長さに応じて、1つの部分に纏めることができ、最も確からしい車頭幅又は車尾幅を特定することができ、移動体の位置を精度良く検出することができる。 That is, when the distribution of the longitudinal vehicle head feature projection histogram is continuous (a plurality of adjacent vertical lines) are adjacent to each other, the width (length) of the continuous portion having the longer width (length) ) Is longer, the separation threshold is increased. As a result, according to the length of the portion where the distribution of the longitudinal vehicle head feature projection histogram continues, it can be combined into one portion, the most probable vehicle head width or vehicle tail width can be specified, The position can be detected with high accuracy.
次に、横方向四輪特徴投影ヒストグラムの生成方法について説明する。図9は本実施の形態の移動体検出装置100による横方向四輪特徴投影ヒストグラムの生成方法の一例を示す説明図である。図9中、右側の図は、撮像画像の例を示し、左側の図は、横方向四輪特徴投影ヒストグラムの例を示す。
Next, a method for generating a lateral four-wheel feature projection histogram will be described. FIG. 9 is an explanatory diagram showing an example of a method for generating a lateral four-wheel feature projection histogram by the moving
車幅領域設定部17は、幅領域としての四輪車幅範囲を撮像画像内に設定する幅領域設定手段としての機能を有する。車幅領域設定部17は、図6の例のようにして検出した移動体の横位置(x座標)を基準にして所定の横寸法を有する幅領域(四輪車幅範囲)を撮像画像内に設定する。所定の横寸法は、移動体の幅(四輪車の車幅)の範囲を想定して設定することができる。四輪車幅範囲(幅領域)は、例えば、移動体の横位置(x座標)を基準として左右方向それぞれに所定の画素数だけ広げた領域とすることができる。
The vehicle width
横方向特徴点計数部13は、車幅領域設定部17で設定した四輪車幅範囲(幅領域)の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う(隣接する)画素の輝度値の差分の絶対値が所定の輝度閾値Yth3より大きい場合、当該注目画素を特徴点として抽出する。図9の例では、|Y(x、y)−Y(x+1、y)|>Yth3を満たす場合、画素(x、y)を特徴点として抽出する。
The lateral feature
横ラインは、横方向(x軸)に沿ったラインであり、例えば、撮像画像の大きさを(縦×横)画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、横方向特徴点計数部13は、撮像画像の四輪車幅範囲内の特徴点の数を横方向(横ライン毎)に計数して合計し、合計した値を度数とした特徴点のヒストグラム(横方向四輪特徴投影ヒストグラム)を生成する。
The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the horizontal direction feature
横方向四輪特徴投影ヒストグラムを生成する際には、撮像画像全体のうち、車頭付近が既に限定されているため、輝度閾値Yth3は、輝度閾値Yth1より若干小さくすることができる。 When generating the lateral four-wheel feature projection histogram, the luminance threshold Yth3 can be made slightly smaller than the luminance threshold Yth1 because the vicinity of the vehicle head is already limited in the entire captured image.
次に、横方向四輪特徴投影ヒストグラムを用いた、移動体の横位置(x座標)の検出方法について説明する。図10は本実施の形態の移動体検出装置100による移動体の横位置の検出方法の一例を示す説明図である。図10中、左側の図は、生成した横方向四輪特徴投影ヒストグラムの例を示し、右側の図は、撮像画像の例を示す。
Next, a method for detecting the lateral position (x coordinate) of the moving body using the lateral four-wheel feature projection histogram will be described. FIG. 10 is an explanatory diagram illustrating an example of a method for detecting a lateral position of a moving body by the moving
移動体座標検出部18は、図4に例示した横方向画像特徴投影ヒストグラムに基づいて検出した縦位置(y座標)に代えて、横方向四輪特徴投影ヒストグラムの特徴点の度数が第2特徴点閾値Pth2以上となる横ラインの位置に基づいて、移動体の縦位置(y座標)を検出することができる。
The moving object coordinate
第2特徴点閾値Pth2は、例えば、計数した特徴点の数の最大値(度数の最大値)の70%等としてもよく、予め設定しておいてもよい。移動体の縦位置(y座標)は、例えば、横方向四輪特徴投影ヒストグラムの度数が第2特徴点閾値以上Pth2となる横ラインのうち、最も下方の位置とすることができる。例えば、撮像画像の幅領域(四輪車幅範囲)の大きさを(縦×横)画素とし、最も下方の横ラインのy座標がy2であるとすると移動体のy座標(縦位置)はy=y2となる。また、計数した特徴点の数の最大値(度数の最大値)が、所定の定数Vth以下である場合には、移動体の座標検出不可とすることができる。なお、特徴点を横方向に計数する範囲が、撮像画像全体ではなく四輪車幅範囲に限定されているので、第2特徴点Pth2は第1特徴点Pth1よりも小さい値とすることができる。 The second feature point threshold Pth2 may be, for example, 70% of the maximum number of counted feature points (maximum value of frequency) or may be set in advance. The vertical position (y-coordinate) of the moving body can be, for example, the lowest position in the horizontal line where the frequency of the horizontal four-wheel feature projection histogram is equal to or greater than the second feature point threshold value Pth2. For example, if the size of the width area (four-wheeled vehicle width range) of the captured image is (vertical × horizontal) pixels and the y coordinate of the lowermost horizontal line is y2, the y coordinate (vertical position) of the moving object is y = y2. Further, when the maximum value of the counted number of feature points (the maximum value of the frequency) is equal to or less than a predetermined constant Vth, it is possible to disable the coordinate detection of the moving object. In addition, since the range in which the feature points are counted in the horizontal direction is limited to the four-wheeled vehicle width range, not the entire captured image, the second feature point Pth2 can be set to a value smaller than the first feature point Pth1. .
特徴点を横方向に計数する範囲を、移動体の横位置(x座標)を基準にした四輪車幅範囲(幅領域)に限定することにより、移動体(車両)の横、斜め前、あるいは斜め後ろ付近を走行する別の車両が存在する場合、当該別の車両により抽出される特徴点を除外することができるので、特徴点の分布が別の車両による影響を受けることを防止でき、さらに精度良く移動体の位置を検出することができる。 By limiting the range for counting feature points in the horizontal direction to the four-wheeled vehicle width range (width region) based on the horizontal position (x coordinate) of the moving body, Alternatively, when there is another vehicle that runs in the vicinity of the diagonal rear, the feature points extracted by the other vehicle can be excluded, so that the distribution of the feature points can be prevented from being influenced by another vehicle, Furthermore, the position of the moving body can be detected with high accuracy.
上述のように、計数した特徴点の数が第2特徴点閾値Pth2以上となる横ラインのうち、最も下方の横ラインの位置に基づいて、移動体の縦位置(y座標)を検出する。一般的に、ナンバープレートの位置は、ヘッドライトに挟まれた位置、あるいはテールランプに挟まれた位置にあり、ナンバープレートの下方には車体が存在しない。そこで、横方向の特徴点の数が第2特徴点閾値Pth2以上となる横ラインのうち、最も下方の横ラインの位置は、車体部分と車体前方(又は車体後方)の路面部分との境界付近であって、ナンバープレートが設置された位置付近と考えることができるので、当該位置を移動体の縦位置(y座標)として検出することにより、移動体の位置を精度よく検出することができる。 As described above, the vertical position (y coordinate) of the moving body is detected based on the position of the lowest horizontal line among the horizontal lines in which the counted number of feature points is equal to or greater than the second feature point threshold Pth2. Generally, the position of the license plate is located between the headlight or the tail lamp, and there is no vehicle body below the license plate. Therefore, the position of the lowest horizontal line among the horizontal lines in which the number of feature points in the horizontal direction is equal to or greater than the second feature point threshold Pth2 is near the boundary between the vehicle body portion and the road surface portion in front of the vehicle body (or the rear of the vehicle body). And since it can be considered near the position where the license plate is installed, the position of the moving body can be detected with high accuracy by detecting the position as the vertical position (y coordinate) of the moving body.
前述の横方向画像特徴投影ヒストグラム、縦方向車頭特徴投影ヒストグラム及び横方向四輪特徴投影ヒストグラムを生成する際の隣接する画素同士の輝度差が特徴点閾値以上となる画素を特徴点として使用している。これは、文字、ヘッドライト、フロントグリル等における輝度変化を定量化することを目的としている。しかし、影と日向との境界等ではグラデーションとなるような連続した輝度変化が現れる。このようなグラデーション部分では特徴点が多くなるため、移動体の検出に誤差が生じる可能性がある。そのため、抽出した特徴点同士が隣接するか否かを判定し、隣接して連続する特徴点の数が所定の閾値Cmaxを超える場合には、当該連続して存在する特徴点を計数しないようにして、グラデーション部分を除外することもできる。 Using the pixels whose luminance difference between adjacent pixels is equal to or greater than the feature point threshold when generating the aforementioned horizontal image feature projection histogram, vertical vehicle head feature projection histogram, and lateral four-wheel feature projection histogram, as feature points Yes. This is intended to quantify luminance changes in characters, headlights, front grills, and the like. However, a continuous luminance change appears as a gradation at the boundary between the shadow and the sun. Since such a gradation portion has many feature points, an error may occur in detection of a moving object. Therefore, it is determined whether or not the extracted feature points are adjacent to each other, and if the number of adjacent consecutive feature points exceeds a predetermined threshold Cmax, the consecutive feature points should not be counted. You can also exclude the gradation part.
次に移動体座標の検出範囲について説明する。図11は移動体座標オフセット範囲の一例を示す説明図である。本実施の形態の移動体検出装置100が検出する移動体の位置(座標)は、例えば、ナンバープレートの位置とすることができる。ナンバープレート検出(文字検出、車番検出など)を行う場合には、検出したナンバープレートの位置(座標)を撮像装置により取得した元画像における座標に変換した上で、元画像上のナンバープレートの位置を基準として、所要の特徴量を算出する。しかし、元画像上のナンバープレートの位置が、元画像の上下左右端の近傍に存在する場合には、特徴量の一部を算出することができず、ナンバープレート検出結果が誤る場合、あるいはナンバープレート検出を行うことができない場合がある。
Next, the detection range of the moving body coordinates will be described. FIG. 11 is an explanatory diagram showing an example of the moving object coordinate offset range. The position (coordinates) of the moving body detected by the moving
そこで、図11に示すように、撮像画像の上下左右端から所定の範囲(S1、S2、S3、S4)を移動体座標オフセット範囲(S1、S2、S3、S4)として設定しておき、検出した移動体の座標が移動体座標オフセット範囲内にある場合には、座標検出失敗(例えば、移動体存在しないとの判定結果)として移動体の検出を行わない。これにより、移動体の検出結果(移動体の座標)に基づいて、ナンバープレート検出を行う際の誤検出を防止することができる。なお、車頭部分を撮像する場合には、車頭部分が完全に視野に入るように、移動体座標オフセット範囲を設定する。また、車尾部分を撮像する場合には、車尾部分が完全に視野に入るように、移動体座標オフセット範囲を設定する。 Therefore, as shown in FIG. 11, a predetermined range (S1, S2, S3, S4) from the top, bottom, left, and right ends of the captured image is set as the moving body coordinate offset range (S1, S2, S3, S4) and detected. When the coordinates of the moving body are within the moving body coordinate offset range, the detection of the moving body is not performed as a coordinate detection failure (for example, a determination result that the moving body does not exist). Thereby, it is possible to prevent erroneous detection when performing license plate detection based on the detection result of the moving body (coordinates of the moving body). Note that when the vehicle head portion is imaged, the moving body coordinate offset range is set so that the vehicle head portion completely enters the field of view. Further, when imaging the vehicle rear portion, the moving object coordinate offset range is set so that the vehicle rear portion is completely within the field of view.
次に、本実施の形態の移動体検出装置100の動作について説明する。図12及び図13は本実施の形態の移動体検出装置100による移動体検出の処理手順の一例を示すフローチャートである。以下、処理の主体を便宜上制御部10として説明する。制御部10は、撮像画像を取得し(S11)、取得した撮像画像に基づいて、差分画像を生成し(S12)、撮像画像を差分画像でフィルタ処理する(S13)。なお、差分画像の生成及び差分画像によるフィルタ処理を省略してもよい。
Next, the operation of the moving
制御部10は、横ライン毎に特徴点を抽出し(S14)、抽出した特徴点を横方向に計数することにより、横方向画像特徴投影ヒストグラムを生成する(S15)。
The
制御部10は、横方向画像特徴投影ヒストグラムの特徴点の分布に基づいて、車頭基準位置(横方向画像特徴投影ヒストグラムの度数が閾値を満たす最も低い位置)を特定し(S16)、特定した車頭基準位置から上下方向に所定の範囲だけ広げた車頭高さ範囲を設定する(S17)。
The
制御部10は、設定した車頭高さ範囲内において、縦ライン毎に特徴点を抽出し(S18)、抽出した特徴点を縦方向に計数することにより、縦方向車頭特徴投影ヒストグラムを生成する(S19)。
The
制御部10は、縦方向車頭特徴投影ヒストグラムの特徴点の分布において、分布が連続する最も長い部分を車頭幅として特定する(S20)。制御部10は、特定した車頭幅において、縦方向車頭特徴投影ヒストグラムの分布を略等分する位置を移動体のx座標として検出する(S21)。
The
制御部10は、検出したx座標を基準として左右方向にそれぞれ所定の範囲だけ広げた四輪車幅範囲を設定し(S22)、設定した四輪車幅範囲内において、ステップS14で抽出した特徴点を横方向に計数することにより、横方向四輪特徴投影ヒストグラムを生成する(S23)。
The
制御部10は、横方向四輪特徴投影ヒストグラムの特徴点の分布に基づいて、移動体のy座標(横方向四輪特徴投影ヒストグラムの度数が閾値を満たす最も低い位置)を検出し(S24)、処理を終了する。
The
移動体検出装置100は、CPU、RAMなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図12及び図13に示すような、各処理手順を定めたコンピュータプログラムをDVDなどの記録媒体に記録しておく。そして、当該記録媒体に記録したコンピュータプログラムを光ディスク装置等で読み込ませることにより、コンピュータに備えられたRAMにロードし、コンピュータプログラムをCPUで実行することにより、コンピュータ上で移動体検出装置を実現することができる。
The moving
本実施の形態の移動体検出装置100は、移動体の車両らしさを求めるため、「車種情報生成」、「車線情報生成」、「位置情報生成」及び「追跡情報生成」の各処理を行う。まず、車種情報生成、すなわち移動体の種別判定について説明する。
The mobile
移動体検出装置100は、位置(座標)が検出された移動体に対して、移動体の種別(例えば、四輪車両、二輪車両、不明)に分類する。すなわち、移動体検出装置100は、検出した移動体の種別を判定する移動体判定装置としても機能する。また、移動体の種別を判定する際に用いる特徴点は、移動体の検出処理において抽出した特徴点をそのまま用いることができる。
The mobile
まず、横方向二輪特徴投影ヒストグラムの生成方法について説明する。図14は本実施の形態の移動体検出装置100による横方向二輪特徴投影ヒストグラムの生成方法の一例を示す説明図である。図14中、右側の図は、撮像画像の例を示し、左側の図は、横方向二輪特徴投影ヒストグラムの例を示す。
First, a method for generating a horizontal two-wheel feature projection histogram will be described. FIG. 14 is an explanatory diagram showing an example of a method for generating a lateral two-wheel feature projection histogram by the moving
第1種別領域設定部21は、撮像画像上で、幅(横方向の長さ)が比較的長い領域である第1部分領域としての四輪車幅範囲を設定する。四輪車幅範囲は、図9に例示したものと同じである。なお、移動体の検出処理において、すでに車幅領域設定部17により四輪車幅範囲は設定されているので、設定された四輪車幅範囲をそのまま用いることができる。
The first type
図14に示すように、第2種別領域設定部22は、撮像画像上で、幅(横方向の長さ)が比較的短い領域である第2部分領域としての二輪車幅範囲を設定する。二輪車幅範囲は、例えば、検出した移動体の横位置(x座標)を基準にして所定の横寸法を有する範囲を撮像画像内に設定する。所定の横寸法は、移動体の幅(二輪車の車幅)の範囲を想定して設定することができる。二輪車幅範囲は、例えば、移動体の横位置(x座標)を基準として左右方向それぞれに所定の画素数だけ広げた領域とすることができる。また、以下、第1部分領域を四輪車幅範囲とも称し、第2部分領域を二輪車幅範囲とも称する。
As shown in FIG. 14, the second type
四輪車幅範囲は、車幅が比較的長い領域であるのに対し、二輪車幅範囲は、車幅が比較的短い領域であり、移動体の種別(種別は、例えば、幅の長さに応じて異なるものとして分けられたものである)に対応する。例えば、四輪車幅範囲が、幅が比較的長い第1種別に対応する場合、二輪車幅範囲は幅が比較的短い第2種別に対応させることができる。また、移動体の種別は、四輪車と二輪車とに限定されるものではなく、例えば、第1部分領域が大型車両の幅に対応する場合、第2部分領域は普通車両の幅に対応させることができる。 The four-wheeled vehicle width range is a region where the vehicle width is relatively long, whereas the two-wheeled vehicle width range is a region where the vehicle width is relatively short, and the type of the moving object (the type is, for example, the width length). Corresponding to different ones). For example, when the four-wheeled vehicle width range corresponds to the first type having a relatively long width, the two-wheeled vehicle width range can correspond to the second type having a relatively short width. In addition, the type of the moving body is not limited to a four-wheeled vehicle and a two-wheeled vehicle. For example, when the first partial region corresponds to the width of a large vehicle, the second partial region corresponds to the width of a normal vehicle. be able to.
横方向特徴点計数部13は、第2種別領域設定部22で設定した二輪車幅範囲の横ライン毎に、抽出した特徴点の数を計数する。この場合、特徴点は、任意の注目画素及び当該注目画素と横方向に隣り合う(隣接する)画素の輝度値の差分の絶対値が所定の輝度閾値Yth3より大きい場合、当該注目画素を特徴点として抽出する。図9の例では、|Y(x、y)−Y(x+1、y)|>Yth3を満たす場合、画素(x、y)を特徴点として抽出する。
The horizontal feature
横ラインは、横方向(x軸)に沿ったラインであり、例えば、撮像画像の大きさを(縦×横)画素とすると、横ラインは縦の画素数だけ存在することになる。すなわち、横方向特徴点計数部13は、撮像画像の二輪車幅範囲内の特徴点の数を横方向(横ライン毎)に計数して合計し、合計した値を度数とした特徴点のヒストグラム(横方向二輪特徴投影ヒストグラム)を生成する。
The horizontal line is a line along the horizontal direction (x-axis). For example, if the size of the captured image is (vertical × horizontal) pixels, the horizontal line exists as many as the number of vertical pixels. That is, the horizontal direction feature
横方向二輪特徴投影ヒストグラムを生成する際には、横方向四輪特徴投影ヒストグラムと同様、撮像画像全体のうち、車頭付近が既に限定されているため、輝度閾値Yth3は、輝度閾値Yth1より若干小さくすることができる。 When the horizontal two-wheel feature projection histogram is generated, the luminance threshold value Yth3 is slightly smaller than the luminance threshold value Yth1 because the vicinity of the vehicle head is already limited in the entire captured image as in the horizontal four-wheel feature projection histogram. can do.
なお、横方向四輪特徴投影ヒストグラムは、すでに移動体の検出処理において生成されているので、再度生成する必要はない。 Since the horizontal four-wheel feature projection histogram has already been generated in the moving object detection process, it is not necessary to generate it again.
次に、生成した横方向二輪特徴投影ヒストグラムを用いて、移動体の種別判定を行うか否かを決定する方法について説明する。 Next, a method for determining whether or not to determine the type of the moving object using the generated lateral two-wheel feature projection histogram will be described.
特徴点分布位置特定部23は、最上位位置及び最下位位置を特定する位置特定手段としての機能を有する。特徴点分布位置特定部23は、横方向特徴点計数部13で計数した特徴点の数が所定の特徴点閾値以上となる横ラインの位置のうち、最上位位置及び最下位位置を特定する。
The feature point distribution
特徴点閾値は、適宜設定することができ、例えば、1とすることができる。特徴点閾値が1である場合は、特徴点が存在するか否かを判定することになる。すなわち、横方向四輪特徴投影ヒストグラムの度数が0を超える(1以上)横ラインの位置のうち、最も上方の位置を最上位位置とし、度数が0を超える(1以上)横ラインの位置のうち、最も下方の位置を最下位位置とする。横方向二輪特徴投影ヒストグラムについても、同様に、度数が0を超える(1以上)横ラインの位置のうち、最も上方の位置を最上位位置とし、度数が0を超える(1以上)横ラインの位置のうち、最も下方の位置を最下位位置とする。 The feature point threshold can be set as appropriate, and can be set to 1, for example. When the feature point threshold is 1, it is determined whether or not a feature point exists. That is, among the positions of the horizontal lines where the frequency of the horizontal four-wheel feature projection histogram exceeds 0 (1 or more), the uppermost position is the highest position, and the position of the horizontal line where the frequency exceeds 0 (1 or more). Of these, the lowest position is the lowest position. Similarly, in the horizontal two-wheel feature projection histogram, among the positions of the horizontal lines where the frequency exceeds 0 (1 or more), the uppermost position is the highest position, and the frequency of the horizontal line where the frequency exceeds 0 (1 or more). Of the positions, the lowest position is the lowest position.
図15は本実施の形態の移動体検出装置100による種別判定を行うか否かの決定方法の一例を示す説明図である。図15において、始点は撮像画像の上端の位置を示し、終点は撮像画像の下端の位置を示す。また、中間は撮像画像の中心位置、すなわち始点と終点との距離を二等分した位置である。移動体種別判定部24は、移動体の種別を判定する判定手段としての機能を有する。
FIG. 15 is an explanatory diagram illustrating an example of a method for determining whether or not to perform type determination by the moving
図15Aに示すように、移動体種別判定部24は、特徴点分布位置特定部23で特定した最上位位置が撮像画像の上半分の領域にあり、特定した最下位位置が撮像画像の下半分の領域にある場合、移動体の種別を判定する(判定すると決定する)。
As shown in FIG. 15A, the moving body
移動体(車両)のナンバープレート、ヘッドライト、テールランプ、バンパー、フロントグリル等の車頭部分又は車尾部分が撮像画像の中心付近で映っている場合には、特徴点の分布(ヒストグラム)の長さ(横ラインの数)は長くなり、最上位位置が撮像画像の上半分の領域にあり、最下位位置が撮像画像の下半分の領域にあるので、移動体の種別を精度良く判定することができる。 Length of feature point distribution (histogram) when the vehicle head part or car tail part such as license plate, headlight, tail lamp, bumper, front grille, etc. of the moving object (vehicle) is reflected near the center of the captured image (Number of horizontal lines) becomes longer, the highest position is in the upper half area of the captured image, and the lowest position is in the lower half area of the captured image. it can.
また、図15B、図15Cに示すように、車頭部分又は車尾部分が、撮像画像の中心付近で映っていない場合には、最上位位置が撮像画像の下半分の領域にあり、あるいは、最下位位置が撮像画像の上半分の領域にあるので、移動体の種別を精度良く判定することができないため、移動体の種別を判定しない。これにより、移動体の種別を精度良く判定することができるとともに、誤って判定することを防止できる。なお、横方向四輪特徴投影ヒストグラムについても図15と同様であるので、説明は省略する。 Further, as shown in FIGS. 15B and 15C, when the vehicle head portion or the vehicle tail portion is not reflected near the center of the captured image, the highest position is in the lower half area of the captured image, or Since the lower position is in the upper half area of the captured image, the type of the moving body cannot be accurately determined, and therefore the type of the moving body is not determined. Thereby, while being able to determine the classification of a mobile body accurately, it can prevent determining incorrectly. Note that the horizontal four-wheel feature projection histogram is the same as that in FIG.
次に、移動体の種別の判定方法について説明する。図16は本実施の形態の移動体検出装置100による横方向四輪特徴投影ヒストグラム及び横方向二輪特徴投影ヒストグラムの特徴量の一例を示す説明図であり、図17は本実施の形態の移動体検出装置100による移動体の種別判定方法の一例を示す説明図である。特徴量は、横方向四輪特徴投影ヒストグラムに含まれる特徴点の合計値N1、横方向二輪特徴投影ヒストグラムに含まれる特徴点の合計値N2、及び横方向二輪特徴投影ヒストグラムの度数の平均値Vなどである。
Next, a method for determining the type of mobile object will be described. FIG. 16 is an explanatory diagram illustrating an example of feature amounts of the lateral four-wheel feature projection histogram and the lateral two-wheel feature projection histogram by the moving
横方向特徴点計数部13は、計数手段としての機能を有し、撮像画像内の所定の横幅を有する四輪車幅範囲(第1部分領域)に含まれる特徴点の数N1、及び当該所定の横幅より小さい横幅を有する二輪車幅範囲(第2部分領域)に含まれる特徴点の数N2をそれぞれ計数する。すなわち、特徴点の数N1は、例えば、横方向四輪特徴投影ヒストグラムに含まれる特徴点の合計値であり、特徴点の数N2は、例えば、横方向二輪特徴投影ヒストグラムに含まれる特徴点の合計値である。
The lateral feature
移動体種別判定部24は、横方向特徴点計数部13で計数した特徴点の数N1及びN2の比(例えば、N2/N1)に基づいて、移動体の種別を判定する。例えば、幅の短い第2種別の移動体が撮像画像上で映っている場合、四輪車幅範囲(第1部分領域)に含まれる特徴点の数N1が少なくなるので、比(N2/N1)の値は大きくなる。また、幅の長い第1種別の移動体が撮像画像上で映っている場合、四輪車幅範囲(第1部分領域)に含まれる特徴点の数N1が多くなるので、比(N2/N1)の値は小さくなる。隣り合う(隣接する)画素同士の画素値(輝度値)の差分が所定の閾値以上となる画素を特徴点として抽出するので、日照変化、天候変化などの外部環境変化の影響により生ずる路面上の影の部分が特徴点として抽出されず、路面上の影に影響されることなく、移動体(例えば、車両)の文字、ヘッドライト、フロントグリル、テールランプ等の輝度変化を移動体の種別に応じて定量化することができるので、特徴点の数の比(N2/N1)の大小に応じて移動体の種別を精度よく判定することができる。
The moving body
より具体的には、図17のNo.1に示すように、移動体種別判定部24は、特徴点の数N1に対する数N2の比(N2/N1)が、所定の第1閾値Th1より小さい場合、移動体が第1種別であると判定する。第1種別は、例えば、比較的幅の長い移動体であり、四輪車である。幅の長い第1種別の移動体が撮像画像上で映っている場合、第1部分領域に含まれる特徴点の数N1が多くなるので、比(N2/N1)の値は小さくなる。そこで、比(N2/N1)が、所定の第1閾値Th1より小さい場合、移動体が第1種別であると判定することができる。
More specifically, in FIG. As shown in FIG. 1, the moving body
また、図17のNo.2に示すように、移動体種別判定部24は、特徴点の数N1に対する数N2の比(N2/N1)が、第2閾値Th2(Th2>Th1)以上である場合、移動体が第1種別と異なる第2種別であると判定する。第2種別は、例えば、比較的幅の短い移動体であり、二輪車である。幅の短い第2種別の移動体が撮像画像上で映っている場合、第1部分領域に含まれる特徴点の数N1が少なくなるので、比(N2/N1)の値は大きくなる。そこで、比(N2/N1)が、所定の第2閾値Th2より大きい場合、移動体が第2種別であると判定することができる。
In addition, in FIG. As shown in FIG. 2, when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is equal to or greater than the second threshold Th2 (Th2> Th1), the moving body
また、移動体種別判定部24は、特徴点の数N1に対する数N2の比(N2/N1)が、第1閾値Th1以上であり、第2閾値Th2より小さい場合、特徴点の数N1と数N2との差分(例えば、N1−N2)と、所定の第3閾値Th3との大小に応じて、移動体が第1種別であるか第2種別であるかを判定する。比(N2/N1)が、第1閾値Th1より大きく、第2閾値Th2より小さい場合には、第1種別であるか第2種別であるかを判定することができない。そこで、特徴点の数N1と数N2との差分(N1−N2)と、第3閾値Th3との大小に応じて、移動体の種別を判定する。
In addition, when the ratio (N2 / N1) of the number N2 to the number N1 of feature points is equal to or larger than the first threshold Th1 and smaller than the second threshold Th2, the moving body
例えば、幅の短い第2種別の移動体が撮像画像上で映っている場合、四輪車幅範囲(第1部分領域)に含まれる特徴点の数N1が少なくなるので、差分(N1−N2)の値は小さくなる。また、幅の長い第1種別の移動体が撮像画像上で映っている場合、四輪車幅範囲(第1部分領域)に含まれる特徴点の数N1が多くなるので、差分(N1−N2)の値は大きくなる。 For example, when the second type mobile body with a short width is shown on the captured image, the number N1 of feature points included in the four-wheeled vehicle width range (first partial region) is reduced, so the difference (N1-N2 ) Value becomes smaller. In addition, when the first type mobile body having a long width is reflected on the captured image, the number N1 of feature points included in the four-wheeled vehicle width range (first partial region) increases, so the difference (N1-N2 ) Value increases.
そして、図17のNo.4に示すように、特徴点の数N1と数N2との差分(N1−N2)が、第3閾値Th3以上である場合には、幅の長い第1種別(四輪車)であると判定することができる。なお、特徴点の数N1と数N2との差分(N1−N2)が、第3閾値Th3より小さい場合には、幅の短い第2種別(二輪車)であると判定してもよい。 And No. of FIG. As shown in FIG. 4, when the difference (N1-N2) between the number N1 and the number N2 of feature points is equal to or greater than the third threshold Th3, it is determined that the type is a long first type (four-wheeled vehicle). can do. When the difference (N1−N2) between the number N1 and the number N2 of feature points is smaller than the third threshold Th3, it may be determined that the second type (two-wheeled vehicle) has a short width.
また、図17のNo.3に示すように、移動体種別判定部24は、特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合に、特徴点の数N2(より具体的には、横方向二輪特徴投影ヒストグラムの度数の平均値V)が所定の第4閾値Th4より小さいときは、移動体が第2種別であると判定する。特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合には、幅の短い第2種別であると判定することができる。そして、四輪車両などの幅の長い第1種別の移動体では、フロントグリル、文字等が多く存在するので特徴点の数N2は多くなり、二輪車両などの幅の短い第2種別の移動体では、フロントグリル、文字等が少ないので特徴点の数N2は少なくなる。このため、特徴点の数N2(横方向二輪特徴投影ヒストグラムの度数の平均値V)が所定の第4閾値Th4より小さい場合には、二輪車両などの幅の短い第2種別であると判定することができる。したがって、特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合に、さらに特徴点の数N2(横方向二輪特徴投影ヒストグラムの度数の平均値V)が所定の第4閾値Th4より小さいか否かを判定することにより、精度良く移動体の種別を判定することができる。なお、横方向二輪特徴投影ヒストグラムの度数の平均値Vに代えて、特徴点の数N2を用いることもできる。
In addition, in FIG. As shown in FIG. 3, the moving body
移動体種別判定部24は、時系列に移動体の種別を判定するようにしてあり、図17のNo.5に示すように、特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合に、特徴点の数N2(横方向二輪特徴投影ヒストグラムの度数の平均値V)が第4閾値Th4以上のときは、移動体の種別が直近に判定した種別と同じであると判定する。特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合には、幅の短い第2種別であると判定することができる。しかし、特徴点の数N2(横方向二輪特徴投影ヒストグラムの度数の平均値V)が所定の第4閾値Th4以上である場合には、四輪車両などの幅の長い第1種別の移動体であると判定することもできる。そこで、特徴点の数N1と数N2との差分(N1−N2)が第3閾値Th3より小さい場合に、特徴点の数N2(横方向二輪特徴投影ヒストグラムの度数の平均値V)が第4閾値Th4以上であるときは、第1種別であるか第2種別であるかを正確に判定することができないので、移動体の種別が直近に判定した種別と変わらないものとして、直近に判定した種別と同じであると判定する。これにより、移動体の種別の判定が困難なタイミングが生じても直近に判定した結果を用いることができ、種別の判定を誤ることを防止することができる。なお、横方向二輪特徴投影ヒストグラムの度数の平均値Vに代えて、特徴点の数N2を用いることもできる。
The mobile body
次に、車線情報の生成方法について説明する。撮像装置の視野内に車線が複数存在する場合、隣接車線の車両は車体の一部のみしか撮影されず車両の画像としては不適切である。そのため、不適切な画像を出力しないために、撮影画像上の移動体が走行している車線を判定する。 Next, a method for generating lane information will be described. When there are a plurality of lanes within the field of view of the imaging device, only a part of the vehicle body is photographed for vehicles in adjacent lanes, which is inappropriate as an image of the vehicle. Therefore, in order not to output an inappropriate image, the lane in which the moving body on the captured image is traveling is determined.
図18は本実施の形態の移動体検出装置100による車線の判定方法の一例を示す説明図である。図18Aに示すように、撮像画像を中央領域、2つの分離領域(左分離領域、右分離領域)、左端近傍領域及び右端近傍領域に区分する。
FIG. 18 is an explanatory diagram illustrating an example of a lane determination method performed by the moving
中央領域は、視野内の車線が映っている領域に相当し、撮像画像の中央から横方向に所定の第1幅を有する領域である。 The central region corresponds to a region where a lane in the field of view is shown, and is a region having a predetermined first width in the lateral direction from the center of the captured image.
左端近傍領域及び右端近傍領域は、隣接車線が映っている領域に相当し、撮像画像の左端又は右端から横方向に所定の近傍幅を有する領域である。 The left end vicinity region and the right end vicinity region correspond to regions where adjacent lanes are shown, and are regions having a predetermined vicinity width in the horizontal direction from the left end or the right end of the captured image.
分離領域は、中央領域を間にして分離され、所定の第2幅を有する領域である。分離領域、左端近傍領域及び右端近傍領域を含む領域全体は、移動体の横位置(x座標)が、撮像画像の左端又は右端を超えてしまう可能性がある範囲である。 The separation region is a region having a predetermined second width that is separated with a central region in between. The entire region including the separation region, the left end vicinity region, and the right end vicinity region is a range in which the horizontal position (x coordinate) of the moving body may exceed the left end or the right end of the captured image.
図18Bに示すように、車線情報生成部31は、検出した移動体のx座標(横位置)が左端近傍領域又は右端近傍領域内にある場合、隣接車線であると判定する。この場合、移動体種別判定部24は、移動体の種別の判定を行わない。移動体のx座標が左端近傍領域又は右端近傍領域内にある場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っていないとして、移動体の種別を判定しない。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。
As illustrated in FIG. 18B, the lane
図18Bに示すように、車線情報生成部31は、検出した移動体のx座標が中央領域内にある場合、視野内の車線であると判定する。この場合、移動体種別判定部24は、移動体の種別を判定する。移動体のx座標が中央領域内にある場合、移動体(車両)のナンバープレート、ヘッドライト、テールランプ、バンパー、フロントグリル等の車頭部分又は車尾部分が撮像画像の中心付近で映っているので、移動体の種別を精度良く判定することができる。
As illustrated in FIG. 18B, the lane
図18Bに示すように、車線情報生成部31は、検出した移動体のx座標が中央領域内にない場合に、検出した移動体の幅が所定の幅閾値より小さいとき、隣接車線であると判定する。この場合、移動体種別判定部24は、移動体の種別の判定を行わない。
As illustrated in FIG. 18B, the lane
すなわち、移動体の車頭付近の特徴点が視野外に分布する場合は車幅の幅閾値以上が視野内に入る場合は視野内と判定し、幅閾値未満である場合は視野外であると判定する。ここで、特徴点が視野外に分布するものは、移動体検出の際に特定した「車頭幅」の開始点(左端点)と終了点(右端点)がそれぞれ撮像画像の左端と右端と一致するか否かにより判定することができる。また、視野内に入る車幅は「車頭幅」の長さにより判定することができる。 In other words, if feature points near the vehicle head are distributed outside the field of view, it is determined that the vehicle width is within the field of view if it is greater than or equal to the width threshold of the vehicle width, and is outside the field of view if it is less than the width threshold. To do. Here, when the feature points are distributed outside the field of view, the start point (left end point) and end point (right end point) of the “vehicle head width” specified when moving objects are detected match the left and right ends of the captured image, respectively. It can be determined by whether or not to do so. Further, the vehicle width falling within the field of view can be determined by the length of the “vehicle head width”.
また、車線情報生成部31は、検出した移動体のx座標が中央領域内にない場合に、検出した移動体の幅が所定の幅閾値より大きいとき、視野内の車線であると判定する。この場合、移動体種別判定部24は、移動体の種別を判定する。
The lane
移動体のX座標が中央領域内にない場合には、移動体の横位置が撮像画像の左端又は右端を超えて撮像画像内に存在しない可能性があるため、移動体の種別を精度良く判定することができない可能性がある。そこで、例えば、移動体の幅が所定の幅閾値より大きい場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っているとして、移動体の種別を判定する。一方、移動体の幅が所定の幅閾値より小さい場合には、移動体の種別を判定することができる程度に移動体が撮像画像に映っていないとして、移動体の種別を判定しない。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。 If the X coordinate of the moving object is not within the central area, the horizontal position of the moving object may not exist in the captured image beyond the left or right edge of the captured image, so the type of the moving object is accurately determined. You may not be able to. Therefore, for example, when the width of the moving body is larger than a predetermined width threshold, the moving body type is determined on the assumption that the moving body appears in the captured image to the extent that the moving body type can be determined. On the other hand, when the width of the moving body is smaller than the predetermined width threshold, the type of the moving body is not determined assuming that the moving body is not reflected in the captured image to the extent that the type of the moving body can be determined. Thereby, it can prevent determining the classification of a moving body accidentally, and can determine with sufficient precision.
また、車線情報生成部31は、検出した移動体のX座標が分離領域内にあるとき、視野内の車線であると判定する。この場合、移動体種別判定部24は、移動体の種別を判定する。移動体のX座標が中央領域内にない場合には、移動体の横位置が撮像画像の左端又は右端を超えて撮像画像内に存在しない可能性があるため、移動体の種別を精度良く判定することができない可能性がある。そこで、例えば、中央領域を間にして分離され、所定の第2幅を有する2つの分離領域内に移動体の横位置があるときは、移動体の種別を判定することができる程度に移動体が撮像画像に映っているとして、移動体の種別を判定する。これにより、移動体の種別を誤って判定することを防止することができ、精度良く判定することができる。
The lane
次に、位置情報の生成方法について説明する。図19は本実施の形態の移動体検出装置100による位置情報の生成方法の一例を示す説明図である。図19において、左側の図は横方向四輪特徴投影ヒストグラムを示し、右側の図は撮像画像を示す。
Next, a method for generating position information will be described. FIG. 19 is an explanatory diagram illustrating an example of a method for generating position information by the moving
車体のナンバープレート付近が撮影されていることを判定するために、撮影された位置が正しいかどうかの判定を行う。ナンバープレートは車体のヘッドライト付近(車尾の場合はテールランプ付近)に装着されていることから、ナンバープレートが撮像画像の中心付近で撮影されるときは、撮像画像の下側には車体が存在しないことが分かる。 In order to determine that the vicinity of the license plate of the vehicle body has been shot, it is determined whether or not the shot position is correct. Since the license plate is mounted near the headlight of the vehicle body (in the case of the car tail, near the tail lamp), when the license plate is shot near the center of the captured image, the vehicle body exists below the captured image. I understand that I don't.
位置情報生成部32は、横方向四輪特徴投影ヒストグラムの下側に対して車両位置判定領域を設定し、図19Aに示すように、車両位置判定領域内のヒストグラム値(特徴点の数)が閾値未満の場合は正しい位置で撮影されていると判定し、移動体の位置が正しい旨の情報を生成する。
The position
また、位置情報生成部32は、図19Bに示すように、車両位置判定領域内のヒストグラム値(特徴点の数)が閾値以上の場合は正しい位置ではないと判定し、移動体の位置が正しくない旨の情報を生成する。なお、車両位置判定領域は、撮像画像の縦方向の画素数の10%程度の値とすることができる。
Further, as shown in FIG. 19B, the position
次に、追跡情報の生成方法について説明する。図20は本実施の形態の移動体検出装置100による移動体の追跡方法の一例を示す説明図であり、図21は本実施の形態の移動体検出装置100による追跡情報の一例を示す説明図である。図20において、座標(x(0)、y(0))は追跡開始時の移動体のxy座標であり、座標(x(t−1)、y(t−1))は、直近(前)フレーム(撮像画像)での移動体のxy座標であり、座標(x(t)、y(t))は、現在(今)フレーム(撮像画像)での移動体のxy座標である。
Next, a method for generating tracking information will be described. FIG. 20 is an explanatory diagram illustrating an example of a tracking method of a moving object by the moving
移動体のxy座標の軌跡から時系列に連続する移動体が、同一の物体であるかどうかを判定し、また、視野内で直線的な走行をしているかどうかを判定するために、追跡処理を行う。追跡処理では、現在のフレーム(例えば、時刻tの撮像画像)で検出された移動体のxy座標が、直近のフレーム(例えば、時刻t−1の撮像画像)から移動可能な範囲であること、追跡開始時からの移動量が閾値以上であることを判定する。 A tracking process is performed to determine whether or not a moving object that is continuous in time series from the trajectory of the xy coordinates of the moving object is the same object, and whether or not it is traveling linearly within the field of view. I do. In the tracking process, the xy coordinates of the moving object detected in the current frame (for example, the captured image at time t) are within a range that can be moved from the latest frame (for example, the captured image at time t−1). It is determined that the amount of movement from the start of tracking is greater than or equal to a threshold value.
移動可能な範囲であるか否かの判定は、直近のフレームでの移動体のxy座標に対して、移動可能範囲を設定し、現在のフレームでの移動体のxy座標が、当該移動可能範囲内に存在するかどうかで判定する。この場合、フレーム間で連続して移動可能範囲であると判定された回数を追跡回数として計数し、追跡回数が多いほど移動物体が直線的な走行をしていると判断する信頼度が高くなる。 The determination as to whether or not it is a movable range is performed by setting a movable range with respect to the xy coordinates of the moving object in the most recent frame, and the xy coordinates of the moving object in the current frame being the movable range. Judgment is made based on whether or not it exists inside. In this case, the number of times determined to be a continuously movable range between frames is counted as the number of tracking times, and the higher the number of tracking times, the higher the reliability with which it is determined that the moving object is traveling linearly. .
また、追跡開始時からの移動量が閾値以上であるか否かの判定は、追跡回数が1回以上のものに対して、追跡開始時の移動体のxy座標と、現在のフレームでの移動体のxy座標との距離により判定する。当該距離が小さい場合は、移動体ではないと判定して追跡失敗であると判定する。また、当該距離が大きい場合は、移動体であると判定して追跡成功であると判定する。 Also, whether or not the amount of movement from the start of tracking is greater than or equal to the threshold is determined by comparing the xy coordinates of the moving object at the start of tracking and the movement in the current frame for a tracking number of one or more. Judgment is based on the distance to the xy coordinates of the body. When the distance is small, it is determined that it is not a moving body and it is determined that tracking has failed. If the distance is large, it is determined that the object is a moving body and the tracking is successful.
移動可能範囲は、車頭計測と車尾計測では進行方向が異なるため、以下のように設定することができる。車頭計測の場合は、現在のフレームでの移動可能範囲左端=x(t−1)−定数d、移動可能範囲右端=x(t−1)+定数d、移動可能範囲上端=y(t−1)−定数h、移動可能範囲下端=撮像画像の下端とすることができる。 The movable range can be set as follows because the traveling direction differs between vehicle head measurement and vehicle tail measurement. In the case of vehicle head measurement, the movable range left end in the current frame = x (t−1) −constant d, the movable range right end = x (t−1) + constant d, and the movable range upper end = y (t− 1) —constant h, movable range lower end = lower end of captured image.
また、車尾計測の場合は、現在のフレームでの移動可能範囲左端=x(t−1)−定数d、移動可能範囲右端=x(t−1)+定数d、移動可能範囲上端=撮像画像の上端、移動可能範囲下端=y(t−1)+定数h、とすることができる。 Further, in the case of vehicle rear measurement, the movable range left end in the current frame = x (t−1) −constant d, the movable range right end = x (t−1) + constant d, the movable range upper end = imaging. The upper end of the image and the lower end of the movable range = y (t−1) + constant h.
図21に示すように、追跡情報生成部33は、移動体の追跡開始時のx座標と現在のx座標との差の絶対値が閾値Dxより大きい場合、または、移動体の追跡開始時のy座標と現在のy座標との差の絶対値が閾値Dyより大きい場合、追跡成功であって移動体である旨の追跡情報を生成する。
As illustrated in FIG. 21, the tracking
また、追跡情報生成部33は、移動体の追跡開始時のx座標と現在のx座標との差の絶対値が閾値Dx以下であり、かつ、移動体の追跡開始時のy座標と現在のy座標との差の絶対値が閾値Dy以下である場合、追跡失敗であって移動体でない旨の追跡情報を生成する。
In addition, the tracking
車頭計測の場合は撮像画像の上方から視野内に進入してきた車両を追跡し、また、車尾計測の場合は撮像画像の下方から視野内に進入してきた車両を追跡する。そのため、予め指定した追跡開始範囲内に移動体のxy座標が存在するときに追跡の開始を行うことができる。例えば、車頭計測の場合は、追跡開始範囲の上端は撮像画像の上端と一致し、追跡開始範囲の下端は、撮像画像の上端から下方に所定数の画素とすることができる。また、車尾計測の場合は、追跡開始範囲の上端は撮像画像の下端から上方に所定数の画素とし、追跡開始範囲の下端は、撮像画像の下端とすることができる。 In the case of vehicle head measurement, the vehicle that has entered the field of view from the upper side of the captured image is tracked. In the case of vehicle tail measurement, the vehicle that has entered the field of view from the lower side of the captured image is tracked. Therefore, the tracking can be started when the xy coordinates of the moving object exist within the tracking start range designated in advance. For example, in the case of vehicle head measurement, the upper end of the tracking start range coincides with the upper end of the captured image, and the lower end of the tracking start range can be a predetermined number of pixels downward from the upper end of the captured image. Further, in the case of vehicle tail measurement, the upper end of the tracking start range can be a predetermined number of pixels upward from the lower end of the captured image, and the lower end of the tracking start range can be the lower end of the captured image.
次に、本実施の形態の移動体検出装置100の動作について説明する。図22は本実施の形態の移動体検出装置100による移動体の種別判定の処理手順の一例を示すフローチャートである。以下、処理の主体を便宜上制御部10として説明する。制御部10は、移動体の座標(位置)を取得し(S31)、横方向四輪特徴投影ヒストグラムを取得し(S32)、横ライン毎に抽出した特徴点を取得する(S33)。移動体の座標(位置)、横方向四輪特徴投影ヒストグラム、特徴点は、いずれも移動体の位置を検出する際に求めたものである。
Next, the operation of the moving
制御部10は、撮像画像上に二輪車幅範囲を設定し(S34)、横方向二輪特徴投影ヒストグラムを生成する(S35)。制御部10は、横方向二輪特徴投影ヒストグラムの度数の平均値Vを算出し(S36)、横方向四輪特徴投影ヒストグラムの度数(特徴点)の合計値N1を算出し(S37)、横方向二輪特徴投影ヒストグラムの度数(特徴点)の合計値N2を算出する(S38)。
The
制御部10は、算出した合計値N1、N2、平均値Vに基づいて移動体の種別を判定し(S39)、処理を終了する。なお、移動体の種別の判定条件と判定結果は、図17に例示したとおりである。
The
移動体検出装置100は、CPU、RAMなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図22に示すような、各処理手順を定めたコンピュータプログラムをDVDなどの記録媒体に記録しておく。そして、当該記録媒体に記録したコンピュータプログラムを光ディスク装置等で読み込ませることにより、コンピュータに備えられたRAMにロードし、コンピュータプログラムをCPUで実行することにより、コンピュータ上で移動体検出装置(移動体判定装置)を実現することができる。
The moving
本実施の形態の移動体検出装置100で検出した移動体のxy座標及び物体情報(車種情報、車線情報、位置情報、追跡情報)は、移動体情報として、本実施の形態の移動体検出装置100とは別個である、プレート検出処理、車両判定処理などを行う装置(以下、外部装置と称する)へ出力することができる。
The xy coordinates and object information (vehicle type information, lane information, position information, tracking information) of the moving body detected by the moving
プレート検出処理を行う外部装置では、撮像装置で撮像された元画像に基づいてナンバープレート検出処理を行うので、移動体検出装置100での移動体検出処理において、元画像を縮小した撮像画像を用いている場合には、検出した移動体のxy座標を元画像の座標に変換すればよい。
In the external device that performs the plate detection process, the license plate detection process is performed based on the original image captured by the imaging device. Therefore, in the moving body detection process of the mobile
また、車両判定処理を行う外部装置では、ナンバープレート検出が失敗した移動体に対して、移動体の通過情報、物体情報等から車両であるかどうかの判定を行う。そのため、移動体検出装置100が出力する物体情報は、車両である、及び車両でない、の二通りの値を表すことができる。外部装置での判定条件は、例えば、以下のとおりである。すなわち、(1)車両判定処理が有効である(例えば、車両判定処理を行うと設定した場合)、かつ、移動体の追跡結果が成功である、かつ、移動体の追跡回数>閾値、かつ、移動体の位置が視野内の車線である場合、車両であると判定する。(2)前述の(1)の条件を満たさない場合には、車両でないと判定する。
In addition, the external device that performs the vehicle determination process determines whether the vehicle is a vehicle based on the passing information, object information, and the like of the moving body for the moving body that failed to detect the license plate. Therefore, the object information output by the moving
上述の実施の形態において、撮像画像の一方向を撮像画像の横方向とし、他方向を縦方向として説明したが、撮像画像の一方向を撮像画像の縦方向とし、他方向を横方向とすることもできる。 In the above-described embodiment, one direction of the captured image is described as the horizontal direction of the captured image and the other direction is the vertical direction. However, one direction of the captured image is the vertical direction of the captured image, and the other direction is the horizontal direction. You can also.
以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。 The embodiments and examples disclosed above should be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above embodiments and examples but by the scope of claims, and is intended to include all modifications and variations within the meaning and scope equivalent to the scope of claims. .
10 制御部
11 差分画像生成部
12 特徴点抽出部
13 横方向特徴点計数部
14 車頭高さ領域設定部
15 縦方向特徴点計数部
16 横位置候補範囲特定部
17 車幅領域設定部
18 移動体座標検出部
20 車種情報生成部
21 第1種別領域設定部
22 第2種別領域設定部
23 特徴点分布位置特定部
24 移動体種別判定部
31 車線情報生成部
32 位置情報生成部
33 追跡情報生成部
DESCRIPTION OF
Claims (11)
撮像画像の各画素の画素値に基づいて特徴点を抽出する抽出手段と、
前記撮像画像内の所定の横幅を有する第1部分領域に含まれ、前記抽出手段で抽出した特徴点の数N1、及び前記所定の横幅より小さい横幅を有する第2部分領域に含まれ、前記抽出手段で抽出した特徴点の数N2をそれぞれ計数する計数手段と、
該計数手段で計数した特徴点の数N1及びN2の比(N2/N1)に基づいて、移動体の種別を判定する判定手段と
を備え、
前記判定手段は、
前記比(N2/N1)が、所定の第1閾値より小さい場合、移動体が第1種別であると判定するようにしてあり、
前記比(N2/N1)が、前記第1閾値より大きい第2閾値より大きい場合、移動体が前記第1種別と異なる第2種別であると判定するようにしてあり、
前記比(N2/N1)が、前記第1閾値より大きく、前記第2閾値より小さい場合、特徴点の数N1と数N2との差分と、所定の第3閾値との大小に応じて、移動体が前記第1種別であるか前記第2種別であるかを判定するよう構成してあることを特徴とする移動体判定装置。 In the mobile object determination device that determines the type of mobile object using a captured image in which a plurality of pixels are arranged in a matrix,
Extraction means for extracting feature points based on the pixel value of each pixel of the captured image;
Included in the first partial region having a predetermined lateral width in the captured image and included in the second partial region having the number N1 of feature points extracted by the extraction unit and a lateral width smaller than the predetermined lateral width, the extraction Counting means for counting the number N2 of feature points extracted by the means;
Determination means for determining the type of the moving object based on the ratio (N2 / N1) of the number of feature points N1 and N2 counted by the counting means ;
The determination means includes
When the ratio (N2 / N1) is smaller than a predetermined first threshold value, the mobile body is determined to be the first type,
When the ratio (N2 / N1) is greater than a second threshold value that is greater than the first threshold value, the mobile body is determined to be a second type different from the first type;
When the ratio (N2 / N1) is larger than the first threshold value and smaller than the second threshold value, it moves according to the difference between the number N1 and the number N2 of feature points and the predetermined third threshold value. body moving object determination device according to configured characterized tare Rukoto to determine whether a second type or a first type.
特徴点の数N1と数N2との差分が前記第3閾値より小さい場合に、特徴点の数N2が所定の第4閾値より小さいときは、移動体が前記第2種別であると判定するように構成してあることを特徴とする請求項1に記載の移動体判定装置。 The determination means includes
When the difference between the number N1 of feature points and the number N2 is smaller than the third threshold value, if the number N2 of feature points is smaller than a predetermined fourth threshold value, the moving body is determined to be the second type. The mobile body determination device according to claim 1 , wherein the mobile body determination device is configured as follows.
時系列に移動体の種別を判定するようにしてあり、
特徴点の数N1と数N2との差分が前記第3閾値より小さい場合に、特徴点の数N2が前記第4閾値より大きいときは、移動体の種別が直近に判定した種別と同じであると判定するように構成してあることを特徴とする請求項2に記載の移動体判定装置。 The determination means includes
The type of mobile object is determined in time series,
When the difference between the number N1 of feature points and the number N2 is smaller than the third threshold value, and the number N2 of feature points is larger than the fourth threshold value, the type of the moving object is the same as the type most recently determined. The mobile body determination device according to claim 2 , wherein the mobile body determination device is configured to determine that
前記第2種別は、二輪車両であることを特徴とする請求項1乃至請求項3のいずれか1項に記載の移動体判定装置。 The first type is a four-wheel vehicle,
The second type, the mobile determining device according to any one of claims 1 to 3, characterized in that a two-wheeled vehicle.
前記判定手段は、
前記位置特定手段で特定した最上位位置が前記撮像画像の上半分の領域にあり、特定した最下位位置が前記撮像画像の下半分の領域にある場合、移動体の種別を判定するように構成してあることを特徴とする請求項1乃至請求項4のいずれか1項に記載の移動体判定装置。 A position specifying means for specifying the highest position and the lowest position among the positions of the one-way line where the number of feature points counted by the counting means is equal to or greater than a predetermined feature point threshold;
The determination means includes
When the highest position specified by the position specifying means is in the upper half area of the captured image and the specified lowest position is in the lower half area of the captured image, the type of the moving object is determined. move object determination apparatus according to any one of claims 1 to 4, characterized in that are.
前記判定手段は、
前記検出手段で検出した移動体の横位置が、前記撮像画像の中央から横方向に所定の第1幅を有する中央領域内にある場合、移動体の種別を判定するように構成してあることを特徴とする請求項1乃至請求項5のいずれか1項に記載の移動体判定装置。 Detecting means for detecting a lateral position of the moving body in the captured image based on the feature points extracted by the extracting means;
The determination means includes
When the lateral position of the moving body detected by the detection means is within a central area having a predetermined first width in the lateral direction from the center of the captured image, the type of the moving body is determined. moving object determination device according to any one of claims 1 through claim 5, characterized in.
前記判定手段は、
前記検出手段で検出した移動体の横位置が前記中央領域内にない場合に、前記幅検出手段で検出した移動体の幅が所定の幅閾値より大きいとき、移動体の種別を判定するように構成してあることを特徴とする請求項6に記載の移動体判定装置。 Based on the feature points extracted by the extraction means, comprising a width detection means for detecting the width of the moving body,
The determination means includes
When the lateral position of the moving object detected by the detecting means is not within the central area, the type of the moving object is determined when the width of the moving object detected by the width detecting means is larger than a predetermined width threshold. The mobile body determination device according to claim 6 , wherein the mobile body determination device is configured.
前記検出手段で検出した移動体の横位置が前記中央領域内にない場合に、該中央領域を間にして分離され、所定の第2幅を有する2つの分離領域内にあるとき、移動体の種別を判定するように構成してあることを特徴とする請求項6に記載の移動体判定装置。 The determination means includes
When the lateral position of the moving body detected by the detecting means is not within the central area, the moving body is separated when the central area is in between two separation areas having a predetermined second width. The mobile body determination device according to claim 6 , wherein the mobile body determination device is configured to determine a type.
前記第1の撮像画像及び第2の撮像画像それぞれの対応する各画素の画素値の差分が前記第1差分閾値より小さく、該第1差分閾値より小さい第2差分閾値より大きい第2の画素を特定する第2画素特定手段と、
前記第1画素特定手段で特定した第1の画素及び該第1の画素に隣接する画素であって前記第2の画素で構成される差分画像を生成する差分画像生成手段と、
前記第1の撮像画像又は第2の撮像画像のいずれかを前記差分画像生成手段で生成した差分画像でフィルタ処理する処理手段と
を備え、
前記抽出手段は、
前記処理手段でフィルタ処理して得られた撮像画像の各画素の画素値に基づいて特徴点を抽出するように構成してあることを特徴とする請求項1乃至請求項8のいずれか1項に記載の移動体判定装置。 First pixel specifying means for specifying a first pixel in which a difference between pixel values of corresponding pixels of a first captured image and a second captured image at different imaging time points is greater than a first difference threshold;
A second pixel having a pixel value difference between corresponding pixels of each of the first captured image and the second captured image is smaller than the first difference threshold and greater than a second difference threshold smaller than the first difference threshold. Second pixel specifying means for specifying;
Differential image generation means for generating a differential image composed of the first pixel specified by the first pixel specifying means and a pixel adjacent to the first pixel and composed of the second pixel;
Processing means for filtering either the first captured image or the second captured image with the difference image generated by the difference image generating means;
The extraction means includes
Any one of claims 1 to 8, characterized in that is arranged to extract a feature point on the basis of the pixel value of each pixel of a captured image obtained by filtering by the processing unit The moving body determination apparatus described in 1.
コンピュータに、
撮像画像の各画素の画素値に基づいて特徴点を抽出するステップと、
前記撮像画像内の所定の横幅を有する第1部分領域に含まれ、抽出した特徴点の数N1、及び前記所定の横幅より小さい横幅を有する第2部分領域に含まれ、抽出した特徴点の数N2をそれぞれ計数するステップと、
計数した特徴点の数N1に対する数N2の比(N2/N1)が、所定の第1閾値より小さい場合、移動体が第1種別であると判定するステップと、
前記比(N2/N1)が、前記第1閾値より大きい第2閾値より大きい場合、移動体が前記第1種別と異なる第2種別であると判定するステップと、
前記比(N2/N1)が、前記第1閾値より大きく、前記第2閾値より小さい場合、特徴点の数N1と数N2との差分と、所定の第3閾値との大小に応じて、移動体が前記第1種別であるか前記第2種別であるかを判定するステップと
を実行させることを特徴とするコンピュータプログラム。 In a computer program for causing a computer to determine the type of moving object using a captured image in which a plurality of pixels are arranged in a matrix,
On the computer,
Extracting feature points based on pixel values of each pixel of the captured image;
The number N1 of feature points extracted and included in the first partial region having a predetermined lateral width in the captured image, and the number of feature points extracted and included in the second partial region having a lateral width smaller than the predetermined lateral width. Counting N2 respectively;
When the ratio of the number N2 to the counted number N1 of the feature points (N2 / N1) is smaller than a predetermined first threshold, the step of determining that the moving body is the first type;
When the ratio (N2 / N1) is greater than a second threshold value greater than the first threshold value, the step of determining that the moving body is a second type different from the first type;
When the ratio (N2 / N1) is larger than the first threshold value and smaller than the second threshold value, it moves according to the difference between the number N1 and the number N2 of feature points and the predetermined third threshold value. And a step of determining whether a body is the first type or the second type .
撮像画像の各画素の画素値に基づいて特徴点を抽出するステップと、
前記撮像画像内の所定の横幅を有する第1部分領域に含まれ、抽出された特徴点の数N1、及び前記所定の横幅より小さい横幅を有する第2部分領域に含まれ、抽出された特徴点の数N2をそれぞれ計数するステップと、
計数された特徴点の数N1に対する数N2の比(N2/N1)が、所定の第1閾値より小さい場合、移動体が第1種別であると判定するステップと、
前記比(N2/N1)が、前記第1閾値より大きい第2閾値より大きい場合、移動体が前記第1種別と異なる第2種別であると判定するステップと、
前記比(N2/N1)が、前記第1閾値より大きく、前記第2閾値より小さい場合、特徴点の数N1と数N2との差分と、所定の第3閾値との大小に応じて、移動体が前記第1種別であるか前記第2種別であるかを判定するステップと
を含むことを特徴とする移動体判定方法。 In the moving body determination method by the moving body determination device that determines the type of the moving body using a captured image in which a plurality of pixels are arranged in a matrix,
Extracting feature points based on pixel values of each pixel of the captured image;
The extracted feature points included in the first partial region having a predetermined lateral width in the captured image and included in the extracted second feature region N1 and the second partial region having a lateral width smaller than the predetermined lateral width. Respectively counting the number N2 of
When the ratio of the number N2 to the counted number N1 of feature points (N2 / N1) is smaller than a predetermined first threshold value, the step of determining that the moving body is the first type;
When the ratio (N2 / N1) is greater than a second threshold value greater than the first threshold value, the step of determining that the moving body is a second type different from the first type;
When the ratio (N2 / N1) is larger than the first threshold value and smaller than the second threshold value, it moves according to the difference between the number N1 and the number N2 of feature points and the predetermined third threshold value. And a step of determining whether the body is the first type or the second type .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012036750A JP5505440B2 (en) | 2012-02-22 | 2012-02-22 | Moving object determination device, computer program, and moving object determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012036750A JP5505440B2 (en) | 2012-02-22 | 2012-02-22 | Moving object determination device, computer program, and moving object determination method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013171533A JP2013171533A (en) | 2013-09-02 |
JP5505440B2 true JP5505440B2 (en) | 2014-05-28 |
Family
ID=49265405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012036750A Expired - Fee Related JP5505440B2 (en) | 2012-02-22 | 2012-02-22 | Moving object determination device, computer program, and moving object determination method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5505440B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003217084A (en) * | 2002-01-18 | 2003-07-31 | Mitsubishi Heavy Ind Ltd | Vehicle detecting method and device |
JP4973008B2 (en) * | 2006-05-26 | 2012-07-11 | 富士通株式会社 | Vehicle discrimination device and program thereof |
-
2012
- 2012-02-22 JP JP2012036750A patent/JP5505440B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013171533A (en) | 2013-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
US7566851B2 (en) | Headlight, taillight and streetlight detection | |
JP5776795B2 (en) | Three-dimensional object detection device | |
JP4855556B1 (en) | Moving object detection apparatus, moving object detection method, moving object detection program, moving object tracking apparatus, moving object tracking method, and moving object tracking program | |
JP5783243B2 (en) | Periodic stationary object detection apparatus and periodic stationary object detection method | |
JP5136504B2 (en) | Object identification device | |
KR101279712B1 (en) | Apparatus and method for providing real-time lane detection, recording medium thereof | |
US8934669B2 (en) | Self-adaptive image-based obstacle detection method | |
JP2015165376A (en) | Apparatus and method for recognizing lane | |
US10339396B2 (en) | Vehicle accessibility determination device | |
JP6226368B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
JP5423764B2 (en) | Moving object detection apparatus, computer program, and moving object detection method | |
JP6508134B2 (en) | Object discrimination device | |
WO2016059643A1 (en) | System and method for pedestrian detection | |
KR101026778B1 (en) | Vehicle image detection apparatus | |
JP2009276910A (en) | Image processor, method and program | |
KR20160108344A (en) | Vehicle detection system and method thereof | |
JP5189556B2 (en) | Lane detection device | |
JP6701905B2 (en) | Detection device, parallax value derivation device, object recognition device, device control system, and program | |
JP2021174346A (en) | Road shape determination method and road shape determination program | |
KR101875786B1 (en) | Method for identifying vehicle using back light region in road image | |
JP5505440B2 (en) | Moving object determination device, computer program, and moving object determination method | |
JP5505439B2 (en) | Moving object detection apparatus, computer program, and moving object detection method | |
JP4842301B2 (en) | Pedestrian detection device and program | |
JP7231736B2 (en) | object identification device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140131 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5505440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |