JP4956453B2 - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP4956453B2 JP4956453B2 JP2008014587A JP2008014587A JP4956453B2 JP 4956453 B2 JP4956453 B2 JP 4956453B2 JP 2008014587 A JP2008014587 A JP 2008014587A JP 2008014587 A JP2008014587 A JP 2008014587A JP 4956453 B2 JP4956453 B2 JP 4956453B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- distance
- image
- parallax
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 65
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005192 partition Methods 0.000 claims description 6
- 230000007717 exclusion Effects 0.000 description 37
- 238000003384 imaging method Methods 0.000 description 22
- 238000005070 sampling Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 7
- 230000012447 hatching Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003702 image correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、物体検出装置に係り、特に、物体の実空間上の距離を検出して周囲の物体を検出する物体検出装置に関する。 The present invention relates to an object detection device, and more particularly to an object detection device that detects a surrounding object by detecting a distance of the object in real space.
近年、周囲に存在する物体をＣＣＤ（Charge Coupled Device）カメラ等の撮像手段で撮像した画像の画像解析やレーダ装置から照射された電波の反射波解析、或いはそれらを組み合わせた解析等の手法により検出する技術の開発が進められている（例えば特許文献１、２等参照）。
In recent years, an object existing in the vicinity is detected by a technique such as image analysis of an image captured by an imaging means such as a CCD (Charge Coupled Device) camera, analysis of reflected waves of a radio wave emitted from a radar apparatus, or analysis combining them. Development of such technology is underway (see, for example,
これらの技術における物体検出の手法としては、例えば一対のカメラ等の撮像手段で周囲を同時に撮像して得られた一対の画像に対してステレオマッチング処理等を施して各画素ごとに視差の情報を算出して物体までの距離を算出したり、レーダ装置から電波を照射し、その反射波を解析して物体までの距離を検出し、得られた距離の情報等に基づいて実空間上の物体の位置を把握することで実空間上に物体が検出される。 As a method of object detection in these technologies, for example, stereo matching processing is performed on a pair of images obtained by simultaneously imaging the surroundings with an imaging unit such as a pair of cameras, and parallax information is obtained for each pixel. Calculate the distance to the object, radiate radio waves from the radar device, analyze the reflected wave to detect the distance to the object, and based on the obtained distance information etc. By grasping the position of the object, an object is detected in the real space.
その際、実空間上には種々の物体に属する位置の情報が多数検出されるが、通常、検出されたすべての情報を分類して物体を検出することは必ずしも容易ではなく、また、処理に時間を要するため、特に物体検出にリアルタイム性が要求されるような場合には適さない。そこで、以下のような手法を用いてリアルタイム性を確保しつつ的確に物体を検出する手法が採用される場合がある。 At that time, a lot of position information belonging to various objects is detected in the real space, but it is usually not always easy to classify all detected information and detect the objects. Since it takes time, it is not suitable particularly when real-time property is required for object detection. Therefore, there is a case where a method of accurately detecting an object while securing real-time property using the following method may be employed.
例えば図１８に示すような画像Ｔが撮像されるシーンにおいて、撮像された画像Ｔを含む一対の画像に対してステレオマッチング処理を行うと、画像Ｔの各画素ブロックごとに視差の情報が得られるが、その視差の情報やそれから算出される距離の情報を各画素ブロックに割り当てると、図１９に示すように視差や距離の情報を画像状に表すことができる。以下、この視差や距離の情報が画像状に表されたものを距離画像Ｔｚという。 For example, in a scene where an image T as shown in FIG. 18 is captured, when stereo matching processing is performed on a pair of images including the captured image T, parallax information is obtained for each pixel block of the image T. However, when the parallax information and the distance information calculated therefrom are assigned to each pixel block, the parallax and distance information can be represented in an image form as shown in FIG. Hereinafter, the parallax and distance information represented in an image form is referred to as a distance image Tz.
レーダ装置から照射した電波の反射波を解析して距離を検出し、その距離が検出された方位に距離のデータを当てはめて画像状に表した場合にも、図１９に示した距離画像Ｔｚと同様の画像状のデータが得られる。以下、距離画像Ｔｚという場合、レーダ装置を用いて検出された距離のデータを画像状に並べたものも含むものとする。 Even when the distance is detected by analyzing the reflected wave of the radio wave emitted from the radar apparatus, and the distance data is applied to the direction in which the distance is detected and represented in an image form, the distance image Tz shown in FIG. Similar image-like data is obtained. Hereinafter, the term “distance image Tz” includes an image in which distance data detected using a radar device is arranged in an image.
そして、このようにして得られた距離画像Ｔｚを図２０に示すように所定の画素幅で縦方向に延在する短冊状の区分Ｄｎに分割し、各区分Ｄｎごとに図２１に示すようなヒストグラムＨｎを作成し、当該区分Ｄｎに属する視差ｄｐや距離Ｚの情報を投票する。そして、例えば各ヒストグラムＨｎにおける最頻値が属する階級の階級値を当該区分Ｄｎにおける物体の代表視差ｄｐｎや代表距離Ｚｎとする。これを全区分Ｄｎについて行い、各区分Ｄｎごとに代表視差ｄｐｎや代表距離Ｚｎを算出する。 Then, the distance image Tz obtained in this way is divided into strip-shaped sections Dn extending in the vertical direction with a predetermined pixel width as shown in FIG. 20, and as shown in FIG. 21 for each section Dn. A histogram Hn is created, and information on the parallax dp and the distance Z belonging to the section Dn is voted. For example, the class value of the class to which the mode value in each histogram Hn belongs is set as the representative parallax dpn and the representative distance Zn of the object in the section Dn. This is performed for all sections Dn, and the representative parallax dpn and the representative distance Zn are calculated for each section Dn.
なお、視差ｄｐと距離Ｚとの関係は、以下のように一意に対応づけられる。すなわち、一対のカメラ等の撮像手段を用いた画像解析において、一対の撮像手段の中央真下の地面等の基準面上の点を原点とし、距離方向すなわち撮像手段正面の無限遠点に向かう方向にＺ軸をとり、左右方向および上下方向にそれぞれＸ軸およびＹ軸をとった場合の実空間上の点（Ｘ，Ｙ，Ｚ）と、上記の視差ｄｐ、距離画像ＴZ上の画素の座標（ｉ，ｊ）とは、三角測量の原理に基づいて、
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）
で表される座標変換により一意に対応づけることができる。なお、上記各式において、ＣＤは一対の撮像手段の間隔、ＰＷは１画素当たりの視野角、ＣＨは一対の撮像手段の取り付け高さ、ＩＶおよびＪＶは正面の無限遠点の距離画像ＴZ上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。また、代表視差ｄｐｎは上記（３）式に基づいて代表距離Ｚｎと一意に対応づけられる。
The relationship between the parallax dp and the distance Z is uniquely associated as follows. That is, in image analysis using an imaging means such as a pair of cameras, the origin is a point on the reference surface such as the ground directly below the center of the pair of imaging means, and the distance direction, that is, the direction toward the infinity point in front of the imaging means. take the Z-axis, a point in the real space in the case of taking the X-axis and Y-axis along the horizontal direction and the vertical direction (X, Y, Z) and the coordinates of pixels on the parallax dp, distance image T Z (I, j) is based on the principle of triangulation,
X = CD / 2 + Z * PW * (i-IV) (1)
Y = CH + Z × PW × (j−JV) (2)
Z = CD / (PW × (dp−DP)) (3)
It can be uniquely associated by coordinate transformation represented by In the above equations, CD is the distance between the pair of imaging means, PW is the viewing angle per pixel, CH is the mounting height of the pair of imaging means, and IV and JV are distance images T Z at the infinity point on the front. Upper i-coordinate and j-coordinate, and DP represent vanishing point parallax. The representative parallax dpn is uniquely associated with the representative distance Zn based on the above equation (3).
上記のようにして距離画像Ｔｚを縦方向に延在する短冊状の区分Ｄｎに分割することは、実空間上に置き換えた場合、図２２の平面図に示すように、撮像手段Ａによる実空間上の撮像領域Ｒを上下方向に延在する複数の区分空間Ｓｎに分割することに対応する。また、レーダ装置においても同様である。すなわち、図２２における装置Ａをレーダ装置、領域Ｒをレーダ装置による実空間上の電波の照射領域と見れば、距離画像Ｔｚを縦方向に延在する短冊状の区分Ｄｎに分割することはレーダ装置Ａによる実空間上の照射領域Ｒを上下方向に延在する複数の区分空間Ｓｎに分割することに対応する。 When the distance image Tz is divided into strip-shaped sections Dn extending in the vertical direction as described above, the real space by the image pickup means A is replaced with a real space as shown in the plan view of FIG. This corresponds to dividing the upper imaging region R into a plurality of partitioned spaces Sn extending in the vertical direction. The same applies to the radar apparatus. That is, if the device A in FIG. 22 is viewed as a radar device and the region R is an irradiation region of radio waves in real space by the radar device, dividing the distance image Tz into strip-shaped sections Dn extending in the vertical direction is a radar. This corresponds to dividing the irradiation area R in the real space by the apparatus A into a plurality of partitioned spaces Sn extending in the vertical direction.
そして、実空間上の各区分空間Ｓｎに、当該区分空間Ｓｎに対応する距離画像Ｔｚの区分Ｄｎにおける代表距離Ｚｎ（算出された代表視差ｄｐｎに一意に対応づけられる代表距離Ｚｎ）をプロットすると、各代表距離Ｚｎは例えば図２３に示すようにプロットされる。なお、実際には区分Ｄｎの数に応じて図２３に示した以上に多数の点が細かくプロットされる。 Then, when plotting the representative distance Zn (representative distance Zn uniquely associated with the calculated representative parallax dpn) in the section Dn of the distance image Tz corresponding to the section space Sn in each section space Sn in the real space, Each representative distance Zn is plotted as shown in FIG. Actually, more points than those shown in FIG. 23 are plotted finely according to the number of sections Dn.
そして、図２４に示すように、例えばプロットされた各代表距離Ｚｎをそれらの間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化して、図２５に示すように、各グループに属する各点をそれぞれ直線近似することで、物体を検出することができる。なお、その際、例えば略Ｘ軸方向に延在するグループＯと略Ｚ軸方向に延在するグループＳとが共通のコーナー点Ｃを有する場合には同一の物体とする等して、検出した物体の統合、分離等を行う。 Then, as shown in FIG. 24, for example, the plotted representative distances Zn are grouped by grouping the points adjacent to each other into groups G1, G2, G3,... Based on the distance and direction between them. As shown in FIG. 25, an object can be detected by linearly approximating each point belonging to each group. At that time, for example, when the group O extending in the substantially X-axis direction and the group S extending in the approximately Z-axis direction have a common corner point C, the detection is performed by setting the same object. Integration and separation of objects.
また、例えば、撮像手段で撮像した画像の画像解析で物体を検出する場合には、上記のように距離画像Ｔｚに基づいて検出された各物体を、図２６に示すように、撮像手段で撮像された元の画像Ｔ上にそれぞれ矩形状の枠線で包囲するようにして、検出結果を画像Ｔ上に可視化することができる。
しかしながら、上記のように、距離画像Ｔｚを縦方向に延在する短冊状の区分Ｄｎに分割し（図２０参照）、実空間を上下方向に延在する複数の区分空間Ｓｎに分割して（図２２参照）、代表距離Ｚを算出して物体を検出する場合、検出される物体の形状や物体が撮像されるシーン等によって解決が必ずしも容易ではない種々の問題を生じる。 However, as described above, the distance image Tz is divided into strip-shaped sections Dn extending in the vertical direction (see FIG. 20), and the real space is divided into a plurality of divided spaces Sn extending in the vertical direction ( When the object is detected by calculating the representative distance Z, various problems arise that are not always easy to solve depending on the shape of the detected object, the scene in which the object is imaged, and the like.
例えば、一対の撮像手段Ａを備えた物体検出装置を車両に搭載して先行車両の検出を行う場合、図２７に示すように、自車両ＭＣの前方を走行する先行車両Ｖahが荷台Ｐが平ボディの荷台付きトラックである場合には、撮像された一対の画像Ｔには図２８に示すように背面から見たトラックＶahが撮像される。 For example, when an object detection device including a pair of imaging means A is mounted on a vehicle to detect a preceding vehicle, as shown in FIG. 27, the preceding vehicle Vah traveling in front of the host vehicle MC has a flat loading platform P. In the case of a truck with a body loading platform, as shown in FIG. 28, a track Vah viewed from the back is captured in a pair of captured images T.
そして、これらの画像に対してステレオマッチング処理を行って距離画像Ｔｚ（図示省略）を得ると、図２９に示す画像Ｔ上に点線で囲まれて示される荷台Ｐの後あおりＢの左右のエッジ部分や、前壁Ｆ（前構造、鳥居ともいう。）とキャブＣａの背面部分に対応する部分には有効な視差ｄｐや距離Ｚの情報が検出されるが、平板状で構造に乏しい荷台Ｐの後あおりＢの中央部に対応する部分には有効な視差ｄｐや距離Ｚの情報がほとんど検出されない。 Then, when stereo matching processing is performed on these images to obtain a distance image Tz (not shown), the left and right edges of the rear tilt B of the loading platform P shown by a dotted line on the image T shown in FIG. Information on the effective parallax dp and distance Z is detected in the portion and the portion corresponding to the front wall F (also referred to as the front structure, torii) and the back portion of the cab Ca, but the loading platform P is flat and has a poor structure. Information on effective parallax dp and distance Z is hardly detected in the portion corresponding to the center portion of rear tilt B.
そのため、上記のように距離画像Ｔｚを短冊状の区分Ｄｎに分割して各区分ＤｎごとにヒストグラムＨｎを作成し、当該区分Ｄｎに属する視差ｄｐや距離Ｚの情報を投票して各区分Ｄｎごとに代表距離Ｚｎを算出すると、荷台Ｐの後あおりＢの左右のエッジ部分を含む区分Ｄｎでは自車両ＭＣから後あおりＢまでの距離Ｚｂが代表距離Ｚｎとして算出され、前壁Ｆや後あおりＢの中央部を含む区分Ｄｎでは前壁ＦやキャブＣａの背面部分までの距離Ｚｆが代表距離Ｚｎとして算出される。 Therefore, as described above, the distance image Tz is divided into strip-shaped sections Dn, a histogram Hn is created for each section Dn, and information on the parallax dp and distance Z belonging to the section Dn is voted for each section Dn. When the representative distance Zn is calculated, the distance Zb from the vehicle MC to the rear tail B is calculated as the representative distance Zn in the section Dn including the left and right edge portions of the rear tail B of the loading platform P, and the front wall F and the rear tail B are calculated. In the section Dn including the central portion, the distance Zf to the front wall F and the back surface portion of the cab Ca is calculated as the representative distance Zn.
このようにして得られた各代表距離Ｚｎを前述した図２３の場合と同様に実空間上にプロットすると、図３０に示すように、実際には荷台Ｐの後あおりＢが距離Ｚｂの部分に左端から右端まで連続して存在していて後あおりＢが先行車両Ｖahであるトラックの最後端であるにもかかわらず、後あおりＢの中央部は検出されない。そして、その中央部の部分では、より前方の荷台Ｐの前壁ＦやキャブＣａの背面部分が検出され、前壁Ｆ等の位置に先行車両Ｖahの最後端があるように検出される。先行車両Ｖahがこのように検出されてしまうと、例えば自車両ＭＣが先行車両Ｖahであるトラックの後あおりＢに衝突しそうな時にもそれを検出できないことになる。 When the representative distances Zn thus obtained are plotted on the real space as in the case of FIG. 23 described above, the rear tilt B of the loading platform P is actually positioned at the distance Zb as shown in FIG. Although the rear end B is continuously present from the left end to the right end and the rear end B is the rear end of the track which is the preceding vehicle Vah, the center portion of the rear end B is not detected. In the central portion, the front wall F of the front loading platform P and the back portion of the cab Ca are detected, and the rear end of the preceding vehicle Vah is detected at the position of the front wall F or the like. If the preceding vehicle Vah is detected in this way, for example, when the host vehicle MC is likely to collide with the rear tilt B of the track that is the preceding vehicle Vah, it cannot be detected.
また、同じトラックを追尾している際に、別のシーンではトラックの後あおりＢの左端から右端までその中央部も含めてすべてが検出されて、それまで前壁Ｆ等の距離Ｚｆの位置にあった先行車両Ｖahの最後端が急に後あおりＢの距離Ｚｂの位置に移動したように検出される場合もある。このように先行車両Ｖahの後端の検出位置が前後にいわばバタバタと移動してしまうと、その情報を例えば自車両ＭＣの自動走行制御のための情報として用いることができなくなる。 In addition, when tracking the same track, in another scene, everything from the left end to the right end of the rear tail B of the track is detected, including the central portion thereof, and until that time, the front wall F or the like is at the position of the distance Zf. It may be detected that the rear end of the preceding preceding vehicle Vah suddenly moves to the position Zb of the rear tilt B. In this way, if the detection position of the rear end of the preceding vehicle Vah moves back and forth, the information cannot be used as information for automatic travel control of the host vehicle MC, for example.
本発明は、このような事情に鑑みてなされたものであり、周囲に存在する物体の距離を含む位置の情報を的確に検出して物体を安定して検出することが可能な物体検出装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and provides an object detection apparatus capable of accurately detecting information on a position including the distance of an object existing around and detecting the object stably. The purpose is to provide.
前記の問題を解決するために、第１の発明は、物体検出装置において、
周囲に存在する物体の実空間上の距離の情報を含む位置の情報を検出する物***置検出手段と、
前記実空間を上下方向に延在する複数の区分空間に分割して、各区分空間ごとにヒストグラムを作成し、前記物体の距離の情報を当該物体の位置の情報が属する区分空間に対応するヒストグラムに投票し、投票結果に基づいて前記各区分空間ごとに代表距離を算出する代表距離算出手段と、
前記各代表距離をグルーピングして前記物体を検出する物体検出手段と、を備え、
前記代表距離算出手段は、前記実空間内の所定の範囲内に前記物体の位置の情報が存在する場合には、当該情報をヒストグラムに投票する対象から除外することを特徴とする。
In order to solve the above problem, the first invention is an object detection apparatus,
An object position detecting means for detecting position information including information on a distance in real space of an object existing around;
The real space is divided into a plurality of partition spaces extending in the vertical direction, a histogram is created for each partition space, and the distance information of the object corresponds to the partition space to which the position information of the object belongs. Representative distance calculating means for calculating a representative distance for each of the divided spaces based on the voting result,
An object detecting means for grouping the representative distances to detect the object,
The representative distance calculating means, when information on the position of the object exists within a predetermined range in the real space, excludes the information from an object to be voted on a histogram.
第２の発明は、第１の発明の物体検出装置において、前記所定の範囲は、荷台付きトラックの荷台の前壁またはキャブの背面が存在し得る範囲に設定されることを特徴とする。 According to a second invention, in the object detection device according to the first invention, the predetermined range is set to a range in which a front wall of a cargo bed of a truck with a cargo bed or a back surface of a cab can exist.
第３の発明は、第１または第２の発明の物体検出装置において、前記所定の範囲は、大型自動車の左右のタイヤの間の領域が存在し得る範囲に設定されることを特徴とする。 According to a third invention, in the object detection device according to the first or second invention, the predetermined range is set to a range in which a region between left and right tires of a large automobile can exist.
第４の発明は、第１から第３のいずれかの発明の物体検出装置において、前記所定の範囲は、車両の左右のテールランプの間の部分を領域とする範囲に設定されることを特徴とする。 According to a fourth invention, in the object detection device according to any one of the first to third inventions, the predetermined range is set to a range in which a portion between the left and right tail lamps of the vehicle is an area. To do.
第５の発明は、第２から第４のいずれかの発明の物体検出装置において、前記代表距離算出手段は、前記実空間内の所定の範囲内に存在する前記物体の位置の情報のうち、過去の前記物体の実空間上の検出位置から推定される今回の検出時における推定位置から所定の間隔以上離れて存在する前記物体の位置の情報を、前記ヒストグラムに投票する対象から除外することを特徴とする。 According to a fifth invention, in the object detection device according to any one of the second to fourth inventions, the representative distance calculation means includes the position information of the object existing within a predetermined range in the real space. Excluding information on the position of the object that exists at a predetermined interval or more away from the estimated position at the time of the current detection estimated from the detected position of the object in the past in real space, from the objects to be voted on the histogram Features.
第１の発明によれば、実空間上の物体の距離の情報を含む位置の情報を実空間上の各区分空間のヒストグラムに投票する際、位置の情報が明らかに誤って検出されていると判定できる実区間上の所定の範囲内の位置の情報を、予めヒストグラムの投票する対象から除外する。そのため、周囲に存在する物体の距離を含む位置の情報を的確に検出することが可能となる。 According to the first invention, when voting the position information including the distance information of the object in the real space to the histogram of each partitioned space in the real space, the position information is clearly detected erroneously. Information on a position within a predetermined range on the real section that can be determined is excluded from the objects to be voted for in the histogram in advance. Therefore, it is possible to accurately detect position information including the distance of an object existing in the vicinity.
また、物体の位置がサンプリング周期ごとに急に移動するように検出されることを防止することが可能となり、物体を安定して検出することが可能となる。そのため、例えば、先行車両の位置を的確にかつ安定して検出して、自車両が先行車両に追従するように的確かつ安定的に自車両に対する追従操舵制御等の自動走行制御を行うことが可能となる。 In addition, it is possible to prevent the position of the object from being detected so as to move suddenly every sampling period, and it is possible to detect the object stably. Therefore, for example, it is possible to detect the position of the preceding vehicle accurately and stably and perform automatic traveling control such as follow-up steering control on the own vehicle accurately and stably so that the own vehicle follows the preceding vehicle. It becomes.
第２の発明によれば、前記の所定の範囲を荷台付きトラックの荷台の前壁またはキャブの背面が存在し得る範囲に設定することで、物体が荷台付きトラックであった場合に図２９に示した荷台Ｐの前壁ＦやキャブＣａの背面に対応する距離の情報がヒストグラムに投票する対象から除外され、その区分のヒストグラムには前壁ＦやキャブＣａの背面に対応する距離の情報が投票されないようにすることができる。 According to the second invention, the predetermined range is set to a range where the front wall of the loading platform of the truck with a loading platform or the back surface of the cab can exist, so that when the object is a truck with a loading platform, FIG. The distance information corresponding to the front wall F of the loading platform P and the back surface of the cab Ca is excluded from the objects to be voted on the histogram, and the distance information corresponding to the front wall F and the back surface of the cab Ca is included in the histogram of the section. You can avoid voting.
そのため、図２９に示した先行車両Ｖahの荷台Ｐの後あおりＢの左右のエッジ部分の距離の情報が検出され、その区分のヒストグラムに投票されて、物体である荷台付きトラックが距離Ｚｂの位置に検出されるようになる。このように、所定の範囲を荷台付きトラックの荷台の前壁またはキャブの背面が存在し得る範囲に設定することで、物体が荷台付きトラックである場合にも前記発明の効果が的確に発揮されて、荷台付きトラックの位置を的確かつ安定的に検出することが可能となる。 For this reason, information on the distance between the left and right edge portions of the rear tilt B of the loading platform P of the preceding vehicle Vah shown in FIG. 29 is detected and voted to the histogram of the section, so that the truck with loading platform is the position of the distance Zb. Will be detected. Thus, by setting the predetermined range to a range where the front wall of the loading platform of the truck with a loading platform or the back surface of the cab can exist, the effect of the present invention can be accurately exhibited even when the object is a loading platform. Thus, it is possible to accurately and stably detect the position of the truck with a loading platform.
第３の発明によれば、前記の所定の範囲を大型自動車の左右のタイヤの間の領域が存在し得る範囲に設定する。物体がタンクローリー等の大型自動車である場合、車高がある程度高いと、逆光の環境等では左右のタイヤの間の領域に差し込んだ光による明暗が画像中に撮像され、実際の物体の位置とは異なる位置の情報が算出される場合がある。 According to the third invention, the predetermined range is set to a range in which a region between the left and right tires of the large automobile can exist. When the object is a large vehicle such as a tank lorry, if the vehicle height is high to some extent, the brightness and darkness caused by the light inserted into the area between the left and right tires is captured in the image in a backlit environment etc., and the actual object position is Information on different positions may be calculated.
このような場合には、上記の荷台付きトラックの場合と同様の問題を生じるが、所定の範囲を大型自動車の左右のタイヤの間の領域が存在し得る範囲に設定することで、その領域の位置の情報をヒストグラムに投票しないようにすることが可能となり、物体がタンクローリー等の大型自動車である場合にも前記各発明の効果が的確に発揮されて、タンクローリー等の大型自動車の位置を的確かつ安定的に検出することが可能となる。 In such a case, the same problem as in the case of the above truck with a loading platform occurs, but by setting the predetermined range to a range where the region between the left and right tires of a large automobile can exist, It is possible to avoid voting the position information to the histogram, and even when the object is a large vehicle such as a tank lorry, the effects of the above inventions can be exhibited accurately, and the position of the large vehicle such as a tank lorry can be accurately identified. It becomes possible to detect stably.
第４の発明によれば、前記の所定の範囲を車両の左右のテールランプの間の部分を領域とする範囲に設定する。夜間の走行時等において、自車両がヘッドライトを点灯させた場合、先行車両等の物体の表面部分で自車両のヘッドライトの光が反射され、例えば自車両に搭載した撮像手段により撮像された画像上の先行車両の左右のテールランプの間の領域に自車両のヘッドライドが写り込む場合がある。 According to the fourth aspect of the invention, the predetermined range is set to a range in which a portion between the left and right tail lamps of the vehicle is an area. When the host vehicle turns on the headlight when traveling at night, etc., the light of the headlight of the host vehicle is reflected by the surface portion of the object such as the preceding vehicle, and is captured by, for example, an imaging means mounted on the host vehicle. There is a case where the head ride of the own vehicle is reflected in a region between the left and right tail lamps of the preceding vehicle on the image.
このような場合にステレオマッチング処理を行うと、先行車両の左右のテールランプの高輝度領域のエッジ部分と自車両のヘッドライトの高輝度領域のエッジ部分とがマッチングされてミスマッチングを生じて誤った位置の情報が得られる場合があるが、所定の範囲を車両の左右のテールランプの間の部分を領域とする範囲に設定することで、先行車両の左右のテールランプの間の領域に写り込んだ自車両のヘッドライドによりミスマッチングされて検出された位置の情報を除外することが可能となる。そのため、先行車両のテールランプを検出する場合にも前記各発明の効果が的確に発揮されて、左右のテールランプの位置を的確かつ安定的に検出することが可能となる。また、それにより先行車両の位置を的確かつ安定的に検出することが可能となる。 In such a case, if stereo matching processing is performed, the edge portions of the high brightness areas of the left and right tail lamps of the preceding vehicle and the edge parts of the high brightness areas of the headlights of the host vehicle are matched, resulting in a mismatch and erroneous. Position information may be obtained, but by setting the predetermined range to the range between the left and right tail lamps of the vehicle, the self reflected in the area between the left and right tail lamps of the preceding vehicle can be obtained. It is possible to exclude information on positions detected by mismatching by the vehicle head ride. For this reason, even when the tail lamp of the preceding vehicle is detected, the effects of the above-described inventions can be exhibited accurately, and the positions of the left and right tail lamps can be accurately and stably detected. This also makes it possible to detect the position of the preceding vehicle accurately and stably.
第５の発明によれば、位置の情報が上記のいずれかの所定の範囲内に存在している場合でも、位置の情報が物体の推定距離から所定の間隔より短い間隔で推定距離付近に存在する場合には、ヒストグラムに投票する対象から除外せず、当該区分のヒストグラムに投票することで、確からしい位置の情報についてはそれを含めて代表距離を算出することが可能となり、物体の距離を含む位置の情報をより正確に算出することが可能となり、前記各発明の効果が的確に発揮される。 According to the fifth aspect, even when the position information exists in any one of the above predetermined ranges, the position information exists in the vicinity of the estimated distance at an interval shorter than the predetermined distance from the estimated distance of the object. In this case, it is possible to calculate the representative distance including the information of the probable position by voting on the histogram of the relevant section without excluding it from the object to vote for the histogram. It becomes possible to calculate the information on the position to be included more accurately, and the effects of the above-described inventions can be exhibited accurately.
以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。 Hereinafter, embodiments of an object detection device according to the present invention will be described with reference to the drawings.
本発明は、上記の背景技術でも述べたように、カメラ等の撮像手段で撮像した画像の画像解析に基づくものだけでなく、例えばレーダ装置から照射された電波の反射波解析や、画像解析と反射波解析とを組み合わせた手法等による物体検出にも適用することができるものであるが、以下、一対のカメラ等の撮像手段で撮像した画像の解析により物体までの距離を含む位置の情報に基づいて物体を検出する場合について説明する。 As described in the above background art, the present invention is not only based on image analysis of an image captured by an imaging means such as a camera, but also, for example, reflected wave analysis of radio waves emitted from a radar device, image analysis, Although it can be applied to object detection by a method combined with reflected wave analysis, etc., hereinafter, information on the position including the distance to the object is analyzed by analyzing the image captured by an imaging means such as a pair of cameras. A case where an object is detected based on this will be described.
また、本実施形態に係る物体検出装置では、車両に搭載されて自車両の周囲に存在する物体、特に先行車両を検出する場合について説明するが、実施の形態は下記の実施形態に限定されるものではない。 Further, in the object detection device according to the present embodiment, a case will be described in which an object that is mounted on a vehicle and exists around the host vehicle, in particular, a preceding vehicle is detected, but the embodiment is limited to the following embodiment. It is not a thing.
本実施形態に係る物体検出装置１は、図１に示すように、撮像手段２や画像処理手段６等を備える物***置検出手段９と、検出手段１０等で構成されている。
As shown in FIG. 1, the
なお、物***置検出手段９の構成は本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。 The configuration of the object position detecting means 9 is disclosed in Japanese Patent Laid-Open Nos. 5-1114099, 5-265547, 6-266828, and 10-283461, which have been previously submitted by the applicant of the present application. Japanese Patent Application Laid-Open No. 10-283477, Japanese Patent Application Laid-Open No. 2006-72495, and the like. A brief description is given below.
本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えばフロントガラスの内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられたメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。
In the present embodiment, the image pickup means 2 includes built-in image sensors such as CCD and CMOS sensors that are synchronized with each other, and is attached inside the windshield, for example, at a predetermined interval in the vehicle width direction, that is, in the left-right direction. A stereo camera composed of a main camera 2a and a
メインカメラ２ａとサブカメラ２ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に車両の周囲、特に前方を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは前述した図１８に例示される基準画像Ｔの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示を省略する比較画像の画像データを出力するようになっている。
The main camera 2a and the
メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば０〜２５５の２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に送信されて格納されるとともに、画像処理手段６にも送信されるようになっている。
The image data output from the main camera 2a and the
画像処理手段６は、イメージプロセッサ７と距離データメモリ８とを備えており、イメージプロセッサ７では、ステレオマッチング処理が行われるようになっている。具体的には、イメージプロセッサ７は、図２に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像ＴC中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢCについて下記（１）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢCを特定するようになっている。
The image processing means 6 includes an
なお、ｐ１stは基準画素ブロックＰＢ中の各画素の輝度値を表し、ｐ２stは比較画素ブロックＰＢC中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢCが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。 Incidentally, P1st represents the luminance value of each pixel in the reference pixel block PB, p2st represents luminance value of each pixel in the comparative pixel block PB C. Also, the sum is in the range of 1 ≦ s ≦ 3,1 ≦ t ≦ 3 in the case of the reference pixel block PB and comparing pixel block PB C is set as an area of 3 × 3 pixels, for example, 4 × 4 pixels Is set for all pixels in the range of 1 ≦ s ≦ 4 and 1 ≦ t ≦ 4.
イメージプロセッサ７は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢCの比較画像ＴC上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを算出するようになっている。本実施形態では、イメージプロセッサ７は、このようにして算出した視差ｄｐを基準画像Ｔの各基準画素ブロックＰＢにそれぞれ割り当てて前述した図１９に示したような距離画像Ｔｚを形成し、それらのデータを距離データメモリ８に送信して格納するようになっている。
なお、前述したように、視差ｄｐと実空間上の距離Ｚは上記（３）式に従って一意に対応づけられる。そのため、距離画像Ｔｚを形成する時点で、各基準画素ブロックＰＢごとの視差ｄｐを距離Ｚの情報に変換し、基準画像Ｔの各基準画素ブロックＰＢにそれぞれ距離Ｚの情報を割り当てて距離画像Ｔｚを形成するように構成することも可能である。 As described above, the parallax dp and the distance Z in the real space are uniquely associated according to the above equation (3). Therefore, at the time of forming the distance image Tz, the parallax dp for each reference pixel block PB is converted into the information on the distance Z, and the information on the distance Z is assigned to each reference pixel block PB of the reference image T, respectively. It is also possible to configure so as to form.
また、各基準画素ブロックＰＢの基準画像Ｔ上の座標（ｉ，ｊ）は上記（１）、（２）式に従って実空間上のＸ座標とＹ座標にそれぞれ一意に対応づけられる。そのため、距離画像Ｔｚの各基準画素ブロックの座標（ｉ，ｊ）と視差ｄｐは、上記（１）〜（３）式に従って実空間上の位置（Ｘ，Ｙ，Ｚ）に一意に対応づけられるようになっている。そのため、以下、視差ｄｐの情報という場合、距離Ｚの情報を含む位置の情報を意味するものとして説明する。 The coordinates (i, j) on the reference image T of each reference pixel block PB are uniquely associated with the X coordinate and the Y coordinate in the real space according to the above equations (1) and (2). Therefore, the coordinates (i, j) and the parallax dp of each reference pixel block of the distance image Tz are uniquely associated with the position (X, Y, Z) in the real space according to the above expressions (1) to (3). It is like that. Therefore, hereinafter, the parallax dp information will be described as meaning the position information including the distance Z information.
本実施形態では、上記のように、撮像手段２からイメージプロセッサ７や距離データメモリ８を含む画像処理手段６までの構成により、自車両の周囲、特に自車両前方に存在する物体までの実空間上の距離Ｚの情報を含む位置の情報を検出する物***置検出手段９が構成されている。
In the present embodiment, as described above, the real space from the imaging means 2 to the image processing means 6 including the
しかし、前述したように、物***置検出手段９は、自車両の周囲に存在する物体までの距離Ｚの情報を含む位置の情報を検出できるものであればよく、本実施形態の他にも、例えば前述したようにレーダ装置やそれと画像解析とを組み合わせて位置の情報を検出する手段等で構成することも可能である。 However, as described above, the object position detecting means 9 may be anything that can detect position information including information on the distance Z to an object existing around the host vehicle. In addition to the present embodiment, For example, as described above, it may be configured by a radar device or a means for detecting position information by combining it with image analysis.
検出手段１０は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータで構成されている。また、検出手段１０には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されており、自車両の車速Ｖやヨーレートγ、舵角δ等の情報が適宜送信されてくるようになっている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。 The detecting means 10 is constituted by a computer in which a CPU, ROM, RAM, input / output interface and the like (not shown) are connected to a bus. The detection means 10 is connected to sensors Q such as a vehicle speed sensor, a yaw rate sensor, and a steering angle sensor for measuring the steering angle of the steering wheel, and the vehicle speed V, yaw rate γ, steering angle δ, etc. Information is sent appropriately. It is also possible to use a device that estimates the yaw rate from the vehicle speed of the host vehicle or the like instead of the yaw rate sensor.
検出手段１０は、前述した代表距離Ｚｎを算出する代表距離算出手段１１と、代表距離Ｚｎをグルーピングして物体を検出する物体検出手段１２とを備えており、さらに図示しないメモリを備えている。 The detection means 10 includes the above-described representative distance calculation means 11 that calculates the representative distance Zn, and the object detection means 12 that groups the representative distance Zn to detect an object, and further includes a memory (not shown).
本実施形態に係る物体検出装置１は、道路面よりも上方にある物体（立体物）を検出するようになっており、検出手段１０は、まず、物体検出の基準となる道路面を検出するようになっている。
The
なお、実際には、検出手段１０を構成するコンピュータ（ＥＣＵ）に、道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等の連続線や破線すなわち車線を検出するロジックが組み込まれており、そのデータを利用するように構成されている。車線検出のロジックは、本願出願人により先に提出された特開２００６−３３１３８９号公報等に詳述されており、詳細な説明は同公報等に委ねる。 In practice, a computer (ECU) that constitutes the detection means 10 detects a continuous line such as an overtaking prohibition line marked on the road surface, a lane line that divides the roadside zone and the roadway, or a broken line, that is, a lane. Logic is built in and configured to use that data. The lane detection logic is described in detail in Japanese Patent Application Laid-Open No. 2006-331389 previously filed by the present applicant, and the detailed description is left to the same.
検出手段１０は、図１８に示したような基準画像Ｔの各画素の輝度値ｐ１ijや距離画像Ｔｚの視差ｄｐの情報に基づいて、図３に示すように、自車両の左右に車線ＬＬ、ＬＲを検出するようになっている。 Based on the luminance value p1ij of each pixel of the reference image T as shown in FIG. 18 and the information on the parallax dp of the distance image Tz as shown in FIG. 18, the detecting means 10 lanes LL, LR is detected.
また、検出手段１０は、自車両の左右に検出した左右の車線ＬＬ、ＬＲの情報に基づいて実空間上に三次元的な車線モデルを形成するようになっている。車線モデルは、例えば図４（Ａ）、（Ｂ）に示すように、自車両の左右に検出した車線ＬＬ、ＬＲを所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現して形成されるようになっている。 The detection means 10 forms a three-dimensional lane model in real space based on information on the left and right lanes LL and LR detected on the left and right sides of the host vehicle. For example, as shown in FIGS. 4A and 4B, the lane model approximates the lanes LL and LR detected on the left and right sides of the host vehicle with a three-dimensional linear expression for each predetermined section, and connects them in a broken line shape. It is designed to be expressed as.
本実施形態では、各所定区間ごとの直線式を、下記（５）、（６）式で表され図４（Ａ）に示されるＺ−Ｘ平面上の道路モデルすなわち水平形状モデルと、下記（７）、（８）式で表されず４（Ｂ）に左車線ＬＬが代表して示されるＺ−Ｙ平面上の道路モデルすなわち道路高モデルで表すようになっている。 In the present embodiment, the linear equation for each predetermined section is expressed by the following (5) and (6) equations, and the road model on the ZX plane shown in FIG. 7), not represented by the formula (8), but represented by a road model on the ZY plane in which the left lane LL is representatively shown in 4 (B), that is, a road height model.
［水平形状モデル］
左車線ＬＬ Ｘ＝ａＬ・Ｚ＋ｂＬ …（５）
右車線ＬＲ Ｘ＝ａＲ・Ｚ＋ｂＲ …（６）
［道路高モデル］
左車線ＬＬ Ｙ＝ｃＬ・Ｚ＋ｄＬ …（７）
右車線ＬＲ Ｙ＝ｃＲ・Ｚ＋ｄＲ …（８）
[Horizontal shape model]
Left lane LL X = a L · Z + b L (5)
Right lane LR X = a R · Z + b R (6)
[Road height model]
Left lane LL Y = c L · Z + d L (7)
Right lane LR Y = c R · Z + d R (8)
代表距離算出手段１１は、基本的には、前述した手法と同じ手法によって区分空間Ｓｎごとに代表距離Ｚｎを算出するようになっている。 The representative distance calculation means 11 basically calculates the representative distance Zn for each partitioned space Sn by the same method as described above.
すなわち、図１９に示したような距離画像Ｔｚを図２０に示すように所定の画素幅で縦方向に延在する短冊状の区分Ｄｎに分割し、すなわち図２２の平面図に示すように実空間上の撮像領域Ｒを上下方向に延在する複数の区分空間Ｓｎに分割し、各区分Ｄｎ（或いは各区分空間Ｓｎ。以下同じ。）ごとに図２１に示すようなヒストグラムＨｎを作成し、当該区分Ｄｎに属する視差ｄｐの情報を投票するようになっている。 That is, the distance image Tz as shown in FIG. 19 is divided into strip-shaped sections Dn extending in the vertical direction with a predetermined pixel width as shown in FIG. 20, that is, as shown in the plan view of FIG. The imaging region R in space is divided into a plurality of segment spaces Sn extending in the vertical direction, and a histogram Hn as shown in FIG. 21 is created for each segment Dn (or each segment space Sn; the same applies hereinafter), Information on the parallax dp belonging to the section Dn is voted.
そして、例えば各ヒストグラムＨｎにおける最頻値が属する階級の階級値を当該区分Ｄｎにおける物体の代表視差ｄｐｎや代表距離Ｚｎとする。これを全区分Ｄｎについて行い、各区分Ｄｎごとに代表視差ｄｐｎや代表距離Ｚｎを算出するようになっている。代表視差ｄｐｎを算出した場合には、上記（３）式に基づいて代表距離Ｚｎに対応づける。 For example, the class value of the class to which the mode value in each histogram Hn belongs is set as the representative parallax dpn and the representative distance Zn of the object in the section Dn. This is performed for all sections Dn, and the representative parallax dpn and the representative distance Zn are calculated for each section Dn. When the representative parallax dpn is calculated, it is associated with the representative distance Zn based on the above equation (3).
しかし、単に上記のようにして代表距離Ｚｎを算出すると、例えば前述した図２７〜図３０に示したような誤検出や検出の不安定さを生じてしまうため、代表距離算出手段１１は、距離画像Ｔｚの各区分Ｄｎごとに属する視差ｄｐの情報を当該区分ＤｎのヒストグラムＨｎに投票する際に、実空間内の所定の範囲内に視差ｄｐの情報が存在する場合には、当該視差ｄｐの情報については、ヒストグラムＨｎに投票する対象から除外するようになっている。 However, if the representative distance Zn is simply calculated as described above, for example, the above-described erroneous detection and instability of detection as shown in FIGS. When voting information on the parallax dp belonging to each section Dn of the image Tz to the histogram Hn of the section Dn, if the information on the parallax dp exists within a predetermined range in the real space, Information is excluded from objects to be voted on the histogram Hn.
また、本実施形態では、図５に示すように、後述する物体検出手段１２により前回のサンプリング周期において基準画像Ｔ上に検出された先行車両を包囲する枠線Ｆｒoldの位置から、自車両と先行車両の相対速度や自車両のヨーレートγ等に基づいて今回のサンプリング周期で基準画像Ｔ上に検出されると予測される先行車両Ｖahの位置（以下、推定位置という。）Ｆｒestを推定し、今回のサンプリング周期でこの基準画像Ｔ上の推定位置Ｆｒestの枠線内の基準画素ブロックＰＢに検出された視差ｄｐの情報について、上記のように視差ｄｐの情報を除外するか否かを判定するようになっている。
Further, in the present embodiment, as shown in FIG. 5, the vehicle and the preceding vehicle are detected from the position of the frame line Fold that surrounds the preceding vehicle detected on the reference image T in the previous sampling period by the
以下、視差ｄｐの情報をヒストグラムＨｎに投票する対象から除外する実空間上の所定の範囲について説明する。 Hereinafter, a predetermined range in the real space that excludes the information on the parallax dp from the target for voting on the histogram Hn will be described.
［第１除外範囲Ｒ１］
［１］視差ｄｐの情報が、道路面から所定の高さ（以下、足元閾値という。）以下の範囲内、または、道路面から別の所定の高さ（以下、天井閾値という。）以上である範囲内に存在する場合には、当該視差ｄｐの情報をヒストグラムＨｎに投票する対象から除外する。
[First exclusion range R1]
[1] The information of the parallax dp is within a range below a predetermined height (hereinafter referred to as a foot threshold) from the road surface, or at a certain predetermined height (hereinafter referred to as a ceiling threshold) from the road surface. If it exists within a certain range, the information on the parallax dp is excluded from the objects to be voted on the histogram Hn.
これは、図６に斜線を付して示すように、撮像手段２による実空間上の撮像領域Ｒのうち、足元閾値Ｈth１以下の範囲Ｒ１１内に検出された視差ｄｐの情報は、道路面Ｓより上方にある物体を表す情報とは考えられず、また、天井閾値Ｈth２以上の範囲Ｒ１２に検出された視差ｄｐの情報は、たとえ物体を表すものであったとしても自車両ＭＣの走行に支障をきたすものではないため、除外するものである。 This is because the information on the parallax dp detected in the range R11 below the foot threshold Hth1 in the imaging region R in the real space by the imaging means 2 is shown in FIG. It is not considered to be information representing an object located above, and information on the parallax dp detected in the range R12 that is equal to or higher than the ceiling threshold Hth2 may hinder the traveling of the host vehicle MC even if it represents the object. It is excluded because it does not cause any problems.
実空間上の道路面の位置は、検出手段１０により形成された上記の三次元的な車線モデル、特に上記（７）、（８）式で表される道路高モデルが用いられるようになっており、足元閾値Ｈth１は道路高モデルを用いて算出される道路面の位置からの高さとして例えば０［ｍ］、天井閾値Ｈth２は道路面の位置からの高さとして例えば２．５［ｍ］に設定される。
As the position of the road surface in the real space, the above-described three-dimensional lane model formed by the detecting
［第２除外範囲Ｒ２］
［２］視差ｄｐの情報が、荷台付きトラックの荷台Ｐの前壁ＦやキャブＣａの背面が存在し得る範囲に範囲内に存在する場合には、当該視差ｄｐの情報をヒストグラムＨｎに投票する対象から除外する。
[Second exclusion range R2]
[2] When the information on the parallax dp is within a range where the front wall F of the loading platform P of the truck with loading platform and the back surface of the cab Ca can exist, the information on the parallax dp is voted on the histogram Hn. Exclude from the target.
これは、図７の基準画像Ｔ上および図８の実空間上に示すように、先行車両Ｖahが荷台付きトラックであった場合に基準画像Ｔ上の先行車両Ｖahの推定位置Ｆｒestの枠線内に荷台Ｐの前壁ＦやキャブＣａの背面が撮像され得る範囲であって、今回のサンプリング周期における先行車両Ｖahの自車両からの推定距離Ｚestの距離Ｌ１前方から距離Ｌ２前方までの範囲であり、かつ、道路面Ｓからの高さが所定の高さＨ３以上の範囲Ｒ２内に存在する視差ｄｐの情報は、荷台付きトラックの荷台Ｐの前壁ＦやキャブＣａの背面の情報である可能性があるため、除外するものである。 As shown in the reference image T of FIG. 7 and the real space of FIG. 8, this is within the frame of the estimated position Frest of the preceding vehicle Vah on the reference image T when the preceding vehicle Vah is a truck with a loading platform. Is the range in which the front wall F of the loading platform P and the back of the cab Ca can be imaged, and is the range from the distance L1 front of the estimated distance Zest from the host vehicle of the preceding vehicle Vah to the front of the distance L2 in this sampling cycle. In addition, the information on the parallax dp existing in the range R2 whose height from the road surface S is equal to or greater than the predetermined height H3 may be information on the front wall F of the loading platform P of the truck with loading platform or the back surface of the cab Ca. Excluded because of its nature.
距離Ｌ１は例えば１［ｍ］、距離Ｌ２は例えば１５［ｍ］、所定の高さＨ３は上記と同様に道路高モデルを用いて算出される道路面の位置からの高さとして例えば１［ｍ］に設定される。なお、この第２除外範囲Ｒ２の設定は、先行車両Ｖahが荷台付きトラックであることを検出した場合にのみ行うように構成することも可能であるが、本実施形態では、検出した先行車両Ｖahの車種にかかわらずに設定されるようになっている。 The distance L1 is, for example, 1 [m], the distance L2 is, for example, 15 [m], and the predetermined height H3 is, for example, 1 [m] as the height from the position of the road surface calculated using the road height model as described above. ] Is set. The setting of the second exclusion range R2 can be performed only when it is detected that the preceding vehicle Vah is a truck with a loading platform, but in the present embodiment, the detected preceding vehicle Vah is detected. It is set regardless of the type of car.
［第３除外範囲Ｒ３］
［３］視差ｄｐの情報が、大型自動車の左右のタイヤの間の領域が存在し得る範囲内に存在する場合には、当該視差ｄｐの情報をヒストグラムＨｎに投票する対象から除外する。
[Third exclusion range R3]
[3] When the information on the parallax dp is within a range where the region between the left and right tires of the large vehicle can exist, the information on the parallax dp is excluded from the objects to be voted on the histogram Hn.
これは、図９に示すように、先行車両Ｖahがタンクローリーのような大型自動車であった場合に基準画像Ｔ上の先行車両Ｖahの推定位置Ｆｒestの枠線内に大型自動車の左右のタイヤｔｉ、ｔｉの間の領域が撮像され得る範囲Ｒ３内に存在する視差ｄｐの情報を除外するものである。 As shown in FIG. 9, when the preceding vehicle Vah is a large vehicle such as a tank truck, the left and right tires ti of the large vehicle are within the frame line of the estimated position Frest of the preceding vehicle Vah on the reference image T. Information on the parallax dp existing in the range R3 in which the region between ti can be imaged is excluded.
本実施形態では、第３除外範囲Ｒ３は、図１０に斜線を付して示すように、基準画像Ｔ上の先行車両Ｖahの推定位置Ｆｒestの枠線内のうち、推定位置Ｆｒestの左右端からその横幅の１／４ずつ内側の２本のラインの間の範囲であり、かつ、今回のサンプリング周期における先行車両Ｖahの自車両からの推定距離Ｚestより前方の範囲に設定されるようになっている。 In the present embodiment, the third exclusion range R3 is from the left and right ends of the estimated position Frest within the frame line of the estimated position Frest of the preceding vehicle Vah on the reference image T, as shown by hatching in FIG. It is a range between the two lines on the inner side by 1/4 of the horizontal width, and is set in a range ahead of the estimated distance Zest from the own vehicle of the preceding vehicle Vah in the current sampling cycle. Yes.
なお、この第３除外範囲Ｒ３の設定は、先行車両Ｖahがタンクローリー等の大型自動車であることを検出した場合にのみ行うように構成することも可能であるが、本実施形態では、検出した先行車両Ｖahの車種にかかわらずに設定されるようになっている。 The third exclusion range R3 can be set only when it is detected that the preceding vehicle Vah is a large vehicle such as a tank lorry. It is set regardless of the vehicle type of the vehicle Vah.
［第４除外範囲Ｒ４］
［４］視差ｄｐの情報が、基準画像Ｔ上の先行車両Ｖahの推定位置Ｆｒestの枠線内の基準画素ブロックＰＢに検出された視差ｄｐの情報であって、今回のサンプリング周期における先行車両Ｖahの自車両からの推定距離Ｚestより所定の距離Ｌ３以上手前の範囲Ｒ４内に存在する場合には、当該視差ｄｐの情報をヒストグラムＨｎに投票する対象から除外する。所定の距離Ｌ３は例えば１［ｍ］に設定される。
[Fourth exclusion range R4]
[4] Information on the parallax dp is information on the parallax dp detected in the reference pixel block PB in the frame line of the estimated position Frest of the preceding vehicle Vah on the reference image T, and the preceding vehicle Vah in the current sampling cycle If it is within a range R4 that is a predetermined distance L3 or more before the estimated distance Zest from the host vehicle, the information on the parallax dp is excluded from the objects to be voted on the histogram Hn. The predetermined distance L3 is set to 1 [m], for example.
［第５除外範囲Ｒ５］
［５］視差ｄｐの情報が、車両の左右のテールランプの間の部分を領域とする範囲内に存在する場合には、当該視差ｄｐの情報をヒストグラムＨｎに投票する対象から除外する。なお、本実施形態では、この第５除外範囲Ｒ５は、自車両がヘッドライトを点灯させたこと等を検出して夜間であることが検出された場合にのみ設定されるようになっている。
[Fifth exclusion range R5]
[5] When the information on the parallax dp exists in a range having a portion between the left and right tail lamps of the vehicle as an area, the information on the parallax dp is excluded from the objects to be voted on the histogram Hn. In the present embodiment, the fifth exclusion range R5 is set only when it is detected that it is nighttime by detecting that the host vehicle has turned on the headlight.
本実施形態では、検出手段１０は、図１１に示すように、先行車両Ｖahが夜間に点灯させる左右のテールランプＴＬｌ、ＴＬｒを基準画像Ｔ中に検出するように構成されている。 In the present embodiment, the detection means 10 is configured to detect in the reference image T the left and right tail lamps TLl and TLr that the preceding vehicle Vah lights up at night as shown in FIG.
具体的には、検出手段１０は、前回の検出結果等に基づいて基準画像Ｔ上の先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒが撮像されていると予測される画素領域を探索して高輝度領域を検出し、図１２に示すように、左右の高輝度領域の上端位置Ｊmaxと下端位置Ｊminの中点をそれぞれ左右のテールランプＴＬｌ、ＴＬｒの中心のｊ座標cl_j、cr_jとし、また、高輝度領域の左右方向の最大値Ｉmaxと最小値Ｉminをそれぞれ左右のテールランプＴＬｌ、ＴＬｒの中心のｉ座標cl_i、cr_iとして検出するようになっている。 Specifically, the detection means 10 searches for a pixel area in which the left and right tail lamps TLl and TLr of the preceding vehicle Vah on the reference image T are predicted to be imaged based on the previous detection result and the like, and has high brightness. As shown in FIG. 12, the middle points of the upper end position Jmax and the lower end position Jmin of the left and right high brightness areas are set as the j coordinates cl_j and cr_j of the centers of the left and right tail lamps TLl and TLr, respectively, as shown in FIG. The maximum value Imax and the minimum value Imin in the horizontal direction of the region are detected as i coordinates cl_i and cr_i of the centers of the left and right tail lamps TLl and TLr, respectively.
そこで、代表距離算出手段１１は、この結果を用いて、図１３に斜線を付して示すように、左右のテールランプＴＬｌ、ＴＬｒの各上端位置Ｊmaxのより上側にある方と各下端位置Ｊminのより下側にある方を上端および下端とし、左のテールランプＴＬｌの左右方向の最大値Ｉmaxと右のテールランプＴＬｒの左右方向の最小値Ｉminを左右端とする範囲Ｒ５を、先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒの間の部分の領域として設定し、その領域に属する基準画素ブロックＰＢに検出された視差ｄｐの情報を除外するようになっている。 Therefore, the representative distance calculation means 11 uses this result, as shown by hatching in FIG. 13, for the one on the upper side of each upper end position Jmax of the left and right tail lamps TLl, TLr and the lower end position Jmin. The range R5 with the left and right maximum values Imax of the left tail lamp TLl and the minimum value Imin of the right tail lamp TLr in the left and right direction as left and right ends is defined as the upper and lower ends on the lower side. It is set as a region between the tail lamps TLl and TLr, and information on the parallax dp detected in the reference pixel block PB belonging to the region is excluded.
また、代表距離算出手段１１は、以上の第２除外範囲Ｒ２から第５除外範囲Ｒ５（なお、第５除外範囲Ｒ５の設定は夜間のみ）内に存在する視差ｄｐの情報が、今回のサンプリング周期における先行車両Ｖahの自車両からの推定距離Ｚestから所定の間隔以上、すなわち例えば推定距離Ｚestの前後１［ｍ］以上離れて存在する場合にのみ視差ｄｐの情報をヒストグラムＨｎに投票する対象から除外するようになっている。
Further, the representative
すなわち、代表距離算出手段１１は、第２除外範囲Ｒ２から第５除外範囲Ｒ５内に存在する視差ｄｐの情報が、前記所定の間隔より短い間隔で推定距離Ｚest付近に存在する場合には、当該視差ｄｐの情報は、ヒストグラムＨｎに投票する対象から除外しないようになっている。なお、第１除外範囲Ｒ１における視差ｄｐの情報の除外は常時行われる。
That is, the representative
代表距離算出手段１１は、以上の条件に当てはまる視差ｄｐの情報を除外しながら、示唆ｄｐの情報を距離画像Ｔｚの各区分Ｄｎごとに作成されたヒストグラムＨｎに投票していき、上記のように、各区分Ｄｎごとに代表視差ｄｐｎや代表距離Ｚｎを算出するようになっている。
The representative
物体検出手段１２は、代表距離算出手段１１が算出した距離画像Ｔｚの各区分Ｄｎの各代表距離Ｚｎをグルーピングして物体を検出するようになっている。
The
具体的には、上記の背景技術で述べたように、代表距離算出手段１１が算出した距離画像Ｔｚの各区分Ｄｎの各代表距離Ｚｎを図２３に示したように実空間上にプロットし、図２４に示したようにプロットされた各代表距離Ｚｎの間の距離や方向性に基づいて互いに隣接する各代表距離ＺｎをそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化する。
Specifically, as described in the background art above, each representative distance Zn of each section Dn of the distance image Tz calculated by the representative
そして、物体検出手段１２は、図２５に示したように各グループに属する各点をそれぞれ直線近似して、本実施形態では、それぞれのグループ内の各点がＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点がＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。物体検出手段１２は、このようにして各物体を検出するようになっている。
Then, the
また、本実施形態では、物体検出手段１２は、検出した各物体を、図２６に示すように基準画像Ｔ上にそれぞれ矩形状の枠線で包囲するようにして、基準画像Ｔ上に可視化して検出するようになっている。 In the present embodiment, the object detection means 12 visualizes each detected object on the reference image T so as to surround each detected object on the reference image T with a rectangular frame line, as shown in FIG. To detect.
物体検出手段１２は、さらに、検出した物体の中から先行車両Ｖahを検出するようになっている。 The object detection means 12 further detects the preceding vehicle Vah from the detected objects.
具体的には、物体検出手段１２は、まず、図１４に示すように自車両ＭＣの挙動に基づいて自車両ＭＣが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両ＭＣの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。 Specifically, as shown in FIG. 14, the object detection means 12 first estimates a trajectory that the host vehicle MC will travel in the future as the travel trajectory Lest based on the behavior of the host vehicle MC, and the travel trajectory Lest. An area corresponding to the vehicle width of the host vehicle MC centering on is calculated as the traveling path Rest of the host vehicle A.
自車両ＭＣの走行軌跡Ｌestは、自車両ＭＣの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記（９）式または下記（１０）、（１１）式に従って算出される自車両ＭＣの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（９）
Ｒｅ＝（１＋Ａsf・Ｖ２）・（Ｌwb／δ） …（１０）
Ｃua＝１／Ｒｅ …（１１）
The travel locus Lest of the host vehicle MC is calculated according to the following formula (9) or the following formulas (10) and (11) based on the vehicle speed V, the yaw rate γ, the steering angle δ of the steering wheel, etc. It can be calculated based on the turning curvature Cua of the MC. In the following equations, Re is a turning radius, Asf is a vehicle stability factor, and Lwb is a wheelbase.
Cua = γ / V (9)
Re = (1 + Asf · V 2 ) · (Lwb / δ) (10)
Cua = 1 / Re (11)
そして、物体検出手段１２は、自車両ＭＣの進行路Ｒest上に存在する物体の中で、自車両ＭＣに最も近接する物体を自車両ＭＣの前方を走行する先行車両Ｖahとして検出するようになっている。例えば図１４や図１５では、車両Ｏ３が先行車両Ｖahとして検出される。 Then, the object detection means 12 detects the object closest to the host vehicle MC as the preceding vehicle Vah traveling in front of the host vehicle MC among the objects existing on the traveling path Rest of the host vehicle MC. ing. For example, in FIGS. 14 and 15, the vehicle O3 is detected as the preceding vehicle Vah.
なお、本実施形態では、物体検出手段１２は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の先行車両である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、物体検出手段１２は、検出した先行車両Ｖahが自車両ＭＣの前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。 In this embodiment, the object detection means 12 calculates the probability that the preceding vehicle detected in the previous sampling cycle and the object detected as the preceding vehicle in the current sampling cycle are the same preceding vehicle, etc. The preceding vehicle is tracked while maintaining consistency. In addition, the object detection means 12 detects that the detected preceding vehicle Vah has left the front of the host vehicle MC and that the preceding vehicle becomes a new preceding vehicle, or that another vehicle exists between the host vehicle and the preceding vehicle. The replacement of the preceding vehicle due to the interruption and the other vehicle becoming a new preceding vehicle can be detected.
次に、本実施形態に係る物体検出装置１の作用について説明する。
Next, the operation of the
物***置検出手段９により自車両の周囲に存在する物体の実空間上の距離Ｚの情報を含む位置の情報が検出され、距離画像Ｔｚが形成されると、代表距離算出手段１１は、距離画像Ｔｚを縦方向に延在する短冊状の区分Ｄｎに分割することで、実空間上の撮像領域Ｒを上下方向に延在する複数の区分空間Ｓｎに分割する。そして、各区分Ｄｎ（各区分空間Ｓｎ）ごとにヒストグラムＨｎを作成する。
When the object
また、代表距離算出手段１１は、図５に示したように、物体検出手段１２が前回のサンプリング周期で基準画像Ｔ上に検出した先行車両Ｖahを包囲する枠線Ｆｒoldの位置から、自車両と先行車両Ｖahの相対速度や自車両のヨーレートγ等に基づいて今回のサンプリング周期で基準画像Ｔ上に検出されると予測される先行車両Ｖahの推定位置Ｆｒestを設定する。
Further, as shown in FIG. 5, the representative
そして、基準画像Ｔの基準画素ブロックＰＢに割り当てられた視差ｄｐの情報を読み出して、各視差ｄｐの情報が上記の第１除外範囲Ｒ１から第５除外範囲Ｒ５内に存在しない場合、または上記の第２除外範囲Ｒ２から第５除外範囲Ｒ５のいずれかの範囲内に存在しても視差ｄｐの情報が今回のサンプリング周期における先行車両Ｖahの自車両からの推定距離Ｚestから所定の間隔より短い間隔で推定距離Ｚest付近に存在する場合にはヒストグラムＨｎに投票する対象から除外せず、当該視差ｄｐの情報をその基準画素ブロックＰＢが属する区分ＤｎのヒストグラムＨｎに投票していく。 Then, information on the parallax dp assigned to the reference pixel block PB of the reference image T is read, and information on each parallax dp does not exist within the first exclusion range R1 to the fifth exclusion range R5, or Even if the information of the parallax dp exists within any one of the second exclusion range R2 to the fifth exclusion range R5, the interval is shorter than the predetermined interval from the estimated distance Zest of the preceding vehicle Vah from the own vehicle in the current sampling cycle. In the case of existing in the vicinity of the estimated distance Zest, the information on the parallax dp is voted on the histogram Hn of the section Dn to which the reference pixel block PB belongs without being excluded from the objects to be voted on the histogram Hn.
そして、例えば各ヒストグラムＨｎにおける最頻値が属する階級の階級値を当該区分Ｄｎにおける物体の代表視差ｄｐｎや代表距離Ｚｎとする。これを全区分Ｄｎについて行い、各区分Ｄｎごとに代表距離Ｚｎを算出する。区分Ｄｎの代表視差ｄｐｎを算出した場合には、上記（３）式に基づいて代表距離Ｚｎに対応づけて各区分Ｄｎごとに代表距離Ｚｎを算出する。 For example, the class value of the class to which the mode value in each histogram Hn belongs is set as the representative parallax dpn and the representative distance Zn of the object in the section Dn. This is performed for all sections Dn, and the representative distance Zn is calculated for each section Dn. When the representative parallax dpn of the section Dn is calculated, the representative distance Zn is calculated for each section Dn in association with the representative distance Zn based on the above equation (3).
視差ｄｐの情報のヒストグラムＨｎへの投票に際して、各視差ｄｐの情報が図６に斜線を付して示した第１除外範囲Ｒ１内に存在する場合にヒストグラムＨｎに投票する対象から除外する。 When voting the parallax dp information to the histogram Hn, if the parallax dp information is within the first exclusion range R1 indicated by hatching in FIG. 6, the parallax dp information is excluded from the objects to be voted on the histogram Hn.
第１除外範囲Ｒ１において、道路高モデルを用いて算出される道路面Ｓの位置からの高さが足元閾値Ｈth１以下の範囲Ｒ１１内に検出された視差ｄｐの情報を除外することで、例えば道路面Ｓ上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等の車線や、最高速度を示す標示、進行方向を示す矢印の標示のほか、横断歩道を示すゼブラ模様の標示等が検出対象から除外される。そのため、道路面Ｓより上方にある物体のみが検出される。 By excluding information on the parallax dp detected in the range R11 in which the height from the position of the road surface S calculated using the road height model is equal to or less than the foot threshold Hth1 in the first exclusion range R1, for example, the road In addition to the overtaking prohibited lines marked on the surface S, lanes such as lane markings that separate roadside belts and roadways, markings indicating the maximum speed, arrows indicating the direction of travel, and zebra pattern markings indicating pedestrian crossings Etc. are excluded from detection targets. Therefore, only an object above the road surface S is detected.
また、第１除外範囲Ｒ１において、天井閾値Ｈth２以上の範囲Ｒ１２に検出された視差ｄｐの情報を除外することで、例えば道路面Ｓから高い位置で道路側にはみ出している街路樹の枝や道路を跨ぐ歩道橋や高架橋等が検出対象から除外される。そのため、自車両の走行に支障をきたさない物体が検出対象から除外され、道路面Ｓより上方にある物体のうち、自車両と接触したり衝突したりする可能性がある物体のみが検出されるようになる。 Further, by excluding information on the parallax dp detected in the range R12 equal to or higher than the ceiling threshold value Hth2 in the first exclusion range R1, for example, a branch of a roadside tree or road protruding from the road surface at a high position from the road surface S Pedestrian bridges, viaducts, etc. that cross the road are excluded from detection targets. Therefore, an object that does not interfere with the traveling of the host vehicle is excluded from the detection target, and only objects that may contact or collide with the host vehicle are detected among the objects above the road surface S. It becomes like this.
また、各視差ｄｐの情報が図７や図８に斜線を付して示した第２除外範囲Ｒ２内に存在する場合にヒストグラムＨｎに投票する対象から除外することで、先行車両Ｖahが荷台付きトラックであった場合に図２９に示した先行車両Ｖahの荷台Ｐの前壁ＦやキャブＣａの背面に対応する視差ｄｐの情報が除外され、その区分ＤｎのヒストグラムＨｎには前壁ＦやキャブＣａの背面に対応する視差ｄｐの情報は投票されない。 Further, when the information of each parallax dp is within the second exclusion range R2 indicated by hatching in FIG. 7 or FIG. 8, by excluding it from the object to be voted on the histogram Hn, the preceding vehicle Vah has a loading platform. In the case of a truck, information on the parallax dp corresponding to the front wall F of the loading platform P of the preceding vehicle Vah and the back of the cab Ca shown in FIG. 29 is excluded, and the histogram Hn of the section Dn includes the front wall F and cab. Information on the parallax dp corresponding to the back of Ca is not voted.
しかし、図２９に示した先行車両Ｖahの荷台Ｐの後あおりＢの左右のエッジ部分の視差ｄｐの情報は除外されず、その区分ＤｎのヒストグラムＨｎに投票されるため、各ヒストグラムＨｎの代表距離Ｚｎを実空間上にプロットすると、図３０に示した各代表距離Ｚｎの点のうち、距離Ｚｆの前壁Ｆ等の部分の各点は検出されず、距離Ｚｂの荷台Ｐの後あおりＢの部分にのみ各代表距離Ｚｎがプロットされる。そのため、先行車両Ｖahであるトラックが距離Ｚｂの位置に検出されるようになる。 However, the information on the parallax dp of the left and right edge portions of the rear tilt B of the loading platform P of the preceding vehicle Vah shown in FIG. 29 is not excluded and is voted on the histogram Hn of the section Dn, so the representative distance of each histogram Hn When Zn is plotted on the real space, each point of the portion such as the front wall F of the distance Zf among the points of the representative distance Zn shown in FIG. Each representative distance Zn is plotted only in the portion. Therefore, the track that is the preceding vehicle Vah is detected at the position of the distance Zb.
また、各視差ｄｐの情報が図９や図１０に斜線を付して示した第３除外範囲Ｒ３内に存在する場合にヒストグラムＨｎに投票する対象から除外する。 Further, when the information of each parallax dp exists within the third exclusion range R3 indicated by hatching in FIG. 9 and FIG. 10, it is excluded from the objects to be voted on the histogram Hn.
先行車両Ｖahがタンクローリー等の大型自動車であった場合、通常の走行環境では、図１６に示すタンクローリー等の左右のタイヤｔｉ、ｔｉの間の領域Ｋは車体の影になって暗く撮像されるため問題にはならない。しかし、タンクローリー等は車高がある程度高いため、逆光の環境等では、左右のタイヤｔｉ、ｔｉの間の領域Ｋの部分に差し込んだ光による明暗が基準画像Ｔや比較画像ＴC中に撮像され、その部分がステレオマッチング処理により検出されてその部分に視差ｄｐの情報が算出される場合がある。 When the preceding vehicle Vah is a large vehicle such as a tank lorry, the region K between the left and right tires ti and ti such as the tank lorry shown in FIG. It doesn't matter. However, since the tank height of the tank lorry is high to some extent, in a backlit environment, light and darkness due to light inserted into the region K between the left and right tires ti and ti is captured in the reference image T and the comparative image T C. In some cases, the part is detected by the stereo matching process, and information on the parallax dp is calculated for the part.
このようなタンクローリー等の車体下側の左右のタイヤｔｉ、ｔｉの間の領域Ｋに視差ｄｐの情報が算出されると、距離画像Ｔｚのその部分の区分Ｄｎで当該視差ｄｐの情報が代表視差ｄｐｎとして算出されて、タンクローリー等の距離Ｚとして算出されるべき背面の位置よりも前方の位置が代表距離Ｚｎとして算出される場合を生じる。そして、この場合には、前述した荷台付きトラックの後あおりＢの位置と前壁Ｆ等の位置との問題と同様の問題を生じる。 When information on the parallax dp is calculated in the region K between the left and right tires ti and ti on the lower side of the vehicle body such as a tank lorry, the information on the parallax dp is the representative parallax in the section Dn of that portion of the distance image Tz. There is a case where a position ahead of the position of the back surface, which is calculated as dpn and should be calculated as a distance Z such as a tank lorry, is calculated as the representative distance Zn. In this case, the same problem as the problem of the position of the rear tilt B of the truck with a carrier and the position of the front wall F or the like occurs.
しかし、本実施形態のように、図９や図１０に斜線を付して示した第３除外範囲Ｒ３内に各視差ｄｐの情報が存在する場合にヒストグラムＨｎに投票する対象から除外することで、タンクローリー等の車体下側の左右のタイヤｔｉ、ｔｉの間の領域Ｋに算出された視差ｄｐの情報がヒストグラムＨｎに投票されなくなるため、その区分Ｄｎの代表距離Ｚｎがタンクローリー等の車体下側の左右のタイヤｔｉ、ｔｉの間の領域Ｋ内に検出されず、タンクローリー等の背面の位置が先行車両Ｖahの位置として検出されるようになる。 However, as in the present embodiment, when information on each parallax dp exists within the third exclusion range R3 indicated by hatching in FIG. 9 and FIG. 10, it is excluded from the objects to be voted on the histogram Hn. Since the information on the parallax dp calculated in the region K between the left and right tires ti, ti on the lower side of the vehicle body such as a tank lorry is not voted on the histogram Hn, the representative distance Zn of the section Dn is lower than the vehicle body such as the tank lorry. The position of the rear surface of the tank lorry or the like is detected as the position of the preceding vehicle Vah without being detected in the region K between the left and right tires ti and ti.
また、各視差ｄｐの情報が上記の第４除外範囲Ｒ４内に存在する場合にヒストグラムＨｎに投票する対象から除外する。 Moreover, when the information of each parallax dp exists in said 4th exclusion range R4, it excludes from the object voted for the histogram Hn.
上記の第４除外範囲Ｒ４内、すなわち基準画像Ｔ上の先行車両Ｖahの推定位置Ｆｒestの枠線内の基準画素ブロックＰＢに検出された視差ｄｐの情報で、先行車両Ｖahの推定距離Ｚestより所定の距離Ｌ３以上手前側に検出された視差ｄｐの情報は、先行車両Ｖah等に対するステレオマッチング処理におけるミスマッチングで検出されていると考えられる。そのため、そのような視差ｄｐの情報を除外することで、先行車両Ｖahがより正確な位置に検出されるようになる。 Information on the parallax dp detected in the reference pixel block PB within the fourth exclusion range R4, that is, within the frame line of the estimated position Frest of the preceding vehicle Vah on the reference image T, is determined from the estimated distance Zest of the preceding vehicle Vah. It is considered that the information on the parallax dp detected on the near side of the distance L3 or more is detected by the mismatching in the stereo matching process for the preceding vehicle Vah or the like. Therefore, the preceding vehicle Vah can be detected at a more accurate position by excluding such parallax dp information.
また、各視差ｄｐの情報が上記の第５除外範囲内に存在する場合にヒストグラムＨｎに投票する対象から除外する。 Moreover, when the information of each parallax dp exists in said 5th exclusion range, it excludes from the object voted for the histogram Hn.
夜間の走行時等において、自車両がヘッドライトを点灯させた場合、図１７に示すように、先行車両Ｖahの背面部分で自車両のヘッドライトの光が反射され、基準画像Ｔや比較画像ＴC上の先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒの間の領域に自車両のヘッドライドＨＬが写り込む場合がある。 When the host vehicle turns on the headlight during night driving, as shown in FIG. 17, the light of the headlight of the host vehicle is reflected by the back portion of the preceding vehicle Vah, and the reference image T and the comparison image T There is a case where the head ride HL of the host vehicle is reflected in a region between the left and right tail lamps TLl and TLr of the preceding vehicle Vah on C.
このような場合、基準画像Ｔと比較画像ＴCに対してステレオマッチング処理を行うと、先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒの高輝度領域のエッジ部分と自車両のヘッドライトＨＬの高輝度領域のエッジ部分とがマッチングされてミスマッチングを生じ、誤った視差ｄｐの情報が得られてしまい、先行車両Ｖahの距離Ｚを誤検出する場合がある。 In such a case, when the stereo matching process is performed on the reference image T and the comparative image T C , the edge portions of the high brightness areas of the left and right tail lamps TLl and TLr of the preceding vehicle Vah and the high brightness of the headlight HL of the host vehicle There is a case where the edge portion of the region is matched to cause mismatching, and information on the incorrect parallax dp is obtained, and the distance Z of the preceding vehicle Vah is erroneously detected.
しかし、本実施形態のように、図１３に斜線を付して示した第５除外範囲Ｒ５内に各視差ｄｐの情報が存在する場合にヒストグラムＨｎに投票する対象から除外することで、そのようなミスマッチングにより得られた視差ｄｐの情報が除外され、先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒがより正確な位置に検出されるようになる。そして、先行車両Ｖahもより正確な位置に検出されるようになる。 However, as in the present embodiment, when information on each parallax dp exists in the fifth exclusion range R5 indicated by hatching in FIG. 13, it is excluded from the object to be voted on the histogram Hn. The information on the parallax dp obtained by the mismatching is excluded, and the left and right tail lamps TLl and TLr of the preceding vehicle Vah are detected at more accurate positions. The preceding vehicle Vah is also detected at a more accurate position.
さらに、視差ｄｐの情報が上記の第２除外範囲から第５除外範囲のいずれかの範囲内に存在しても視差ｄｐの情報が先行車両Ｖahの推定距離Ｚestから所定の間隔より短い間隔で推定距離Ｚest付近に存在する場合にはヒストグラムＨｎに投票する対象から除外せず、当該区分ＤｎのヒストグラムＨｎに投票して代表距離Ｚｎを算出することで、確からしい視差ｄｐの情報についてはそれを含めて代表距離Ｚｎを算出することが可能となり、先行車両Ｖahの距離Ｚを含む位置の情報をより正確に算出することが可能となる。 Furthermore, even if the information on the parallax dp exists in any one of the second exclusion range to the fifth exclusion range, the information on the parallax dp is estimated at an interval shorter than a predetermined interval from the estimated distance Zest of the preceding vehicle Vah. If it exists in the vicinity of the distance Zest, it is not excluded from the objects to be voted on the histogram Hn, and the representative distance Zn is calculated by voting on the histogram Hn of the section Dn, so that information on the probable parallax dp is included. Thus, the representative distance Zn can be calculated, and the position information including the distance Z of the preceding vehicle Vah can be calculated more accurately.
以上のように、本実施形態に係る物体検出装置１によれば、実空間上の視差ｄｐの情報すなわち物体の距離の情報を含む位置の情報を実空間上の各区分空間Ｓｎ（各区分Ｄｎ）のヒストグラムＨｎに投票する際に、視差ｄｐの情報が明らかに誤って検出されていると判定できる実区間上の所定の範囲内の視差ｄｐの情報を、予めヒストグラムＨｎの投票する対象から除外することで、周囲に存在する物体の距離を含む位置の情報を的確に検出することが可能となる。
As described above, according to the
また、物体の位置がサンプリング周期ごとに急に移動するように検出されることを防止することが可能となり、物体を安定して検出することが可能となる。そのため、例えば、先行車両の位置を的確にかつ安定して検出して、自車両が先行車両に追従するように的確かつ安定的に自車両に対する追従操舵制御等の自動走行制御を行うことが可能となる。 In addition, it is possible to prevent the position of the object from being detected so as to move suddenly every sampling period, and it is possible to detect the object stably. Therefore, for example, it is possible to detect the position of the preceding vehicle accurately and stably and perform automatic traveling control such as follow-up steering control on the own vehicle accurately and stably so that the own vehicle follows the preceding vehicle. It becomes.
なお、本実施形態では、自車両に搭載した物体検出装置１により先行車両Ｖahを検出する場合について説明したが、対向車両等を含む他の車両を検出する場合に適用することも可能である。また、車両に搭載する場合だけでなく、例えば据え置き型の監視装置等としても用いることが可能である。
In the present embodiment, the case where the preceding vehicle Vah is detected by the
また、本実施形態では、ステレオカメラを備える撮像手段２により撮像された画像の画像解析により周囲の物体を検出する場合について説明したが、背景技術等でも述べたように、本発明は、レーダ装置から照射された電波の反射波解析により物体を検出し、或いはそれと画像解析とを組み合わせて物***置検出手段９を構成する場合にも適用される。
Further, in the present embodiment, the case where a surrounding object is detected by image analysis of an image captured by the
１ 物体検出装置
９ 物***置検出手段
１１ 代表距離算出手段
１２ 物体検出手段
Ｃａ キャブ
ｄｐ 位置の情報（視差の情報）
Ｆ 前壁
Ｆｒest 推定位置
Ｈｎ ヒストグラム
Ｏ、Ｓ 物体
Ｐ 荷台
Ｒ１〜Ｒ５ 所定の範囲
Ｓｎ 区分空間
ｔｉ タイヤ
ＴＬｌ、ＴＬｒ テールランプ
Ｖah 物体（先行車両）
Ｚ 距離
Ｚｎ 代表距離
DESCRIPTION OF
F Front wall Frest Estimated position Hn Histogram O, S Object P Carriage R1-R5 Predetermined range Sn Section space ti Tire TLl, TLr Tail lamp Vah Object (preceding vehicle)
Z distance Zn representative distance
Claims (5)
前記実空間を上下方向に延在する複数の区分空間に分割して、各区分空間ごとにヒストグラムを作成し、前記物体の距離の情報を当該物体の位置の情報が属する区分空間に対応するヒストグラムに投票し、投票結果に基づいて前記各区分空間ごとに代表距離を算出する代表距離算出手段と、
前記各代表距離をグルーピングして前記物体を検出する物体検出手段と、を備え、
前記代表距離算出手段は、前記実空間内の所定の範囲内に前記物体の位置の情報が存在する場合には、当該情報をヒストグラムに投票する対象から除外することを特徴とする物体検出装置。 An object position detecting means for detecting position information including information on a distance in real space of an object existing around;
The real space is divided into a plurality of partition spaces extending in the vertical direction, a histogram is created for each partition space, and the distance information of the object corresponds to the partition space to which the position information of the object belongs. Representative distance calculating means for calculating a representative distance for each of the divided spaces based on the voting result,
An object detecting means for grouping the representative distances to detect the object,
The representative distance calculating means, when information on the position of the object exists within a predetermined range in the real space, excludes the information from a target for voting on a histogram.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008014587A JP4956453B2 (en) | 2008-01-25 | 2008-01-25 | Object detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008014587A JP4956453B2 (en) | 2008-01-25 | 2008-01-25 | Object detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009176091A JP2009176091A (en) | 2009-08-06 |
| JP4956453B2 true JP4956453B2 (en) | 2012-06-20 |
Family
ID=41031099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008014587A Active JP4956453B2 (en) | 2008-01-25 | 2008-01-25 | Object detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4956453B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825495A (en) * | 2015-01-23 | 2016-08-03 | 丰田自动车株式会社 | Object detection apparatus and object detection method |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5411671B2 (en) * | 2009-11-27 | 2014-02-12 | 富士重工業株式会社 | Object detection device and driving support system |
| JP5580233B2 (en) * | 2011-03-22 | 2014-08-27 | 富士重工業株式会社 | Outside vehicle monitoring apparatus and outside vehicle monitoring method |
| JP5316572B2 (en) * | 2011-03-28 | 2013-10-16 | トヨタ自動車株式会社 | Object recognition device |
| CN103029621B (en) * | 2011-09-30 | 2016-04-06 | 株式会社理光 | Detect the method and apparatus of front vehicles |
| JP6014867B2 (en) * | 2012-12-14 | 2016-10-26 | 富士重工業株式会社 | Image processing device |
| JP5727639B2 (en) * | 2014-02-07 | 2015-06-03 | 富士重工業株式会社 | Vehicle detection device |
| JP6606369B2 (en) | 2015-07-21 | 2019-11-13 | 株式会社Ｓｏｋｅｎ | Object detection apparatus and object detection method |
| JP6589926B2 (en) | 2017-04-07 | 2019-10-16 | トヨタ自動車株式会社 | Object detection device |
| JP7268490B2 (en) * | 2019-06-13 | 2023-05-08 | 株式会社デンソー | Object recognition device, driving support system |
| JP7406962B2 (en) * | 2019-11-26 | 2023-12-28 | 株式会社Subaru | Image processing device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3757500B2 (en) * | 1996-11-13 | 2006-03-22 | 日産自動車株式会社 | Leading vehicle following device |
| JP3674400B2 (en) * | 1999-08-06 | 2005-07-20 | 日産自動車株式会社 | Ambient environment recognition device |
| JP3697435B2 (en) * | 2002-09-20 | 2005-09-21 | 富士重工業株式会社 | Outside monitoring device |
| JP2007156626A (en) * | 2005-12-01 | 2007-06-21 | Nissan Motor Co Ltd | Object type determination device and object type determination method |
| JP4638370B2 (en) * | 2006-03-29 | 2011-02-23 | 富士重工業株式会社 | Lane departure prevention device |
-
2008
- 2008-01-25 JP JP2008014587A patent/JP4956453B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825495A (en) * | 2015-01-23 | 2016-08-03 | 丰田自动车株式会社 | Object detection apparatus and object detection method |
| CN105825495B (en) * | 2015-01-23 | 2018-11-02 | 丰田自动车株式会社 | Article detection device and object detecting method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009176091A (en) | 2009-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4956453B2 (en) | Object detection device | |
| US10696227B2 (en) | Determining a road surface characteristic | |
| US8605947B2 (en) | Method for detecting a clear path of travel for a vehicle enhanced by object detection | |
| US9064418B2 (en) | Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system | |
| US11620837B2 (en) | Systems and methods for augmenting upright object detection | |
| JP4676373B2 (en) | Peripheral recognition device, peripheral recognition method, and program | |
| JP4856656B2 (en) | Vehicle detection device | |
| US8670592B2 (en) | Clear path detection using segmentation-based method | |
| CN102646343B (en) | Vehicle detection apparatus | |
| JP3862015B2 (en) | Automotive radar equipment | |
| US9360332B2 (en) | Method for determining a course of a traffic lane for a vehicle | |
| JP4901275B2 (en) | Travel guidance obstacle detection device and vehicle control device | |
| CN110073410B (en) | Method for tracking objects in a scene | |
| JP5411671B2 (en) | Object detection device and driving support system | |
| US20230394682A1 (en) | Object tracking device and object tracking method | |
| KR20220064407A (en) | Onboard cluster tracking system | |
| JP7425223B2 (en) | Object tracking device and object tracking method | |
| WO2022230738A1 (en) | Object tracking device and object tracking method | |
| WO2022230739A1 (en) | Object tracking device | |
| Jager et al. | Lane Change Assistant System for Commercial Vehicles equipped with a Camera Monitor System | |
| Schneider et al. | An evaluation framework for stereo-based driver assistance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120228 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4956453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |