JP4580005B2 - Object recognition device - Google Patents
Object recognition device Download PDFInfo
- Publication number
- JP4580005B2 JP4580005B2 JP2008143395A JP2008143395A JP4580005B2 JP 4580005 B2 JP4580005 B2 JP 4580005B2 JP 2008143395 A JP2008143395 A JP 2008143395A JP 2008143395 A JP2008143395 A JP 2008143395A JP 4580005 B2 JP4580005 B2 JP 4580005B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- preceding vehicle
- determined
- horizontal
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
この発明は、自車両の前方にある対象物を認識する対象物認識装置に関し、特に、自車両の前方を走行する先行車両を認識するのに適した対象物認識装置に関する。 The present invention relates to an object recognition apparatus for recognizing an object in front of the host vehicle, and more particularly to an object recognition apparatus suitable for recognizing a preceding vehicle traveling in front of the host vehicle.
近年、車両走行の安全性を向上させるため、自車両の前方にある対象物の位置や大きさを判断し、これに応じて車両走行を適切に制御する装置が提案されている。前方にある対象物の情報を取得する方法として、画像情報から水平方向エッジおよび垂直方向エッジを抽出し、抽出されたエッジのそれぞれについて、そのエッジが認識すべき対象物（たとえば、先行車両）を示すかどうか判断し、対象物を示すと判断されたエッジに基づいて対象物を認識する方法が知られている。 In recent years, in order to improve the safety of vehicle travel, an apparatus has been proposed that determines the position and size of an object in front of the host vehicle and appropriately controls the vehicle travel accordingly. As a method of acquiring information on an object ahead, a horizontal edge and a vertical edge are extracted from image information, and for each of the extracted edges, an object (for example, a preceding vehicle) that the edge should recognize is extracted. There is a known method for recognizing an object based on an edge that is determined whether or not to indicate the object.
特許公報第2712809号（特許文献１）には、近距離の物体ほど画面下方に大きく写るという知見に基づき、水平方向および鉛直方向の連続エッジ構成点数のしきい値を画面下方になるほど大きな値となるよう予め設定し、しきい値以上にエッジ構成点が連続した領域を障害物と判断する障害物検出装置が記載されている。 In Japanese Patent Publication No. 2712809 (Patent Document 1), based on the knowledge that objects closer to each other appear larger in the lower part of the screen, the threshold value for the number of consecutive edge constituent points in the horizontal and vertical directions is set to a larger value as the lower part of the screen is displayed. An obstacle detection apparatus is described in which an area where edge constituent points are continuously set to be equal to or greater than a threshold value is determined as an obstacle.
また、特開平7-25286公報（特許文献２）では、所定の垂直および水平注視領域におけるそれぞれ垂直の画素列および水平の画素行ごとの微分値の合計のうち、所定のしきい値を超える複数の画素列および画素行を先行車両の左右端および上下端の輪郭候補としてそれぞれ抽出し、これらの候補のうち任意に選択した２つずつの画素列および画素行により囲まれた領域の中心点の変動量および垂直、水平方向の長さの比が一定条件を満たす場合、その領域を先行車両の存在領域と判断する。 Japanese Patent Laid-Open No. 7-25286 (Patent Document 2) discloses a plurality of differential values exceeding a predetermined threshold value among the sum of differential values for each vertical pixel column and each horizontal pixel row in a predetermined vertical and horizontal gaze region. Are extracted as candidate contours of the left and right ends and upper and lower ends of the preceding vehicle, respectively, and the center point of the region surrounded by two arbitrarily selected pixel columns and pixel rows of these candidates is extracted. When the fluctuation amount and the ratio of the length in the vertical and horizontal directions satisfy a certain condition, the area is determined as the existing area of the preceding vehicle.
さらに、特開平8-188104号公報（特許文献３）では、所定の垂直および水平注視領域におけるそれぞれ垂直の画素列および水平の画素行ごとの濃度微分値の合計のうち、濃度微分値がピークとなる複数の点を先行車両の輪郭の候補点とし、これらの各候補点の画面上の座標と、所定時間後の各候補点の座標から、候補点ごとの移動量を算出し、その移動量がしきい値より小さくかつ最小となる候補点を先行車両の輪郭に対応する点と判断する。 Further, in Japanese Patent Laid-Open No. 8-188104 (Patent Document 3), the density differential value is a peak among the sum of the density differential values for each vertical pixel column and horizontal pixel row in a predetermined vertical and horizontal gaze region. Are calculated as the candidate points for the contour of the preceding vehicle, and the amount of movement for each candidate point is calculated from the coordinates of each candidate point on the screen and the coordinates of each candidate point after a predetermined time. Is determined to be a point corresponding to the contour of the preceding vehicle.
また、特開平10-97699号公報（特許文献４）では、画像内の左右ガイドライン（実施例では、白線）を認識し、この左右ガイドラインにはさまれた領域内において水平エッジを抽出し、抽出された水平エッジに基づいて障害物が存在する存在可能性領域を推定し、該存在可能性領域内で垂直エッジを抽出し、抽出された垂直エッジに基づき障害物を判定する。
特許公報第2712809号、特開平7-25286公報または特開平8-188104号公報のものでは、認識すべき対象物以外に、より大きなエッジを持つ自然物、建築物や路面上の標識のようなものが存在する場合、それらのエッジも対象物の認識を行う対象となることがあり、ひいてはそれら自然物、建築物または路面上の標識を対象物として誤って認識することがあった。また、特開10-97699号公報のものでは、左右ガイドラインによって処理領域を限定しているが、それでも路面上の標識や、ガイドラインと極近距離に敷設された電柱やガードレールといった人工物のエッジ情報により、対象物の側端すなわち対象物の幅を正確に認識できないことがあった。 Japanese Patent Publication No. 2712809, Japanese Patent Application Laid-Open No. 7-25286, or Japanese Patent Application Laid-Open No. 8-188104, in addition to the object to be recognized, such as natural objects with larger edges, buildings and signs on the road surface In some cases, these edges may also be objects to be recognized, and as a result, these natural objects, buildings, or road signs may be erroneously recognized as objects. Moreover, in the thing of Unexamined-Japanese-Patent No. 10-97699, although the processing area is limited by the left and right guideline, it is still a sign on the road surface, and edge information of an artificial object such as an electric pole or guardrail laid at a close distance from the guideline. Therefore, the side edge of the object, that is, the width of the object may not be accurately recognized.
この発明は、上記問題点を解決するものであり、認識すべき対象物の特徴に基づいて、抽出されたエッジが対象物を示すかどうか判定することにより、より正確に対象物の外形、特に対象物の上端、下端、左端および右端の位置を認識することのできる装置を提供することを目的とする。 The present invention solves the above problems, and by determining whether or not the extracted edge indicates an object based on the characteristics of the object to be recognized, the outer shape of the object, in particular, It is an object of the present invention to provide an apparatus that can recognize the positions of the upper end, lower end, left end, and right end of an object.
上記の課題を解決するため、請求項１の発明の対象物認識装置は、対象物の位置を特定する対象物位置特定手段と、前記対象物を撮像する撮像装置と、前記特定された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、前記撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、前記処理領域に含まれる画素の輝度値に基づいて、前記処理領域からエッジを抽出するエッジ抽出手段と、前記認識すべき対象物の予め設定された特徴に基づいて、前記抽出されたエッジのそれぞれが、該認識すべき対象物を示すかどうか判定するエッジ判定手段と、前記対象物を示すと判定されたエッジに基づいて、該対象物の外形を認識する対象物認識手段とを備える。
In order to solve the above-mentioned problem, the object recognition device of the invention of
この発明によると、認識すべき対象物の予め設定された特徴に基づいて、処理領域に含まれるエッジが認識すべき対象物を示すかどうか判定して対象物の外形を認識するので、認識すべき対象物の外形を正確に認識することができる。 According to the present invention, the outline of the object is recognized by determining whether or not the edge included in the processing region indicates the object to be recognized based on the preset characteristics of the object to be recognized. It is possible to accurately recognize the outer shape of the target object.
また、請求項２の発明は、請求項１の対象物認識装置において、エッジ判定手段が、エッジが処理領域の境界線上の画素を含むかどうかに基づいて、エッジが対象物を示すかどうか判定する。
In the object recognition apparatus according to
請求項２の発明によると、エッジが処理領域の境界線上の画素を含むかどうかに基づいてエッジが対象物を示すかどうか判定するので、処理領域を横切る路面標識などを誤って対象物と認識することなく、正確に対象物の認識を行うことができる。
According to the invention of
また、請求項３の発明は、請求項１の対象物認識装置において、エッジ判定手段が、エッジの直線性または傾きに基づいて、エッジが対象物を示すかどうか判定する。 According to a third aspect of the present invention, in the object recognition apparatus according to the first aspect, the edge determination means determines whether the edge indicates the object based on the linearity or inclination of the edge.
請求項３の発明によると、エッジの直線性または傾きに基づいてエッジが対象物を示すかどうか判定するので、自然物や白線などを誤って対象物と認識することなく、正確に対象物の認識を行うことができる。
According to the invention of
請求項４の発明は、請求項１から請求項３のいずれかに記載の対象物認識装置において、対象物認識手段が、対象物を示すと判定されたエッジに基づいて、対象物の上端、下端、左端および右端の位置を認識することにより対象物の外形を認識する。 According to a fourth aspect of the present invention, in the object recognition device according to any one of the first to third aspects, the upper end of the object is determined based on the edge determined that the object recognition means indicates the object. The outline of the object is recognized by recognizing the positions of the lower end, the left end, and the right end.
請求項４の発明によると、対象物の上端、下端、左端および右端の位置が認識されるので、特に箱形に近似される対象物の場合、対象物の位置、高さおよび幅を正確に認識することができる。
According to the invention of
請求項１の発明によると、認識すべき対象物の予め設定された特徴に基づいて、処理領域に含まれるエッジが認識すべき対象物を示すかどうか判定して対象物の外形を認識するので、認識すべき対象物の外形を正確に認識することができる。 According to the first aspect of the present invention, the outline of the object is recognized by determining whether or not the edge included in the processing region indicates the object to be recognized based on the preset characteristics of the object to be recognized. The outline of the object to be recognized can be accurately recognized.
請求項２の発明によると、エッジが処理領域の境界線上の画素を含むかどうかに基づいてエッジが対象物を示すかどうか判定するので、処理領域を横切る路面標識などを誤って対象物と認識することなく、正確に対象物の認識を行うことができる。
According to the invention of
請求項３の発明によると、エッジの直線性または傾きに基づいてエッジが対象物を示すかどうか判定するので、自然物や白線などを誤って対象物と認識することなく、正確に対象物の認識を行うことができる。
According to the invention of
請求項４の発明によると、対象物の上端、下端、左端および右端の位置が認識されるので、特に箱形に近似される対象物の場合、対象物の位置、高さおよび幅を正確に認識することができる。
According to the invention of
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例の対象物認識装置の全体的なブロック図である。この実施例においては、この発明の対象物認識装置により認識すべき対象物を先行車両として説明する。 Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an overall block diagram of an object recognition apparatus according to an embodiment of the present invention. In this embodiment, an object to be recognized by the object recognition device of the present invention will be described as a preceding vehicle.
図１の撮像装置１は、自車両の前方を画像として撮像する装置である。撮像装置１は典型的には２次元のＣＣＤであり、２次元に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズの前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物を照射し、対象物から反射する赤外線を感知するようにするのがよい。撮像装置１により撮像された画像はアナログ・デジタル変換器（図示せず）を介してデジタルデータに変換され、画像記憶部２に格納される。
The
対象物位置特定部３は、典型的にはレーザレーダまたはミリ波レーダであり、レーザまたはミリ波を対象物に照射し、対象物からの反射波を受信して、自車両から対象物までの距離および自車両に対する対象物の相対的な方位を測定する。レーダは、単一ビームを自車両前方のある角度の範囲にわたって走査するスキャン型レーダを用いることができ、または複数ビームを車両前方のある角度の範囲にわたって照射する複数ビーム型のレーダを用いてもよい。レーダからのビームがカバーする角度の範囲は、認識すべき対象物が撮像装置１により撮像される可能性のある範囲に合わせて設定される。この実施例では認識すべき対象物が先行車両なので、レーダは、少なくとも自車両が走行する自車線領域をカバーするよう設定される。または、１サイクル前に撮像装置１により撮像され、特定された先行車両の位置情報に基づいて、自車両前方の先行車両に確実にビームを照射させるよう、レーダのビームの方位を随時変向させるようにしてもよい。特定された先行車両の距離Ｄおよび方位θは、図１の対象物位置記憶部４に記憶される。
The object
他の実施例では、対象物位置特定部３を、一対の光学式撮像装置を用いて実現することができる。図２は、その場合の三角計測法による距離の計測原理を説明する図である。簡単に説明するため、図２における一対の撮像装置は、それぞれ一次元のラインセンサとする。ラインセンサ２８およびレンズ２６は、他方の撮像装置を構成するラインセンサ２９およびレンズ２７と所定の間隔すなわち基線長Ｂだけ左右方向に間隔をおいて配置されており、それぞれレンズ２６、２７の焦点距離ｆに配置されている。
In another embodiment, the object
レンズ２６、２７のある平面から距離Ｄにある対象物の像が、ラインセンサ２８ではレンズ２６の光軸からｄ1ずれた位置に形成され、ラインセンサ２９ではレンズ２７の光軸からｄ2だけずれた位置に形成されるとすると、レンズ２６、２７の面から対象物２５までの距離Ｄは、三角計測法の原理により、Ｄ＝Ｂ・ｆ／（ｄ1＋ｄ2）で求められる。撮像された画像はデジタル化されるので、距離（ｄ1＋ｄ2）はデジタル的に算出される。ラインセンサ２８および２９で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すデジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（ｄ1＋ｄ2）を示す。観念的には図２に示すようにラインセンサ２８および２９から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（ｄ1＋ｄ2）である。自車両に対する対象物２５の方位θは、たとえばレンズ２７の光軸を基準とすると、tanθ＝ｄ2／ｆのように求めることができる。
An image of an object at a distance D from the plane on which the lenses 26 and 27 are located is formed at a position shifted by d1 from the optical axis of the lens 26 in the line sensor 28, and is shifted by d2 from the optical axis of the lens 27 in the line sensor 29. If it is formed at the position, the distance D from the surfaces of the lenses 26 and 27 to the object 25 is obtained by D = B · f / (d1 + d2) according to the principle of the triangulation method. Since the captured image is digitized, the distance (d1 + d2) is calculated digitally. While shifting one or both of the images obtained by the line sensors 28 and 29, the sum of absolute values of differences in digital values indicating the luminance of the corresponding pixels of both images is obtained, and this is used as a correlation value. The shift amount of the image when the correlation value becomes the minimum value indicates a positional deviation between both images, that is, (d1 + d2). Ideally, as shown in FIG. 2, the distance that the two images must be moved relatively to overlap the two images obtained from the line sensors 28 and 29 is (d1 + d2). The azimuth θ of the object 25 with respect to the host vehicle can be obtained as tan θ =
上記の一対の撮像装置による距離の計測は、たとえば撮像された画像を多数のウィンドウに細分し、ウィンドウごとに計測される。計測された距離を、予め計測して保持されたウィンドウごとの道路までの距離と比較し、道路までの距離よりも短ければ、そのウィンドウについての計測距離を対象物までの距離と判断することができる。たとえば、撮像された画像のうち、ハンドル角などを考慮して自車線領域と考えられるウィンドウを走査して距離を計測することにより、自車両前方にある先行車両までの距離を計測することができる。 The distance is measured by the pair of imaging devices, for example, by dividing the captured image into a number of windows and measuring each window. The measured distance is compared with the distance to the road for each window measured and held in advance, and if the distance to the road is shorter than the distance to the road, the measured distance for the window can be determined as the distance to the object. it can. For example, it is possible to measure the distance to a preceding vehicle ahead of the host vehicle by scanning a window that is considered to be the host lane region in consideration of the handle angle and the like in the captured image. .
対象物位置特定部３を、上記に説明したレーダおよび一対の撮像装置を併用して実現することができる。たとえば、一対の撮像装置により撮像された画像による距離および方位の計測が困難な状況（前方の先行車両が自車両から遠方にある、またはトンネルなど薄暗い場所を走行していて先行車両の撮像が不安定となるような状況）ではレーダによって計測するというようにしてもよい。また、レーダによる距離および方位の計測は、自車両前方の一定の角度範囲に限定され、撮像装置ほど広い視界をカバーするのが困難なことがあるので、撮像装置により計測された先行車両の方位に合わせて、レーダのビームの向きを随時変えるようにしてもよい。しかしながら、この実施例では、対象物位置特定部３をミリ波レーダまたはレーザレーダのようなレーダにより実現し、自車両前方の先行車両の位
置（距離および方位）を特定する。
The object
図１の対象物認識部２１は、撮像装置１により得られた画像内に処理領域を設定し、処理領域から抽出されたエッジを使用して先行車両の認識を行う。対象物認識部２１による処理は、撮像装置１から取り込んだ画像および対象物位置特定部３により計測された対象物の位置に基づいて、ある検出時間間隔（たとえば、１００ミリ秒）で実行される。以下、対象物認識部２１による対象物認識の方法を詳細に説明する。
The
図１の処理領域設定部５は、対象物位置記憶部４に記憶された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、画像記憶部２に記憶された撮像画像内に処理領域を設定する。予め決められた認識すべき対象物の大きさは、処理領域設定部５により予め保持されており、認識すべき対象物全体を囲むことができるよう設定されている。
The processing
処理領域の設定方法を、図３および図４を参照して説明する。図３は、前方を走行する先行車両４０を撮像した画像である。図３に示すように、撮像した画像においてｘおよびｙ軸を定め、処理領域３０を座標（Ｘa1,Ｙa1）および（Ｘa2,Ｙa2）を使用して設定する。
A method for setting the processing area will be described with reference to FIGS. FIG. 3 is an image of the preceding
図４は、この処理領域３０を設定する方法を示しており、図４の（ａ）は、処理領域を特定するｘ座標すなわちＸa1およびＸa2を求める方法を示す図であり、図４の（ｂ）は、処理領域を特定するｙ座標すなわちＹa1およびＹa2を求める方法を示す図である。
FIG. 4 shows a method for setting the
図４の撮像装置１は、自車両に搭載されている撮像装置１を示しており、自車両前方を走行する先行車両４０を撮像する。ｆは、撮像装置１に備えられたレンズ４５の焦点距離であり、レンズの特性により定まる値である。ＷおよびＨは、予め決められた先行車両の幅および高さであり、たとえばＷは２メートル、Ｈは２．５メートルのように設定することができる。Ｄおよびθは、対象物位置記憶部４に格納された先行車両の自車両からの距離および自車両に対する相対的な方位を示す。ｈは、道路から自車両に搭載された撮像装置１のレンズ４５の中心までの高さを示し、撮像装置１の自車両内の位置により定まる。
The
処理領域設定部５は、これらのパラメータＷ、Ｈ、ｈを用い、対象物位置記憶部４に記憶されたＤおよびθを抽出して、以下の式により処理領域３０を特定する座標（Ｘa1、Ｙa1）および（Ｘa2,Ｙa2）を算出する。
The processing
または、Ｙa1およびＹa2については、自車両のピッチングを考慮して、以下のようにピッチング余裕分のαを加えるようにしてもよい。 Alternatively, for Ya1 and Ya2, in consideration of the pitching of the host vehicle, α corresponding to the pitching margin may be added as follows.
こうして、座標（Ｘa1、Ｙa1）および（Ｘa2,Ｙa2）を使用して、撮像された画像内に処理領域３０が図３のように設定され、またはピッチングを加味して図５のように設定される。
Thus, using the coordinates (Xa1, Ya1) and (Xa2, Ya2), the
図１の水平エッジ抽出部７および垂直エッジ抽出部９は、処理領域設定部５により設定された処理領域内から、それぞれ水平方向のエッジおよび垂直方向のエッジを抽出する。この実施例では、水平方向および垂直方向の両方についてエッジを抽出する。水平および垂直エッジの両方とも基本的には同じ方法で抽出されるので、ここでは水平エッジの抽出について説明する。ここで抽出されるエッジは、画像において輝度が変化する部分を示す。図６に、水平エッジ抽出部７により実行される、エッジを抽出するフローチャートを示す。最初に、水平エッジ抽出部７は、処理領域３０内のそれぞれの画素に対して水平方向にフィルタリング処理を行い、水平方向に輝度差のあるエッジ部分を強調する（ステップ６１）。図７の（ａ）は、水平方向のエッジを検出するための水平エッジ用フィルタの例であり、以下に述べる計算の都合上、図７の（ｂ）のようにフィルタのそれぞれの要素に座標を付す。
The horizontal edge extraction unit 7 and the vertical edge extraction unit 9 in FIG. 1 extract a horizontal edge and a vertical edge from the processing region set by the processing
処理領域３０内を図７の水平エッジ用フィルタで走査し、処理領域３０内のそれぞれの画素の輝度値に対して以下の式（７）の計算を施すことにより、水平方向のエッジを検出する。
A horizontal edge is detected by scanning the
ここで、ｘおよびｙは、処理領域３０内の画素の位置を特定する座標を示す。Ｇ(x,y)は、撮像されてデジタルデータに変換されたときの座標(x,y)にある画素の輝度値を示し、Ｐ(x,y)は、フィルタリング処理を行った後の座標(x,y)にある画素の輝度値を示す。Ｆ(i,j)は、図７の（ａ）に示す水平エッジ用フィルタの座標(i,j)にあるフィルタ要素の値を示す。水平エッジ用フィルタは、水平方向のエッジを強調するよう値が定められているので、上記の計算をそれぞれの画素に対して行うことにより、水平エッジを検出することができる。
Here, x and y indicate coordinates that specify the position of the pixel in the
他の実施形態では、式（７）の代わりに、以下の式（８）のように単純に垂直方向に隣あった画素間で輝度値の引き算を行う微分処理によりフィルタリング処理を行うことができる。ここで、ｎは任意の整数であり、たとえばｎ＝１である。 In another embodiment, instead of Expression (7), the filtering process can be performed by a differentiation process in which luminance values are simply subtracted between pixels adjacent in the vertical direction as in Expression (8) below. . Here, n is an arbitrary integer, for example, n = 1.
次に、フィルタリング処理が行われたそれぞれの画素の輝度値Ｐに基づいて、輝度ヒストグラムを算出する（ステップ６３）。この実施例で使用する輝度値は、２５６の階調（真黒「０」から真白「２５５」の間）を持つデジタルデータとして表される。図８は輝度ヒストグラムの例を示し、横軸は輝度値を示し、右にいくほど高い輝度値を示す。縦軸は、それぞれの輝度値をもつ画素数を示す。 Next, a luminance histogram is calculated based on the luminance value P of each pixel on which the filtering process has been performed (step 63). The luminance value used in this embodiment is represented as digital data having 256 gradations (between true black “0” and true white “255”). FIG. 8 shows an example of a luminance histogram, where the horizontal axis indicates the luminance value, and the higher the value to the right, the higher the luminance value. The vertical axis indicates the number of pixels having each luminance value.
このヒストグラムに基づいて、低輝度側の画素数と高輝度側の画素数が所定の割合となる輝度値を２値化しきい値として設定する（ステップ６５）。たとえば、処理領域３０の全画素数に対し、先行車両４０を示すエッジを構成する画素数の割合を予めある程度推定し、ある輝度値以上でその割合になる値をヒストグラムから求めて２値化しきい値とすることができる。この２値化しきい値を使用し、たとえば高輝度側を「１」、低輝度側を「０」として、処理領域３０内のそれぞれの画素が２値化される（ステップ６７）。こうして２値化された画素のうち、値「１」を持つ画素をエッジ点と呼ぶ。なお、２値化しきい値の設定には既知の様々な方法があり、ここで用いる方法はその一例であり、他の方法を用いてもよい。
Based on this histogram, a luminance value at which the number of pixels on the low luminance side and the number of pixels on the high luminance side have a predetermined ratio is set as a binarization threshold (step 65). For example, the ratio of the number of pixels constituting the edge indicating the preceding
次に、２値化によって得られた値「１」を持つ画素すなわちエッジ点を抽出し、エッジ点が連続していれば１つのまとまった水平エッジとしてグループ化する。エッジ点をグループ化する手法として、この実施例ではテンプレートを使用したラベリング処理を利用する。このラベリング処理を、図９を参照して説明する。 Next, pixels having a value “1” obtained by binarization, that is, edge points are extracted, and if the edge points are continuous, they are grouped as a single horizontal edge. As a method for grouping edge points, in this embodiment, a labeling process using a template is used. This labeling process will be described with reference to FIG.
図９の（ａ）のＴ１〜Ｔ３はテンプレートにおける位置を示す。図９の（ｂ）のＶ１〜Ｖ３は、あるエッジ点にＴ２が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素の値（１またはゼロ）をそれぞれ示す。図９の（ｃ）のＬ１〜Ｌ３は、あるエッジ点にＴ２が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素に付与されたラベルを示す。 T1 to T3 in FIG. 9A indicate positions in the template. V1 to V3 in FIG. 9B indicate pixel values (1 or zero) respectively corresponding to the positions of T1 to T3 when the template is placed so that T2 matches a certain edge point. L1 to L3 in FIG. 9C indicate labels given to pixels corresponding to the positions of T1 to T3 when the template is placed so that T2 matches a certain edge point.
また、図９の（ｄ）の表は、あるエッジ点にＴ２が合うようテンプレートが置かれたときの、Ｔ１〜Ｔ３の位置に対応する画素の値に基づいて、Ｔ２の位置に対応するエッジ点にどのようなラベルＬ２が付与されるかを示したものである。たとえば、Ｔ１〜Ｔ３の位置に対応する画素の値Ｖ１〜Ｖ３が条件４を満たせば、Ｔ２に対応するエッジ点のラベルＬ２には、Ｔ１に対応する画素のラベルＬ１と同じラベルが付与される。なお、条件１が満たされた時に付与されるラベル「Ｌ」は、まだ使用されていない新たなクラスタラベルを示す。図９の（ｅ）に示すように、テンプレートのＴ２が処理領域３０内のエッジ点に順次置かれるよう処理領域３０を走査し、エッジ点にラベルＬ２を付与していく。
Further, the table of FIG. 9D shows the edge corresponding to the position of T2 based on the pixel values corresponding to the positions of T1 to T3 when the template is placed so that T2 matches a certain edge point. It shows what kind of label L2 is given to the point. For example, if the pixel values V1 to V3 corresponding to the positions T1 to T3 satisfy the
図１０は、ラベル付与の処理を説明するための図である。図１０の（ａ）は、２値化された画素（値ゼロは単なる「・」で示されている）を示す画像の一部の例である。画素のうち値１をもつエッジ点にテンプレートのＴ２が合うようテンプレートが置かれ、上記のようにラベル付与処理を行うと、図１０の（ｂ）に示すように連続したエッジ点に同じラベルが付与される。
FIG. 10 is a diagram for explaining the labeling process. FIG. 10A is an example of a part of an image showing binarized pixels (the value zero is simply indicated by “·”). When the template is placed so that the T2 of the template matches the edge point having the
図９の（ｄ）の条件５を満たす場合には、テンプレートのＴ１およびＴ３に対応するラベルを連結し、テンプレートＴ３に対応するラベルをテンプレートＴ１に対応するラベルに置き換える。たとえば、図１０の（ｂ）のエッジ点９１と９２およびエッジ点９２と９３は図９の（ｄ）の条件５を満たすので、結果としてラベルＤおよびラベルＥをもつエッジ点のすべてが、ラベルＣに付与しなおされる（図１０の（ｃ））。このラベルを連結する処理は、処理領域３０内のすべてのエッジ点を走査してラベルを付与した後に行ってもよい。ラベルを連結することにより、連続するエッジ点はもれなく同じラベルが付与された１つのエッジ群となる。図１０の（ｃ）には、ラベルＡ、ＢおよびＣの３つのエッジ群が示される。このように、水平方向のそれぞれのエッジ群すなわち水平エッジが抽出され
る。
When the
垂直エッジ抽出部９は、図６のステップ６１のフィルタリング処理で、水平エッジ用フィルタの代わりに図１１に示す垂直エッジ用フィルタを使用することをのぞき、水平エッジと同様の手法で処理領域３０内の垂直エッジを抽出する。
The vertical edge extraction unit 9 uses the same method as the horizontal edge in the
図１に戻り、水平エッジ判定部１１は、認識すべき対象物の予め設定された特徴に基づいて、水平エッジ抽出部９により抽出されたエッジが、認識すべき対象物を示すかどうか判定する。たとえば水平エッジの場合、この実施例のように認識すべき対象物が先行車両とすると、先行車両が画像に表されたときの特徴、すなわち箱形で水平エッジが比較的多く、しかも直線的なエッジを持っていることなどに基づいてエッジ判定を行うことができる。具体的には、
１）処理領域設定部５により設定された処理領域の境界線上の画素を含むエッジは、先行車両以外のものを示すエッジと判定する。
Returning to FIG. 1, the horizontal
1) An edge including a pixel on the boundary line of the processing area set by the processing
２）水平エッジ抽出部７により抽出された水平エッジの直線性を調べ、直線性の悪いエッジは、先行車両以外のものを示すエッジと判定する。 2) The linearity of the horizontal edge extracted by the horizontal edge extracting unit 7 is examined, and an edge with poor linearity is determined as an edge indicating something other than the preceding vehicle.
３）水平エッジ抽出部７により抽出された水平エッジの傾きを調べ、傾きが大きいエッジは先行車両以外のものを示すエッジと判定する。 3) The inclination of the horizontal edge extracted by the horizontal edge extraction unit 7 is examined, and an edge having a large inclination is determined as an edge indicating something other than the preceding vehicle.
図１２は、上記１）の処理領域の境界線上の画素を含む水平エッジのパターンを示す。図１２の（ａ）は撮像された画像を示し、先行車両４０の手前に路面標識１２０が写し出されている。この路面標識１２０は、処理領域３０を横切るようにして広がっている。図１２の（ｂ）は、水平エッジ抽出部７により図１２の（ａ）の画像の処理領域３０に対して抽出された水平エッジの２値化画像を示す。この２値化画像には、先行車両４０を示すエッジだけでなく路面標識１２０を示すエッジ１２５および１２６が抽出されている。処理領域３０は、前述したように先行車両を囲むよう設定されているので、処理領域を横切る水平エッジは先行車両以外のものを示すエッジと判定することができる。具体的には、処理領域３０は座標（Ｘa1,Ｙa1）および（Ｘa2,Ｙa2）で特定されるので、水平エッジ判定部１１は、水平エッジを構成するエッジ点のｘ座標値を調べ、ｘ座標値がＸa1またはＸa2を持つエッジ点があるならば、その水平エッジを処理領域３０の境界線を横切るエッジと判断し、その水平エッジは先行車両以外のものを示すと判定する。図１２の（ｂ）の例では、エッジ１２５または１２６が、ｘ座標値Ｘa1およびＸa2を持つエッジ点を含むので、エッジ１２５および１２６は先行車両以外のものを示すと判定する。
FIG. 12 shows a pattern of horizontal edges including pixels on the boundary line of the processing area 1). FIG. 12A shows a captured image, and a road surface sign 120 is projected in front of the preceding
こうして水平エッジを判定することにより、先行車両を示すと判定された水平エッジと先行車両以外のものを示すと判定された水平エッジとは、それぞれ区別できるよう水平エッジ記憶部１２に記憶される。たとえば、先行車両を示すと判定された水平エッジを構成するエッジ点の画素の値を「１」のまま記憶し、先行車両以外のものを示すと判定された水平エッジを構成するエッジ点の画素の値をゼロに反転して記憶する。または、先行車両以外のものを示すと判定された水平エッジを構成するエッジ点にのみ何らかのフラグを付けて記憶し、その後の処理に使用しないようにすることもできる。図１２の（ｃ）は、先行車両以外のものを示すと判定されたエッジ１２５および１２６を除外した後の水平エッジを示す２値化画像である。このような処理領域の境界線上の画素を含む水平エッジを示すものとして、たとえば背景の建築物、路面上の停止線等の標識が考えられ、上記の処理を行うことにより、このような先行車両以外のものを示す水平エッジに基づいた先行車両の誤認識をなくすことができる。
By determining the horizontal edge in this manner, the horizontal edge determined to indicate the preceding vehicle and the horizontal edge determined to indicate other than the preceding vehicle are stored in the horizontal
図１３は、上記２）の直線性が悪い水平エッジのパターンを示す。図１３の（ａ）は撮像された画像を示し、先行車両４０の向こう側に山の稜線１３０が写し出されている。図１３の（ｂ）は、水平エッジ抽出部７により図１３の（ａ）の画像の処理領域３０に対して抽出された水平エッジの２値化画像を示す。この２値化画像には、先行車両４０を示すエッジだけでなく山の稜線１３０の一部を示すエッジ１３５〜１３７が抽出されている。先行車両を示す水平エッジは水平方向に曲線を描くことはないので、水平エッジ判定部１１は、このような直線性の悪いエッジ１３５〜１３７は、先行車両以外のものを示すと判定する。水平エッジ判定部１１は、抽出された水平エッジを構成するエッジ点のそれぞれのｙ座標値の分散を算出し、ｙ座標が、予め決められた所定値以上にわたって分散するならば、その水平エッジは先行車両以外のものを示すと判定する。こうして、先行車両を示すと判定された水平エッジと先行車両以外のものを示すと判定された水平エッジとは、それぞれ区別できるよう水平エッジ記憶部１２に記憶される。
FIG. 13 shows a horizontal edge pattern having poor linearity in 2) above. FIG. 13A shows a captured image, and a mountain ridgeline 130 is projected beyond the preceding
図１３の（ｃ）は、先行車両以外のものを示すと判定されたエッジ１３５〜１３７を除外した後の水平エッジを示す２値化画像である。このような直線性の悪い水平エッジを示すものとして、たとえば樹木などの自然物、店の看板として使用される旗などが考えられ、上記のような処理を行うことにより、このような先行車両以外のものを示す水平エッジに基づいた先行車両の誤認識をなくすことができる。
(C) of FIG. 13 is a binarized image showing the horizontal edges after excluding the
図１４は、上記３）の傾きが大きい水平エッジのパターンを示す。図１４の（ａ）は撮像された画像を示し、先行車両４０のサイドに白線１４０が写し出されている。図１４の（ｂ）は、水平エッジ抽出部７により図１４の（ａ）の画像の処理領域３０に対して抽出された水平エッジの２値化画像を示す。この２値化画像には、先行車両４０を示すエッジだけでなく白線１４０を示すエッジ１４５および１４６が抽出されている。先行車両を示す水平エッジは水平方向に大きな傾きを持つことはないので、水平エッジ判定部１１は、このような傾きの大きいエッジ１４５および１４６は、先行車両以外のものを示すと判定する。水平エッジ判定部１１は、水平エッジを構成するエッジ点のｘおよびｙ座標を用いて最小二乗法による直線近似を行い、その傾きを調べ、傾きが予め決められた所定値以上であるならば、その水平エッジを先行車両以外のものを示すと判定する。こうして、先行車両を示すと判定された水平エッジと先行車両以外のものを示すと判定された水平エッジとは、それぞれ区別できるよう水平エッジ記憶部１２に記憶される。
FIG. 14 shows a horizontal edge pattern in which the inclination of 3) is large. FIG. 14A shows a captured image, and a white line 140 is projected on the side of the preceding
図１４の（ｃ）は、先行車両以外のものを示すと判定されたエッジ１４５および１４６を除外した後の水平エッジを示す２値化画像である。このような傾きの大きい水平エッジを示すものとして、たとえばガードレール、追い越し禁止車線、路側構造体などが考えられ、上記のような処理を行うことにより、このような先行車両以外のものを示す水平エッジに基づいた先行車両の誤認識をなくすことができる。
FIG. 14C is a binarized image showing the horizontal edges after excluding the
こうして、認識すべき対象物の予め設定された特徴に基づいて、水平エッジが認識すべき対象物を示すかどうか判定する。上記の１）〜３）の判定条件は、そのうちのいずれかを使用して判定してもよく、またはいくつかを併用して判定してもよい。さらに、認識すべき対象物の特徴を表すような新たな判定条件を加えて判定するようにしてもよい。上記の予め設定された特徴は、認識すべき対象物が何であるかに依存して、たとえば対象物の大きさ、形状、輪郭などの対象物の特徴に応じて変えることができる。 Thus, it is determined whether or not the horizontal edge indicates the object to be recognized based on the preset characteristics of the object to be recognized. The determination conditions of the above 1) to 3) may be determined using any of them, or may be determined using some of them together. Furthermore, the determination may be made by adding a new determination condition that represents the feature of the object to be recognized. The preset feature can be changed depending on the feature of the object, such as the size, shape, contour, etc. of the object, depending on what the object is to be recognized.
垂直エッジ判定部１３は、水平エッジ判定部１１によるものと同様の手法で、垂直エッジ抽出部９により抽出されたエッジが、先行車両を示すかどうか判定する。先行車両を示すと判定された垂直エッジと先行車両以外のものを示すと判定された垂直エッジとは、それぞれ区別できるよう垂直エッジ記憶部１４に記憶される。
The vertical
図１に戻り、対象物外形認識部１５は、水平エッジ記憶部１２および垂直エッジ記憶部１４にそれぞれ記憶された、対象物を示すと判定されたエッジに基づいて対象物の外形を認識する。この実施例では認識すべき対象物が先行車両である場合、画像に表されたときに対象物を箱形で近似することができ、したがって対象物の外形を上端、下端、左端および右端で認識する。
Returning to FIG. 1, the object
図１５に、対象物の外形を認識するフローチャートを示す。最初に、水平エッジ判定部１１により先行車両を示すと判定された水平エッジのヒストグラム、および垂直エッジ判定部１３により先行車両を示すと判定された垂直エッジのヒストグラムを算出する（ステップ１５１および１５３）。
FIG. 15 shows a flowchart for recognizing the outer shape of the object. First, a histogram of horizontal edges determined to indicate the preceding vehicle by the horizontal
図１６の（ａ）は、水平エッジ記憶部１２に記憶された、先行車両４０を示すと判定された水平エッジの２値化画像である。図１６の（ｂ）は、図１６の（ａ）に対応するヒストグラムであり、図のようにｙ軸を定め、処理領域３０内の水平エッジを構成するエッジ点のｙ座標ごとの数を表す。図１６の（ｃ）は、垂直エッジ記憶部１４に記憶された、先行車両４０を示すと判定された垂直エッジの２値化画像である。図１６の（ｄ）は、図１６の（ｃ）に対応するヒストグラムであり、図のようにｘ軸を定め、処理領域３０内の垂直エッジを構成するエッジ点のｘ座標ごとの数を表す。
FIG. 16A is a binarized image of a horizontal edge that is determined to indicate the preceding
対象物外形認識部１５は、図１６の（ｂ）の水平エッジヒストグラムに基づいて先行車両の上端および下端の位置を認識し（ステップ１５５）、図１６の（ｄ）の垂直エッジのヒストグラムに基づいて先行車両の左端および右端の位置を認識する（ステップ１５７）。この実施例では、所定値Ｐ１以上のエッジ点を持つ水平エッジで、かつ処理領域３０の上の境界線Ｙa1および下の境界線Ｙa2にそれぞれ最も近い水平エッジに対応するｙ座標値を、それぞれ先行車両の上端および下端の位置と認識する。図１６の（ｂ）のヒストグラムでは、先行車両の上端はＹ１により特定され、下端はＹ２により特定される。
The object outer
同様に、所定値Ｐ２以上のエッジ点を持つ垂直エッジで、かつ処理領域３０の左の境界線Ｘa1および右の境界線Ｘa2にそれぞれ最も近い垂直エッジに対応するｘ座標値を、それぞれ先行車両の左端および右端の位置と認識する。図１６の（ｄ）のヒストグラムでは、先行車両の左端はＸ１により特定され、右端はＸ２により特定される。こうして、図１７に示すように、先行車両４０の上端、下端、左端および右端の位置が認識され、先行車両の外形１００を認識することができる。
Similarly, x-coordinate values corresponding to the vertical edges having edge points equal to or greater than the predetermined value P2 and closest to the left boundary line Xa1 and the right boundary line Xa2 of the
他の実施例では、処理領域から水平エッジのみを抽出して対象物を示すかどうか判定し、対象物を示すと判定された水平エッジに基づいて、対象物の上端、下端、左端および右端の位置を認識することもできる。この場合、対象物の上端および下端の間にある、ヒストグラム上で最も長い水平エッジを選択し、その水平エッジの左端および右端に対応するｘ座標値をそれぞれ対象物の左端および右端の位置として認識することができる。対象物が先行車両の場合、比較的多くの水平エッジが抽出されるので、このようにして水平エッジのみから先行車両の外形を認識することもできる。 In another embodiment, it is determined whether only the horizontal edge is extracted from the processing region to indicate the object, and the top edge, the bottom edge, the left edge, and the right edge of the object are determined based on the horizontal edge determined to indicate the object. The position can also be recognized. In this case, the longest horizontal edge on the histogram that is between the upper and lower ends of the object is selected, and the x coordinate values corresponding to the left and right edges of the horizontal edge are recognized as the positions of the left and right ends of the object, respectively. can do. When the object is a preceding vehicle, a relatively large number of horizontal edges are extracted, and thus the outer shape of the preceding vehicle can be recognized from only the horizontal edges.
図１に戻り、対象物情報出力部１７は、対象物外形認識部１５により認識された対象物の外形情報（対象物の上端、下端、左端および右端の位置）を車両走行制御装置１９に出力する。車両走行制御装置１９は、受け取ったこれらの情報に基づいて自車両の走行制御を行う。たとえば、先行車両までの車間距離が適切であるよう自車両を制御したり、先行車両との車間距離がある所定値以下になった場合には運転者に音声やアラームで警告を発したり、自車両のエンジンを制御して強制的に減速させたりなどの制御をすることができる。
Returning to FIG. 1, the object
図１８は、この発明の別の実施形態を示す。図１と同じ参照番号は、同じ構成要素を意味する。この実施形態によると、水平エッジ抽出部７が水平エッジを抽出し、水平エッジ判定部１１が、抽出された水平エッジについて対象物を示すかどうか判定し、対象物を示すと判定された水平エッジに基づいて対象物の上端および下端を認識する。その後、垂直方向処理領域限定部６が、認識された上端および下端により、処理領域設定部５で設定された処理領域を垂直方向にさらに限定する。このさらに限定された処理領域について、垂直エッジ抽出部９は垂直エッジを抽出し、垂直エッジ判定部１３は垂直エッジが対象物を示すかどうか判定する。このように、対象物認識処理の途中で処理領域を垂直方向にさらに限定することにより、さらに小さい領域について垂直エッジの抽出および判定を行うようになるので、さらに高速に対象物認識処理を行うことができる。なお、この実施形態において、エッジの抽出および判定、対象物の上下左右端の認識は、前述した実施形態におけるものと同様の手法で行われる。
FIG. 18 shows another embodiment of the present invention. The same reference numerals as in FIG. 1 mean the same components. According to this embodiment, the horizontal edge extraction unit 7 extracts a horizontal edge, and the horizontal
図１に示した処理領域設定部５、水平エッジ抽出部７、垂直エッジ抽出部９、水平エッジ判定部１１、垂直エッジ判定部１３、水平エッジ記憶部１２、垂直エッジ記憶部１４、対象物外形認識部１５、対象物情報出力部１７、車両走行制御装置１９、画像記憶部２および対象物位置記憶部４は、中央演算処理装置（ＣＰＵ）、制御プログラムおよび制御データを格納する読み出し専用メモリ、ＣＰＵの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ（ＲＡＭ）で構成することができる。画像記憶部２、対象物位置記憶部４、水平エッジ記憶部１２および垂直エッジ記憶部１４は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じＲＡＭの一部分を使用して実現することができる。
The processing
また、この発明の対象物認識装置をエンジンの電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵその他のＥＣＵとＬＡＮ接続して対象物認識装置からの出力を車両の全体的な制御に利用することができる。 Further, the object recognition device of the present invention can be LAN-connected to an engine electronic control unit (ECU), a brake control ECU and other ECUs, and the output from the object recognition device can be used for overall control of the vehicle. .
１ 撮像装置
３ 対象物位置特定部
５ 処理領域設定部
７，９ エッジ抽出部
１１，１３ エッジ判定部
１５ 対象物外形認識部
３０ 処理領域
４０ 先行車両
DESCRIPTION OF
Claims (2)
前記車両の先行車の位置を特定する対象物位置特定手段と、
前記車両の前方を撮像する撮像装置と、
前記特定された先行車の位置および予め決められた認識すべき先行車の大きさに基づいて、前記撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、
前記処理領域に含まれる画素の輝度値に基づいて、前記処理領域から、エッジを抽出するエッジ抽出手段と、
前記抽出されたエッジのそれぞれが、先行車を示すかどうか判定するエッジ判定手段と、
前記先行車を示すと判定されたエッジに基づいて、該先行車の外形を認識する対象物認識手段と、を備え、
前記エッジ判定手段は、さらに、
前記抽出されたエッジのそれぞれについて、該エッジを構成する点が、該エッジの抽出された方向とは垂直な方向に所定値以上にわたって分散しているかどうかを調べ、該所定値以上にわたって分散しているならば、該エッジの抽出された方向における直線性が悪いと判断し、該直線性が悪いと判断したならば、該エッジを、前記先行車を示すエッジではないと判定すると共に、
前記抽出されたエッジのそれぞれについて、該エッジが前記処理領域の境界線上の画素を含むかどうかを判断し、該エッジが前記処理領域の境界線上の画素を含むと判断したならば、該エッジが該境界線を横切っているために該エッジを該先行車を示すエッジではないと判定し、該エッジが前記処理領域の境界線上の画素を含まないと判断したならば、該エッジを、該先行車を示すエッジと判定する、
対象物認識装置。 An object recognition device mounted on a vehicle,
Object position specifying means for specifying the position of the preceding vehicle of the vehicle;
An imaging device for imaging the front of the vehicle;
A processing region setting means for setting a processing region on an image obtained by the imaging device based on the position of the identified preceding vehicle and a predetermined size of the preceding vehicle to be recognized;
Edge extraction means for extracting an edge from the processing region based on a luminance value of a pixel included in the processing region;
Edge determination means for determining whether each of the extracted edges indicates a preceding vehicle;
Object recognition means for recognizing the outer shape of the preceding vehicle based on the edge determined to indicate the preceding vehicle,
The edge determination means further includes
For each of the extracted edges, it is checked whether or not the points constituting the edge are dispersed over a predetermined value in a direction perpendicular to the direction in which the edge is extracted. if there, judges that poor linearity in the extracted direction of the edge, if it is determined that the poor straight line resistance, the edge, with is not the very edge indicates the preceding vehicle,
For each of the extracted edges, it is determined whether the edge includes a pixel on the boundary of the processing region, and if it is determined that the edge includes a pixel on the boundary of the processing region, the edge If it is determined that the edge is not an edge indicating the preceding vehicle because it crosses the boundary line, and it is determined that the edge does not include a pixel on the boundary line of the processing area, the edge is It is determined as an edge indicating a car.
Object recognition device.
請求項１に記載の対象物認識装置。 The object recognition means recognizes the outer shape of the preceding vehicle by recognizing the positions of the upper end, the lower end, the left end and the right end of the preceding vehicle based on the edge determined to indicate the preceding vehicle.
The object recognition apparatus according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008143395A JP4580005B2 (en) | 2008-05-30 | 2008-05-30 | Object recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008143395A JP4580005B2 (en) | 2008-05-30 | 2008-05-30 | Object recognition device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31433199A Division JP2001134772A (en) | 1999-11-04 | 1999-11-04 | Object recognizing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008293504A JP2008293504A (en) | 2008-12-04 |
| JP4580005B2 true JP4580005B2 (en) | 2010-11-10 |
Family
ID=40168102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008143395A Expired - Fee Related JP4580005B2 (en) | 2008-05-30 | 2008-05-30 | Object recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4580005B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012014972A1 (en) * | 2010-07-30 | 2012-02-02 | 国立大学法人九州工業大学 | Vehicle behavior analysis device and vehicle behavior analysis program |
| JP6163453B2 (en) | 2014-05-19 | 2017-07-12 | 本田技研工業株式会社 | Object detection device, driving support device, object detection method, and object detection program |
| JP2016148883A (en) * | 2015-02-10 | 2016-08-18 | オムロン株式会社 | Image processor, vehicle dimension calculation method, and vehicle dimension calculation program |
| CN112351247A (en) * | 2020-10-16 | 2021-02-09 | 国电大渡河枕头坝发电有限公司 | Electro-optical flash detection method in hydraulic power plant based on image processing |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3157958B2 (en) * | 1993-07-13 | 2001-04-23 | ダイハツ工業株式会社 | Leading vehicle recognition method |
| JP3399104B2 (en) * | 1994-07-27 | 2003-04-21 | 日産自動車株式会社 | Leading vehicle detection device and approach warning device |
| JP3549637B2 (en) * | 1994-08-22 | 2004-08-04 | 松下電器産業株式会社 | Edge line measurement method |
| JPH08315117A (en) * | 1995-05-18 | 1996-11-29 | Hitachi Ltd | Image processor |
| JPH09264954A (en) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | Image processing system using radar |
-
2008
- 2008-05-30 JP JP2008143395A patent/JP4580005B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008293504A (en) | 2008-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4205825B2 (en) | Object recognition device | |
| JP6519262B2 (en) | Three-dimensional object detection device, three-dimensional object detection method, three-dimensional object detection program, and mobile device control system | |
| JP4391624B2 (en) | Object recognition device | |
| JP6550881B2 (en) | Three-dimensional object detection device, three-dimensional object detection method, three-dimensional object detection program, and mobile device control system | |
| JP2001134772A (en) | Object recognizing device | |
| JP2001134769A (en) | Object recognizing device | |
| JP4650079B2 (en) | Object detection apparatus and method | |
| JP6662388B2 (en) | Image processing device, imaging device, device control system, distribution data generation method, and program | |
| JP4118452B2 (en) | Object recognition device | |
| KR100317790B1 (en) | Lane area extractor and method thereof | |
| JP5820774B2 (en) | Road boundary estimation apparatus and program | |
| KR100741739B1 (en) | Device for detecting road traveling lane | |
| CN108363065A (en) | Object detecting system | |
| US9099005B2 (en) | Environment recognition device and environment recognition method | |
| EP3832529A1 (en) | Detection of obstacles at night by analysis of shadows | |
| US11064177B2 (en) | Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and recording medium | |
| JP6150164B2 (en) | Information detection apparatus, mobile device control system, mobile object, and information detection program | |
| JP2007293627A (en) | Periphery monitoring device for vehicle, vehicle, periphery monitoring method for vehicle and periphery monitoring program for vehicle | |
| JP2009053818A (en) | Image processor and method thereof | |
| JP2001052171A (en) | Surrounding environment recognizing device | |
| JPWO2017145634A1 (en) | Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and program | |
| JP4580005B2 (en) | Object recognition device | |
| JP2009245042A (en) | Traffic flow measurement device and program | |
| JP4340000B2 (en) | Object recognition device | |
| KR101738034B1 (en) | Improved method of lane recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100715 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100824 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100826 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140903 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |