JP5959245B2 - Lane mark detection device and lane mark reliability calculation method - Google Patents
Lane mark detection device and lane mark reliability calculation method Download PDFInfo
- Publication number
- JP5959245B2 JP5959245B2 JP2012057155A JP2012057155A JP5959245B2 JP 5959245 B2 JP5959245 B2 JP 5959245B2 JP 2012057155 A JP2012057155 A JP 2012057155A JP 2012057155 A JP2012057155 A JP 2012057155A JP 5959245 B2 JP5959245 B2 JP 5959245B2
- Authority
- JP
- Japan
- Prior art keywords
- lane mark
- evaluation value
- distance
- calculation unit
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、レーンマーク検出装置およびレーンマークの信頼度算出方法に関し、特に、カメラにより撮影された画像の処理によって路上のレーンマークを検出する装置に用いて好適なものである。 The present invention relates to a lane mark detection apparatus and a lane mark reliability calculation method, and is particularly suitable for use in an apparatus that detects a lane mark on a road by processing an image photographed by a camera.
従来、カメラにより撮影された画像の処理によって路上のレーンマーク（車線境界線）を検出するレーンマーク検出装置およびこれを用いた車線逸脱警報装置が提供されている。この種のレーンマーク検出装置では一般的に、撮影画像の中から画像処理によってレーンマーク候補を抽出し、抽出したレーンマーク候補の中から信頼度が高いものをレーンマークとして検出するようになされている（例えば、特許文献１〜４参照）。
2. Description of the Related Art Conventionally, a lane mark detection device that detects a lane mark (lane boundary line) on a road by processing an image photographed by a camera, and a lane departure warning device using the same are provided. In this type of lane mark detection apparatus, generally, lane mark candidates are extracted from captured images by image processing, and the extracted lane mark candidates having high reliability are detected as lane marks. (For example, see
特許文献１に記載の技術では、画像から抽出した±エッジ点（レーンの両側に持つ符号の異なるエッジ点）より成る直線が平行で、直線の傾きが所定範囲内である場合に、白線検出成功と判断している。特許文献２に記載の技術では、エッジ画像から抽出した縦エッジの連続長さが破線レーンマークを構成する複数の白線部分の長さに相当する範囲内であって、連続した横エッジと繋がっている場合に、破線レーンマークであると判断している。
In the technique described in
特許文献３に記載の技術では、白線候補点の数、白線候補点を検出する際に用いたエッジ画像の極大値および極小値の強度、白線候補周囲の輝度のコントラストなどから確信度を算出し、確信度が高いものを白線として検出している。特許文献４に記載の技術では、撮影した画像から認識したレーンマークに基づいて画像を複数のエリアに分割し、分割されたエリア毎にレーンマークの信頼度を算出し、エリア別信頼度情報を出力するようにしている。
In the technique described in
以上のようなレーンマーク検出装置を用いた車線逸脱警報装置では、レーンマーク検出装置により検出されたレーンマークを跨いで車両が車線から逸脱するおそれがある場合に、警報を発するようになされている。従来、この警報を適切に行うために、レーンマークを確実かつ正確に検出することが求められている。 In the lane departure warning device using the lane mark detection device as described above, a warning is issued when the vehicle may depart from the lane across the lane mark detected by the lane mark detection device. . Conventionally, in order to perform this warning appropriately, it is required to detect the lane mark reliably and accurately.
上記特許文献１〜３に記載の技術では、撮影画像内から抽出した被写体がレーンマークの形状をしているか否か、周囲との輝度のコントラストが大きいか否かを判定しているため、形状やコントラストに関する信頼度は高くなる。これにより、形状やコントラストに関して信頼度が高い部分を画像内からレーンマークとして検出することが可能である。
In the techniques described in
しかしながら、特にカメラからの撮影距離（被写界距離）が長くなる画像エリアでは、画像内に写っているレーンマークの先端が路面のノイズと連結したり、レーンマークの一部がボケて周囲の風景と連結したりして、レーンマークの一部が変形していることがある。この場合、形状やコントラストに関する信頼度が高いためにレーンマークとして検出はされるものの、一部が変形しているために検出位置の精度が低下してしまう。形状等の信頼度は高いが検出位置の精度が低いレーンマークは、誤警報の原因になりやすいという問題があった。 However, especially in an image area where the shooting distance (field distance) from the camera becomes long, the leading edge of the lane mark in the image is connected to the noise on the road surface, or part of the lane mark is blurred and the surrounding area Part of the lane mark may be deformed due to the connection with the scenery. In this case, although it is detected as a lane mark because the reliability regarding the shape and contrast is high, the accuracy of the detection position is lowered because a part of the mark is deformed. A lane mark having a high reliability such as a shape but a low accuracy of a detection position has a problem that it easily causes a false alarm.
なお、上記特許文献４に記載の技術では、撮影画像を複数のエリアに分割し、分割されたエリア毎にレーンマークの信頼度を算出している。そのため、被写界距離が長いエリアと、被写界距離が短いエリアとで、レーンマークの信頼度を変えることが可能である。しかしながら、同じエリア内では同じ信頼度になるため、同じエリア内に写っている画像については被写界距離の影響を考慮することができない。
In the technique described in
仮に、特許文献４に記載の技術を用いて信頼度の精度を上げるためには、分割するエリアの数を多くしなければならなくなる。しかしながら、エリアの数を多くすると、信頼度の計算が煩雑となり、計算負荷が大きくなってしまうという問題が生じる。また、分割したエリアで信頼度を区分すると、エリアの境界線付近で不具合が生じやすくなる。すなわち、境界線を跨いでレーンマークが写っていると、同じレーンマークであっても、どちらのエリアに写っている部分かによって信頼度が大きく変わってしまうという問題が生じる。
To increase the accuracy of reliability using the technique described in
本発明は、このような問題を解決するために成されたものであり、計算負荷を大きくすることなく、レーンマークの位置精度も考慮した信頼度を算出し、車線逸脱の誤警報を抑制できるようにすることを目的とする。 The present invention has been made to solve such a problem, and without increasing the calculation load, can calculate the reliability considering the positional accuracy of the lane mark, and can suppress false alarms of lane departure. The purpose is to do so.
上記した課題を解決するために、本発明では、撮影画像に写っている被写体がレーンマークの形状をしているか否かに関する形状の評価値を算出するとともに、撮像装置からどの程度の距離に存在するかに関する距離の評価値を算出し、形状の評価値および距離の評価値に基づいて、被写体がレーンマークであるか否かの信頼度を算出するようにしている。距離の評価値を算出するに際して、本発明では、撮影画像を水平方向に１ラインずつスキャンしていったときに周囲との輝度差が大きくなる水平部分をスライスとして抽出し、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする。そして、グルーピングされたグループ内での複数のスライスの数に関する評価値を算出する。また、撮影画像をＸ軸方向およびＹ軸方向の２次元平面とし、撮像装置から被写体のエッジまでのＸ軸方向の距離の評価値を算出し、撮像装置から被写体のエッジまでのＹ軸方向の距離の評価値を算出するようにしている。 In order to solve the above-described problems, the present invention calculates an evaluation value of a shape related to whether or not a subject shown in a captured image has a shape of a lane mark, and at what distance from the imaging device. A distance evaluation value regarding whether or not the subject is to be calculated is calculated, and a reliability of whether or not the subject is a lane mark is calculated based on the shape evaluation value and the distance evaluation value. In calculating the distance evaluation value, according to the present invention, when a captured image is scanned line by line in the horizontal direction, a horizontal portion where the luminance difference from the surroundings is large is extracted as a slice and adjacent in the vertical direction. A plurality of slices in which at least some of the horizontal coordinate values overlap between slices are grouped. Then, an evaluation value relating to the number of slices in the grouped group is calculated. The captured image is a two-dimensional plane in the X-axis direction and the Y-axis direction, and an evaluation value of the distance in the X-axis direction from the imaging device to the subject edge is calculated, and the Y-axis direction distance from the imaging device to the subject edge is calculated. A distance evaluation value is calculated.
さらに、本発明では、上述のようにした算出した信頼度に基づいてレーンマーク候補を抽出し、当該抽出したレーンマーク候補の位置と、過去に検出されたレーンマークの位置から推定された今回のレーンマークの位置と、レーンマーク候補について算出された信頼度とに基づいて、レーンマークの推定位置またはレーンマーク候補の位置を補正し、当該補正位置をレーンマークの位置として検出するようにしている。 Further, in the present invention, lane mark candidates are extracted based on the calculated reliability as described above, and the current lane mark candidate estimated from the position of the extracted lane mark candidate and the previously detected lane mark position is used. The estimated position of the lane mark or the position of the lane mark candidate is corrected based on the position of the lane mark and the reliability calculated for the lane mark candidate, and the corrected position is detected as the position of the lane mark. .
上記のように構成した本発明によれば、レーンマークの形状に関する評価値に加え、撮像装置からレーンマークまでの距離に関する評価値に基づいて信頼度が算出されるので、レーンマークの検出位置精度に影響を与える要因となる被写界距離に応じた信頼度を算出することができる。しかも、本発明では、撮影画像を領域分割して領域毎に信頼度を変える方式ではなく、レーンマークの被写界距離をダイレクトに評価する方式なので、信頼度の計算負荷が小さくて済む。このように、本発明によれば、計算負荷を大きくすることなく、レーンマークの位置精度も考慮した信頼度を算出することができる。 According to the present invention configured as described above, the reliability is calculated based on the evaluation value related to the distance from the imaging device to the lane mark in addition to the evaluation value related to the shape of the lane mark. It is possible to calculate the reliability according to the object distance that is a factor affecting the image quality. In addition, the present invention is not a method of dividing the captured image into regions and changing the reliability for each region, but a method of directly evaluating the field distance of the lane mark, so that the reliability calculation load can be reduced. As described above, according to the present invention, it is possible to calculate the reliability considering the position accuracy of the lane mark without increasing the calculation load.
また、本発明によれば、上述のようにレーンマークの位置精度を考慮して算出された信頼度に基づいてレーンマーク候補が抽出されるだけでなく、レーンマークの推定位置が、レーンマーク候補の位置およびその信頼度との関係を考慮してより適正な位置に補正されることとなる。あるいは、レーンマーク候補の位置が、レーンマークの推定位置およびレーンマーク候補の信頼度との関係を考慮してより適正な位置に補正されることとなる。そして、補正された位置でレーンマークが検出されることとなるので、より適正な位置でレーンマークを検出することができ、車線逸脱の誤警報を抑制することができる。 Further, according to the present invention, not only lane mark candidates are extracted based on the reliability calculated in consideration of the position accuracy of the lane marks as described above, but also the estimated lane mark position is determined as the lane mark candidate. The position is corrected to a more appropriate position in consideration of the relationship between the position and its reliability. Alternatively, the position of the lane mark candidate is corrected to a more appropriate position in consideration of the relationship between the estimated position of the lane mark and the reliability of the lane mark candidate. Since the lane mark is detected at the corrected position, the lane mark can be detected at a more appropriate position, and a false alarm of lane departure can be suppressed.
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるレーンマーク検出装置１００の機能構成例を示すブロック図である。図１に示すように、本実施形態のレーンマーク検出装置１００は、カメラ等の撮像装置２００に接続されている。撮像装置２００は、例えば、車両の後方に設置されたリアカメラである。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a functional configuration example of a lane
レーンマーク検出装置１００は、その機能構成として、レーンマーク候補抽出部１、レーンマーク検出部２およびレーンマーク位置推定部３を備えている。なお、これらの各機能ブロック１〜３は、ハードウェア構成、ＤＳＰ、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、上記各機能ブロック１〜３は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。
The lane
図２は、本実施形態によるレーンマーク候補抽出部１の機能構成例を示すブロック図である。図２に示すように、本実施形態のレーンマーク候補抽出部１は、
その機能構成として、線分抽出部１０、形状評価値算出部１１、距離評価値算出部１２および信頼度算出部１３を備えている。また、形状評価値算出部１１は、その更に具体的な機能構成として、直線性評価値算出部１１１、平行性評価値算出部１１２および縦横比評価値算出部１１３を備えている。また、距離評価値算出部１２は、その更に具体的な機能構成として、スライス数評価値算出部１２１、Ｘ軸方向距離評価値算出部１２２およびＹ軸方向距離評価値算出部１２３を備えている。
FIG. 2 is a block diagram illustrating a functional configuration example of the lane mark
As its functional configuration, a line
図１において、レーンマーク候補抽出部１は、撮像装置２００より入力される撮影画像内からレーンマーク候補を抽出する。レーンマーク候補とは、撮影画像内に写っている被写体の輝度の違いや形状等をもとに、レーンマークの可能性がある部分として特定されるものである。なお、レーンマーク候補の抽出処理に関する詳細は後述する。
In FIG. 1, a lane mark
レーンマーク検出部２は、撮影画像内に検索範囲を設定し、設定した検索範囲の中にあるレーンマーク候補からレーンマークを検出する。レーンマークを検出する際に、レーンマーク検出部２は、レーンマーク位置推定部３により推定されたレーンマークの位置と、レーンマーク候補抽出部１により抽出されたレーンマーク候補の位置と、レーンマーク候補抽出部１によりレーンマーク候補について算出された信頼度とに基づいて、レーンマークの推定位置を補正し、当該補正した位置をレーンマークの位置として検出する。なお、このレーンマーク検出部２によるレーンマーク検出処理についても、その詳細は後述する。
The lane
レーンマーク位置推定部３は、レーンマーク検出部２により過去に検出されたレーンマークの位置から今回のレーンマークの位置を推定する。本実施形態において、レーンマーク位置推定部３は、レーンマーク検出部２による過去のレーンマークの検出結果に基づいて、レーンマークの横方向に対する単位時間当たりの移動量（Ｙ軸方向の移動速度）を算出する。そして、当該算出したレーンマークの単位時間当たりの移動量と、レーンマーク検出部２により検出された過去のレーンマークの位置とに基づいて、次の単位時間後におけるレーンマーク位置を推定する。
The lane mark
図３は、本実施形態によるレーンマーク位置推定部３の動作の概略を説明するための図である。図３（ａ）は、ある時間ｔにおいて撮影画像内から検出されたレーンマークの位置を示す。時間ｔにおける車両中心から左レーンマークまでの距離をＤＬｔ、車両中心から右レーンマークまでの距離をＤＲｔとする。本実施形態では、レーンマークの位置を、車両中心からの距離で表すものとする。
FIG. 3 is a diagram for explaining the outline of the operation of the lane mark
図３（ｂ）は、次の単位時間後における時間ｔ＋ｄ（ｄ：単位時間）において撮影画像内から検出されたレーンマークの位置（車両中心からの距離）を示す。時間ｔ＋ｄにおける車両中心から左レーンマークまでの距離をＤＬｔ＋ｄ、車両中心から右レーンマークまでの距離をＤＲｔ＋ｄとする。図３（ｃ）は、更に次の単位時間後における時間ｔ＋２ｄにおいて撮影画像内から検出されるレーンマークの位置を示す。 FIG. 3B shows the position of the lane mark (distance from the vehicle center) detected from the captured image at time t + d (d: unit time) after the next unit time. The distance from the vehicle center to the left lane mark at time t + d is D Lt + d , and the distance from the vehicle center to the right lane mark is D Rt + d . FIG. 3C shows the position of the lane mark detected from the captured image at time t + 2d after the next unit time.
レーンマーク位置推定部３は、時間ｔ＋２ｄにおいてレーンマークを検出する際に、レーンマーク検出部２により時間ｔにおいて検出されたレーンマークの位置ＤＬｔ，ＤＲｔと、時間ｔ＋ｄにおいて検出されたレーンマークの位置ＤＬｔ＋ｄ，ＤＲｔ＋ｄとに基づいて、レーンマークの横方向に対する単位時間当たりの移動量を算出する。この場合、左レーンマークの単位時間当たりの移動量は、車両が左レーンマークに近づく方向に（ＤＬｔ−ＤＬｔ＋ｄ）／｛（ｔ＋ｄ）−ｔ｝である。一方、右レーンマークの単位時間当たりの移動量は、車両が右レーンマークから遠ざかる方向に（ＤＲｔ＋ｄ−ＤＲｔ）／｛（ｔ＋ｄ）−ｔ｝である。
When the lane mark
レーンマーク位置推定部３は、レーンマーク検出部２により時間ｔ＋ｄにおいて検出されたレーンマークの位置ＤＬｔ＋ｄ，ＤＲｔ＋ｄと、時間ｔ＋２ｄにおいて算出されたレーンマークの単位時間当たりの移動量（ＤＬｔ−ＤＬｔ＋ｄ）／｛（ｔ＋ｄ）−ｔ｝，（ＤＲｔ＋ｄ−ＤＲｔ）／｛（ｔ＋ｄ）−ｔ｝とに基づいて、時間ｔ＋２ｄにおけるレーンマーク位置を推定する。
The lane mark
具体的には、時間ｔ＋ｄにおいて検出された左レーンマークの位置ＤＬｔ＋ｄから、左レーンマークの単位時間当たりの移動距離（ＤＬｔ−ＤＬｔ＋ｄ）／｛（ｔ＋ｄ）−ｔ｝×ｄを減算することにより得られる位置を、時間ｔ＋２ｄにおける左レーンマークの推定位置とする。また、時間ｔ＋ｄにおいて検出された右レーンマークの位置ＤＲｔ＋ｄに、右レーンマークの単位時間当たりの移動距離（ＤＲｔ＋ｄ−ＤＲｔ）／｛（ｔ＋ｄ）−ｔ｝×ｄを加算することにより得られる位置を、時間ｔ＋２ｄにおける右レーンマークの推定位置とする。図３（ｃ）において、２１Ｌが左レーンマークの推定位置、２１Ｒが右レーンマークの推定位置である。 Specifically, the movement distance per unit time of the left lane mark (D Lt −D Lt + d ) / {(t + d) −t} × d is subtracted from the position D Lt + d of the left lane mark detected at time t + d. The position obtained by this is the estimated position of the left lane mark at time t + 2d. Further, the movement distance per unit time of the right lane mark (D Rt + d −D Rt ) / {(t + d) −t} × d is added to the position D Rt + d of the right lane mark detected at time t + d. This position is the estimated position of the right lane mark at time t + 2d. In FIG. 3C, 21 L is the estimated position of the left lane mark, and 21 R is the estimated position of the right lane mark.
以下に、図２に示したレーンマーク候補抽出部１の機能構成を具体的に説明していく。まず、線分抽出部１０は、撮像装置２００より入力された撮影画像から、グレースケールの輝度画像を生成する。そして、線分抽出部１０は、図４に示すように、輝度画像を水平方向にスキャンして、閾値以上の輝度が一定間隔続く水平部分をラインとして取り出す。これを撮影画像の全体に対して行う。なお、取り出したラインの１つ１つを「スライス」という。
The functional configuration of the lane mark
次に、線分抽出部１０は、図５に示すように、取り出した各スライスに対して、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする。図５に示す例では、撮影画像内からスライスの３つのグループ１〜３が抽出されている。
Next, as shown in FIG. 5, the line
さらに、線分抽出部１０は、図６に示すように、各グループ１〜３のスライスを３次元座標の路面（Ｚ＝０）に投影した後、各スライスの中点から、最小２乗法でレーンマーク候補となる線分の直線式Ｙ＝ａＸ＋ｂ（Ｚ＝０）を抽出する。ここで、ａは線分の傾き、ｂは線分のＹ切片である。なお、３次元座標の路面への投影とは、撮像装置２００より入力した撮影画像を、車両上方の仮想視点から見た真上からの画像に視点変換することをいう。３次元座標の原点は、車両中心の位置である。また、Ｘ軸において車両の前方がプラス、Ｙ軸において車両の左側がプラスで右側がマイナスである。
Further, as shown in FIG. 6, the line
スライスのグループ１から抽出される線分の直線式はＹ＝ａ１Ｘ＋ｂ１、グループ２から抽出される線分の直線式はＹ＝ａ２Ｘ＋ｂ２、グループ３から抽出される線分の直線式はＹ＝ａ３Ｘ＋ｂ３である。
The line expression extracted from
ここで、線分抽出部１０は、以上のように各グループ１〜３について算出した線分の直線式のうち、傾きａおよびＹ切片ｂの値がある範囲内に入る複数の直線式がある場合は、それらの直線式に該当するグループを１つにまとめる。図６の例では、グループ２とグループ３を１つのグループにまとめている。そして、線分抽出部１０は、１つにまとめたグループについて、その中に含まれる各スライスの情報から１本の線分を再度抽出する。その結果、まとめた線分の直線式はＹ＝ａ４Ｘ＋ｂ４となる。
Here, the line
線分抽出部１０は、各スライスの中点から線分を抽出したのと同様に、各スライスの左端および右端についても最小２乗法により線分をそれぞれ抽出する。これにより、スライスの中点から抽出した線分と平行な線分を両側に引き、スライスの幅を算出する。図６の例では、グループ１の線分Ｙ＝ａ１Ｘ＋ｂ１についてスライス幅を算出するとともに、グループ２，３をまとめた１つのグループの線分Ｙ＝ａ４Ｘ＋ｂ４についてスライス幅を算出する。
The line
形状評価値算出部１１、距離評価値算出部１２および信頼度算出部１３は、以上のようにして線分抽出部１０により抽出された各線分について、レーンマークとしての確からしさを示す信頼度を算出する。信頼度の算出に際して、形状評価値算出部１１は、撮像装置２００より入力される撮影画像に写っている被写体（線分抽出部１０によりレーンマーク候補として抽出された線分）がレーンマークの形状をしているか否かに関する形状評価値を算出する。具体的には、直線性評価値算出部１１１、平行性評価値算出部１１２および縦横比評価値算出部１１３により、３つの観点から形状評価値を算出する。
The shape evaluation
直線性評価値算出部１１１は、線分抽出部１０により抽出された線分の直線性に関する評価値を算出する。具体的には、図６のように求めた線分の直線式Ｙ＝ａＸ＋ｂと各スライスの中点とのずれの大きさから線分の直線性を評価する。その直線性評価値MatchingValueは、例えば以下の算出式で求められ、０．０〜１．０の何れかの値をとる。
The linearity evaluation value calculation unit 111 calculates an evaluation value related to the linearity of the line segment extracted by the line
MatchingValue＝1.0−Diffrence／MaxDiffrence
ただし、
Diffrence：直線式と各スライスの中点との距離の平均値
MaxDiffrence：距離誤差の閾値
平行性評価値算出部１１２は、線分抽出部１０により抽出された線分の両側のエッジの平行性に関する評価値を算出する。具体的には、図６に示したように各スライスの左端および右端から最小２乗法により抽出した２本の線分の平行性を評価する。その平行性評価値EdgeMatchValueは、例えば以下の算出式で求められ、これも０．０〜１．０の何れかの値をとる。
MatchingValue = 1.0−Diffrence / MaxDiffrence
However,
Diffrence: Average distance between the straight line expression and the midpoint of each slice
MaxDiffrence: distance error threshold The parallelism evaluation value calculation unit 112 calculates an evaluation value related to the parallelism of the edges on both sides of the line segment extracted by the line
EdgeMatchValue＝EdgeDiffrence／MaxEdgeDiffrence
ただし、
EdgeDiffrence：２本の線分の傾きの差
MaxEdgeDiffrence：各スライスの左端および右端の差の最大値
縦横比評価値算出部１１３は、線分抽出部１０により抽出された線分の縦方向の長さと横方向の長さとの比に関する評価値を算出する。具体的には、図７に示すように、抽出された線分の縦方向（Ｘ軸方向）の上端から下端までの長さと、横方向（Ｙ軸方向）の左端から右端までの長さとの比を評価する。その縦横比評価値AspectMatchValueは、例えば以下の算出式で求められ、これも０．０〜１．０の何れかの値をとる。
EdgeMatchValue = EdgeDiffrence / MaxEdgeDiffrence
However,
EdgeDiffrence: Difference in slope of two line segments
MaxEdgeDiffrence: Maximum value of the difference between the left end and the right end of each slice The aspect ratio evaluation
AspectMatchValue＝（AspectRato−MinAspectRatio）／（MaxAspectRatio−MinAspectRatio）−1.0
ただし、
AspectRato：線分の縦横比
MaxAspectRatio：撮影画像内から抽出された各線分に関する縦横比の最大値
MinAspectRatio：撮影画像内から抽出された各線分に関する縦横比の最小値
形状評価値算出部１１は、直線性評価値算出部１１１、平行性評価値算出部１１２および縦横比評価値算出部１１３により算出された３つの観点の評価値を用いて、以下の算出式により形状評価値を算出する。
AspectMatchValue = (AspectRato−MinAspectRatio) / (MaxAspectRatio−MinAspectRatio) −1.0
However,
AspectRato: Aspect ratio of line segment
MaxAspectRatio: Maximum aspect ratio for each line segment extracted from the captured image
MinAspectRatio: Minimum value of aspect ratio for each line segment extracted from the captured image The shape evaluation
形状評価値＝（直線性評価値＋平行性評価値＋縦横比評価値）／３
距離評価値算出部１２は、撮像装置２００より入力される撮影画像に写っている被写体（線分抽出部１０によりレーンマーク候補として抽出された線分）が撮像装置２００からどの程度の距離に存在するかに関する距離評価値を算出する。具体的には、スライス数評価値算出部１２１、Ｘ軸方向距離評価値算出部１２２およびＹ軸方向距離評価値算出部１２３により、３つの観点から距離評価値を算出する。
Shape evaluation value = (Linearity evaluation value + Parallelity evaluation value + Aspect ratio evaluation value) / 3
The distance evaluation
スライス数評価値算出部１２１は、線分に含まれるスライスの数に関する評価値を算出する。具体的には、スライス数評価値算出部１２１は、例えば以下の算出式でスライス数評価値SliceNumMatchValueを算出する。このスライス数評価値SliceNumMatchValueも、０．０〜１．０の何れかの値をとる。
The slice number evaluation
SliceNumMatchValue＝SliceNum／MaxSliceNum×100
ただし、
SliceNum：スライス数
MaxSliceNum：撮影画像内から抽出された各線分に関するスライス数の最大値
Ｘ軸方向距離評価値算出部１２２は、図８に示すように、撮像装置２００から線分のエッジまでのＸ軸方向の距離の評価値を算出する。具体的には、Ｘ軸方向距離評価値算出部１２２は、例えば以下の算出式でＸ軸方向距離評価値DistXMatchValueを算出する。このＸ軸方向距離評価値DistXMatchValueも、０．０〜１．０の何れかの値をとる。
SliceNumMatchValue = SliceNum / MaxSliceNum × 100
However,
SliceNum: Number of slices
MaxSliceNum: Maximum value of the number of slices for each line segment extracted from the captured image As shown in FIG. 8, the X-axis direction distance evaluation
DistXMatchValue＝（MaxDistX−DistX）／MaxDistX
ただし、
DistX ：撮像装置２００から線分のエッジまでのＸ軸方向の距離
MaxDistX：撮像装置２００から線分のエッジまでのＸ軸方向の距離の限界値
Ｙ軸方向距離評価値算出部１２３は、図９に示すように、撮像装置２００から線分のエッジまでのＹ軸方向の距離の評価値を算出する。具体的には、Ｙ軸方向距離評価値算出部１２３は、例えば以下の算出式でＹ軸方向距離評価値DistYMatchValueを算出する。このＹ軸方向距離評価値DistYMatchValueも、０．０〜１．０の何れかの値をとる。
DistXMatchValue = (MaxDistX−DistX) / MaxDistX
However,
DistX: Distance in the X-axis direction from the
MaxDistX: Limit value of the distance in the X-axis direction from the
DistYMatchValue＝（MaxDistY−DistY）／MaxDistY
ただし、
DistY ：撮像装置２００から線分のエッジまでのＹ軸方向の距離
MaxDistY：撮像装置２００から線分のエッジまでのＹ軸方向の距離の限界値
距離評価値算出部１２は、スライス数評価値算出部１２１、Ｘ軸方向距離評価値算出部１２２およびＹ軸方向距離評価値算出部１２３により算出された３つの観点の評価値を用いて、以下の算出式により距離評価値を算出する。
DistYMatchValue = (MaxDistY−DistY) / MaxDistY
However,
DistY: Distance in the Y-axis direction from the
MaxDistY: Limit value of distance in the Y-axis direction from the
距離評価値＝（スライス数評価値＋Ｘ軸方向距離評価値＋Ｙ軸方向距離評価値）／３
信頼度算出部１３は、形状評価値算出部１１により算出された形状評価値と、距離評価値算出部１２により算出された距離評価値とに基づいて、線分抽出部１０により抽出された線分がレーンマークであるか否かの信頼度を算出する。具体的には、信頼度算出部１３は、形状評価値×距離評価値なる算出式によってレーンマークの信頼度を算出する。
Distance evaluation value = (Slice number evaluation value + X-axis direction distance evaluation value + Y-axis direction distance evaluation value) / 3
The
図２に示すレーンマーク候補抽出部１は、線分抽出部１０によりレーンマーク候補として抽出された各線分と、各線分について信頼度算出部１３により算出された信頼度とをレーンマーク検出部２に出力する。レーンマーク検出部２は、上述したように、レーンマーク位置推定部３により推定されたレーンマークの位置と、レーンマーク候補抽出部１より出力されたレーンマーク候補の位置および信頼度とに基づいて、レーンマークの推定位置を補正し、当該補正した位置をレーンマークの位置として検出する。
The lane mark
例えば、レーンマーク候補抽出部１の信頼度算出部１３により算出された信頼度を、以下に示すようなカルマンフィルタの算出式に対してカルマンゲインＫとして与える。
For example, the reliability calculated by the
[レーンマークの補正推定位置]＝[レーンマークの推定位置]＋Ｋ＊[レーンマーク候補の実測位置]
そして、この算出式によって求められる補正推定位置を、レーンマークの位置として検出する。
[Lane mark correction estimated position] = [lane mark estimated position] + K * [lane mark candidate measured position]
Then, the corrected estimated position obtained by this calculation formula is detected as the position of the lane mark.
このようなカルマンフィルタの算出式において、信頼度算出部１３により算出される信頼度をカルマンゲインＫとして用いた場合、信頼度が低くなるほど、レーンマーク候補抽出部１により抽出されるレーンマーク候補の実測位置がレーンマークの検出位置に対して与える影響度は小さくなっていく。その結果、信頼度が低い場合には、レーンマーク候補の実測位置よりもレーンマークの推定位置が優先された状態で、レーンマークの位置が検出される。この場合の信頼度は、レーンマークの検出位置精度に影響を与える被写界距離の評価値を含めて算出されているため、レーンマークの検出位置精度に悪影響を与えるような信頼度の低いレーンマーク候補の実測位置を極力使わない状態で、より的確なレーンマーク位置を検出することができるようになる。
In such a Kalman filter calculation formula, when the reliability calculated by the
以上詳しく説明したように、本実施形態では、撮影画像に写っている被写体がレーンマークの形状をしているか否かに関する形状評価値を形状評価値算出部１１にて算出するとともに、被写界距離に関する距離評価値を距離評価値算出部１２にて算出し、信頼度算出部１３が形状評価値および距離評価値に基づいて信頼度を算出するようにしている。
As described above in detail, in this embodiment, the shape evaluation
これにより、レーンマークの検出位置精度に影響を与える要因となる被写界距離に応じた信頼度を算出することができる。しかも、本実施形態では、撮影画像を領域分割して領域毎に信頼度を変える方式ではなく、レーンマークの被写界距離をダイレクトに評価する方式なので、信頼度の計算負荷が小さくて済む。したがって、本実施形態によれば、計算負荷を大きくすることなく、レーンマークの位置精度も考慮した信頼度を算出することができる。 Thereby, it is possible to calculate the reliability according to the object distance, which is a factor affecting the detection position accuracy of the lane mark. In addition, according to the present embodiment, the method of directly evaluating the field distance of the lane mark is not a method of dividing the captured image into regions and changing the reliability for each region, but the reliability calculation load can be reduced. Therefore, according to the present embodiment, it is possible to calculate the reliability in consideration of the position accuracy of the lane mark without increasing the calculation load.
また、本実施形態では、レーンマーク候補抽出部１により抽出したレーンマーク候補の位置と、当該抽出したレーンマーク候補について上述のようにして算出した信頼度と、レーンマーク位置推定部３により推定されたレーンマークの位置とに基づいて、レーンマーク検出部２がレーンマークの推定位置を補正し、当該補正位置をレーンマークの位置として検出するようにしている。
In this embodiment, the position of the lane mark candidate extracted by the lane mark
このような構成により、レーンマークの推定位置が、レーンマーク候補の位置と、上述のようにレーンマークの位置精度を考慮して算出した信頼度との関係を考慮してより適正な位置に補正されることとなる。そして、補正されたレーンマークの推定位置でレーンマークが検出されることとなるので、より適正な位置でレーンマークを検出することができる。その結果、レーンマークを跨いで車両が車線から逸脱する恐れがないのに発せられる車線逸脱の誤警報を抑制することができる。 With this configuration, the estimated position of the lane mark is corrected to a more appropriate position in consideration of the relationship between the position of the lane mark candidate and the reliability calculated in consideration of the position accuracy of the lane mark as described above. Will be. Since the lane mark is detected at the estimated position of the corrected lane mark, the lane mark can be detected at a more appropriate position. As a result, it is possible to suppress a false alarm of lane departure that is issued when there is no fear that the vehicle will depart from the lane across the lane mark.
図１０は、本実施形態による効果を示す図である。これは、実際に道路を走行して撮影した車両後方の撮影画像を入力して本実施形態のレーンマーク検出装置１００を動作させた場合における誤警報の発生回数を示したものである。図１０（ａ）は、距離評価値を含めて信頼度を算出した場合の結果を示す（本実施形態の適用例）。図１０（ｂ）は、距離評価値を含めずに信頼度を算出した場合の結果を示す（従来例）。
FIG. 10 is a diagram showing the effect of this embodiment. This shows the number of occurrences of false alarms when the lane
図１０（ａ）に示すように、本実施形態の場合は１時間当たりの誤警報の発生回数は２５．１回であった。これに対して、従来例の場合は１時間当たりの誤警報の発生回数は３３．２回であった。これから分かるように、本実施形態のレーンマーク検出装置１００を適用すると、１時間当たりの誤警報の発生回数を従来比で２０％程度も低減できている。
As shown in FIG. 10A, in the present embodiment, the number of false alarms generated per hour was 25.1 times. On the other hand, in the case of the conventional example, the number of false alarms generated per hour was 33.2 times. As can be seen from this, when the lane
なお、上記実施形態では、距離評価値算出部１２は、スライス数評価値、Ｘ軸方向距離評価値およびＹ軸方向距離評価値の３つの観点から距離評価値を算出する例について説明したが、本発明はこれに限定されない。例えば、スライス数評価値の１点のみから距離評価値を算出するようにしてもよい。図１１は、この場合における誤警報発生の低減効果を示す図である。図１１に示すように、スライス数評価値の１点のみから距離評価値を算出した場合、１時間当たりの誤警報の発生回数は３０．６回であった。これを図１０（ｂ）の結果と比較すれば分かるように、１時間当たりの誤警報の発生回数を１０％程度低減できている。
In the above embodiment, the distance evaluation
また、上記実施形態では、カルマンフィルタのカルマン係数Ｋとして信頼度を用い、レーンマーク位置推定部３により推定されたレーンマークの位置と、線分抽出部１０により抽出されたレーンマーク候補の位置と、信頼度算出部１３によりレーンマーク候補について算出された信頼度とに基づいて、レーンマークの推定位置を補正し、当該補正した推定位置をレーンマークの位置として検出する例について説明したが、本発明はこれに限定されない。
In the above embodiment, the reliability is used as the Kalman coefficient K of the Kalman filter, the position of the lane mark estimated by the lane mark
例えば、カルマン係数Ｋの逆数として信頼度を用い、レーンマーク位置推定部３により推定されたレーンマークの位置と、線分抽出部１０により抽出されたレーンマーク候補の位置と、信頼度算出部１３によりレーンマーク候補について算出された信頼度とに基づいて、以下の算出式に示すようにしてレーンマーク候補の位置を補正し、当該補正したレーンマーク候補の位置をレーンマークの位置として検出するようにしてもよい。
For example, the reliability is used as the reciprocal of the Kalman coefficient K, the position of the lane mark estimated by the lane mark
[レーンマーク候補の補正位置]＝[レーンマーク候補の実測位置]＋１／Ｋ＊ [レーンマークの推定位置]
また、上記実施形態では、カルマンフィルタを用いてレーンマーク位置の補正を行う例について説明したが、本発明はこれに限定されない。すなわち、信頼度算出部１３により算出される信頼度が低くなるほど、補正結果に対するレーンマーク候補の位置の影響度が小さくなるような補正方法であれば、カルマンフィルタ以外の方法を適用してもよい。
[Correction position of lane mark candidate] = [Measured position of lane mark candidate] + 1 / K * [Estimated position of lane mark]
Moreover, although the said embodiment demonstrated the example which correct | amends a lane mark position using a Kalman filter, this invention is not limited to this. That is, any method other than the Kalman filter may be applied as long as the degree of influence of the position of the lane mark candidate on the correction result becomes smaller as the degree of reliability calculated by the degree of
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 In addition, each of the above-described embodiments is merely an example of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the gist or the main features thereof.
１ レーンマーク候補抽出部
２ レーンマーク検出部
３ レーンマーク位置推定部
１０ 線分抽出部
１１ 形状評価値算出部
１２ 距離評価値算出部
１３ 信頼度算出部
１２１ スライス数評価値算出部
１２２ Ｘ軸方向距離評価値算出部
１２３ Ｙ軸方向距離評価値算出部
DESCRIPTION OF
Claims (2)
上記撮影画像に写っている被写体が上記撮像装置からどの程度の距離に存在するかに関する距離の評価値を算出する距離評価値算出部と、
上記形状の評価値および上記距離の評価値に基づいて、上記被写体がレーンマークであるか否かの信頼度を算出する信頼度算出部と、
過去に検出されたレーンマークの位置から今回のレーンマークの位置を推定するレーンマーク位置推定部と、
上記信頼度算出部により算出された信頼度に基づいて、上記撮影画像に写っている被写体の中からレーンマーク候補を抽出するレーンマーク候補抽出部と、
上記レーンマーク位置推定部により推定されたレーンマークの位置と、上記レーンマーク候補抽出部により抽出されたレーンマーク候補の位置と、上記信頼度算出部により上記レーンマーク候補について算出された信頼度とに基づいて、上記推定されたレーンマークの位置または上記レーンマーク候補の位置を補正し、当該補正した位置をレーンマークの位置として検出するレーンマーク検出部と、
上記撮影画像を水平方向に１ラインずつスキャンしていったときに周囲との輝度差が大きくなる水平部分をスライスとして抽出し、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする線分抽出部とを備え、
上記距離評価値算出部は、上記線分抽出部によってグルーピングされたグループ内での複数のスライスの数に関する評価値を算出するスライス数評価値算出部と、
上記撮影画像をＸ軸方向およびＹ軸方向の２次元平面とし、上記撮像装置から上記被写体のエッジまでのＸ軸方向の距離の評価値を算出するＸ軸方向距離評価値算出部と、
上記撮像装置から上記被写体のエッジまでのＹ軸方向の距離の評価値を算出するＹ軸方向距離評価値算出部と
を備えたことを特徴とするレーンマーク検出装置。 A shape evaluation value calculation unit for calculating an evaluation value of a shape regarding whether or not a subject reflected in a captured image input from the imaging device has a shape of a lane mark;
A distance evaluation value calculation unit that calculates an evaluation value of a distance related to how far the subject in the captured image is located from the imaging device;
A reliability calculation unit that calculates a reliability of whether or not the subject is a lane mark based on the evaluation value of the shape and the evaluation value of the distance;
A lane mark position estimation unit that estimates the position of the current lane mark from the position of the lane mark detected in the past;
Based on the reliability calculated by the reliability calculation unit, a lane mark candidate extraction unit that extracts lane mark candidates from the subject shown in the captured image;
The position of the lane mark estimated by the lane mark position estimation unit, the position of the lane mark candidate extracted by the lane mark candidate extraction unit, and the reliability calculated for the lane mark candidate by the reliability calculation unit Lane mark detection unit for correcting the estimated position of the lane mark or the position of the lane mark candidate, and detecting the corrected position as the position of the lane mark ,
When the captured image is scanned line by line in the horizontal direction, a horizontal portion where the luminance difference from the surroundings becomes large is extracted as a slice, and at least a part of the coordinate value in the horizontal direction between adjacent slices in the vertical direction A line segment extraction unit for grouping a plurality of overlapping slices,
The distance evaluation value calculation unit, a slice number evaluation value calculation unit for calculating an evaluation value related to the number of slices in the group grouped by the line segment extraction unit,
An X-axis direction distance evaluation value calculating unit configured to calculate an evaluation value of a distance in the X-axis direction from the imaging device to the edge of the subject, with the captured image being a two-dimensional plane in the X-axis direction and the Y-axis direction;
A Y-axis direction distance evaluation value calculation unit that calculates an evaluation value of a distance in the Y-axis direction from the imaging device to the edge of the subject;
A lane mark detection device comprising:
上記レーンマーク検出装置の形状評価値算出部が、上記撮影画像に写っている被写体がレーンマークの形状をしているか否かに関する形状の評価値を算出する第２のステップと、
上記レーンマーク検出装置の距離評価値算出部が、上記撮影画像に写っている被写体が上記撮像装置からどの程度の距離に存在するかに関する距離の評価値を算出する第３のステップと、
上記レーンマーク検出装置の信頼度算出部が、上記形状の評価値および上記距離の評価値に基づいて、上記被写体がレーンマークであるか否かの信頼度を算出する第４のステップとを有し、
上記第３のステップにおいて、上記距離評価値算出部は、上記線分抽出部によってグルーピングされたグループ内での複数のスライスの数に関する評価値を算出し、
上記撮影画像をＸ軸方向およびＹ軸方向の２次元平面とし、上記撮像装置から上記被写体のエッジまでのＸ軸方向の距離の評価値を算出し、
上記撮像装置から上記被写体のエッジまでのＹ軸方向の距離の評価値を算出する
ことを特徴とするレーンマークの信頼度算出方法。 When the line segment extraction unit of the lane mark detection device scans the captured image input from the imaging device one line at a time in the horizontal direction, the horizontal portion where the luminance difference from the surroundings becomes large is extracted as a slice, and is extracted vertically. A first step of grouping a plurality of slices in which at least some of the horizontal coordinate values overlap between adjacent slices in the direction;
Shape evaluation value calculation unit of the lane mark detection device, a second step of the subject that is reflected in the captured image to calculate the evaluation value of the shape to whether in the shape of a lane mark,
A third step in which a distance evaluation value calculation unit of the lane mark detection device calculates an evaluation value of a distance related to how far the object shown in the captured image exists from the imaging device;
A fourth step in which a reliability calculation unit of the lane mark detection device calculates a reliability of whether or not the subject is a lane mark based on the evaluation value of the shape and the evaluation value of the distance; And
In the third step, the distance evaluation value calculation unit calculates an evaluation value related to the number of slices in the group grouped by the line segment extraction unit,
The captured image is a two-dimensional plane in the X-axis direction and the Y-axis direction, and an evaluation value of the distance in the X-axis direction from the imaging device to the edge of the subject is calculated.
An evaluation value of a distance in a Y-axis direction from the imaging device to the edge of the subject is calculated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012057155A JP5959245B2 (en) | 2012-03-14 | 2012-03-14 | Lane mark detection device and lane mark reliability calculation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012057155A JP5959245B2 (en) | 2012-03-14 | 2012-03-14 | Lane mark detection device and lane mark reliability calculation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013191040A JP2013191040A (en) | 2013-09-26 |
| JP5959245B2 true JP5959245B2 (en) | 2016-08-02 |
Family
ID=49391204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012057155A Active JP5959245B2 (en) | 2012-03-14 | 2012-03-14 | Lane mark detection device and lane mark reliability calculation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5959245B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6935977B2 (en) * | 2017-07-31 | 2021-09-15 | アルパイン株式会社 | Lane mark detector |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04299799A (en) * | 1991-03-28 | 1992-10-22 | Toyota Motor Corp | Line detector |
| JPH05314396A (en) * | 1992-05-13 | 1993-11-26 | Omron Corp | Continuous line tracking device |
| JP3143814B2 (en) * | 1993-01-19 | 2001-03-07 | アイシン精機株式会社 | Method for detecting the distance of an object ahead of the vehicle |
| JPH07244717A (en) * | 1994-03-02 | 1995-09-19 | Mitsubishi Electric Corp | Travel environment recognition device for vehicle |
| JP3326988B2 (en) * | 1994-09-20 | 2002-09-24 | 富士通株式会社 | Road environment recognition device |
| JP3463397B2 (en) * | 1995-02-09 | 2003-11-05 | 日産自動車株式会社 | Roadway detection device |
| JP3882304B2 (en) * | 1997-07-04 | 2007-02-14 | 日産自動車株式会社 | Self-driving vehicle position detector |
| JP3986363B2 (en) * | 2002-05-20 | 2007-10-03 | アイシン精機株式会社 | Lane boundary detection device |
| JP2007179386A (en) * | 2005-12-28 | 2007-07-12 | Fujitsu Ten Ltd | Method and apparatus for recognizing white line |
| JP5251800B2 (en) * | 2009-09-16 | 2013-07-31 | 株式会社豊田中央研究所 | Object tracking device and program |
| JP5220787B2 (en) * | 2010-03-08 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | In-vehicle white line recognition device |
-
2012
- 2012-03-14 JP JP2012057155A patent/JP5959245B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013191040A (en) | 2013-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10659762B2 (en) | Stereo camera | |
| JP5472538B2 (en) | Distance measuring device and environmental map generating device | |
| US11667036B2 (en) | Workpiece picking device and workpiece picking method | |
| JP6465682B2 (en) | Information processing apparatus, information processing method, and program | |
| US20130016915A1 (en) | Crosswalk detection device, crosswalk detection method and recording medium | |
| JP5164351B2 (en) | Object detection apparatus and object detection method | |
| EP2858037B1 (en) | Moving object detector | |
| US10554945B2 (en) | Stereo camera | |
| JP2007037011A (en) | Image processing apparatus | |
| JP2012159469A (en) | Vehicle image recognition device | |
| JP2014056536A (en) | Information processor, information processing method, and program | |
| JP2017058274A (en) | Measurement device, method, and program | |
| JP5548212B2 (en) | Crosswalk sign detection method and crosswalk sign detection device | |
| JP2013190842A (en) | Lane mark detector and lane mark detection method | |
| US10380743B2 (en) | Object identifying apparatus | |
| JP2013222302A (en) | Mounting angle correction device for in-vehicle camera and mounting angle correction method | |
| JP5863517B2 (en) | Lane mark detection device and lane mark search range setting method | |
| JP5959245B2 (en) | Lane mark detection device and lane mark reliability calculation method | |
| JP5889046B2 (en) | Lane mark detection apparatus and lane mark detection method | |
| JP2012159470A (en) | Vehicle image recognition device | |
| US10339394B2 (en) | Step detection device and step detection method | |
| JP4969628B2 (en) | Traveling line detector | |
| JP7152506B2 (en) | Imaging device | |
| JP2013220729A (en) | Mounting angle correcting device and method of correcting mounting angle of in-vehicle camera | |
| CN112400094B (en) | Object detecting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140926 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150902 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160406 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160621 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5959245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |