JP2015069292A - Lane marking determination device and lane determination device - Google Patents
Lane marking determination device and lane determination device Download PDFInfo
- Publication number
- JP2015069292A JP2015069292A JP2013201224A JP2013201224A JP2015069292A JP 2015069292 A JP2015069292 A JP 2015069292A JP 2013201224 A JP2013201224 A JP 2013201224A JP 2013201224 A JP2013201224 A JP 2013201224A JP 2015069292 A JP2015069292 A JP 2015069292A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- unit
- boundary line
- boundary
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両走行時における車線境界線判定装置及び車線判定装置に関するものである。 The present invention relates to a lane boundary line determination device and a lane determination device during vehicle travel.
車両に配置されている撮像装置によって道路映像を撮像して画面上に写し出した道路映像に基づき車線境界線を検出し、撮像した道路映像の車線境界線を覆うようにウィンドウを設け、ウィンドウ内の濃度を算出する。この濃度をある時間計測すると、車線の境界線が実線の場合にはある濃度付近をとるが、破線の場合は周期的に濃度が変わることになり、この濃度の違いを用いて、車線の境界線が実線であるかまたは破線であるかを判定している（特許文献１）。 A lane boundary line is detected based on the road image captured on the screen by capturing the road image with the imaging device arranged in the vehicle, and a window is provided to cover the lane boundary line of the captured road image. Calculate the concentration. When this concentration is measured for a certain period of time, if the boundary line of the lane is a solid line, it takes a certain concentration, but if it is a broken line, the concentration changes periodically. It is determined whether the line is a solid line or a broken line (Patent Document 1).
しかしながら、車線の境界線の検出を開始してから少なくとも一周期分の破線を検出しなければ、その検出した車線の境界線が実線か破線か判定できないため、車線の境界線を判定するまでに時間がかかるという問題があった。 However, if it is not possible to determine whether the detected lane boundary line is a solid line or a broken line unless the broken line for at least one cycle is detected after the start of the detection of the lane boundary line, it is necessary to determine the lane boundary line. There was a problem that it took time.
本発明は、撮像した画像から検出した車線の境界線と車速検出部で検出された車速とに基づいて車線の境界線の長さを算出し、車線の境界線の長さから所定の長さの閾値を生成し、算出した車線の境界線の長さと生成した閾値との大小関係を比較した結果から、車線の境界線が実線か破線かを判定することで上記課題を解決する。 The present invention calculates the length of the lane boundary line based on the boundary line of the lane detected from the captured image and the vehicle speed detected by the vehicle speed detection unit, and calculates a predetermined length from the length of the boundary line of the lane. The above-mentioned problem is solved by determining whether the boundary line of the lane is a solid line or a broken line from the result of comparing the magnitude relationship between the calculated threshold value of the lane line and the generated threshold value.
本発明によれば、車線の境界線の長さから所定の長さの閾値を生成し、走行中に算出した車線の境界線の長さと閾値を比較しているため、車線の境界線を検出してから車線の境界線の種類を判定するまでの時間を短くすることを可能とする。 According to the present invention, the threshold value of the predetermined length is generated from the length of the boundary line of the lane, and the threshold value of the boundary line of the lane calculated during traveling is compared with the threshold value, so the boundary line of the lane is detected. It is possible to shorten the time until the type of lane boundary line is determined.
以下、図面に基づいて、本発明の実施形態について説明する。本実施形態では、本発明に係る車線判定装置を、車両に搭載した場合を例にして説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a case where the lane determination device according to the present invention is mounted on a vehicle will be described as an example.
《第１実施形態》
本実施形態に係る車線判定装置を搭載した車両の走行状況を図１に示す。３台の車両１０１、車両１０２、車両１０３は、片側３車線を有する道路を矢印方向に向かって走行している。各車線の左右には実線または破線の車線の境界線があり、ドライバーは、車線の境界線を目印にして走行車線を認識し、直進や車線変更といった次の動作を行う。
<< First Embodiment >>
FIG. 1 shows a traveling state of a vehicle equipped with the lane determination device according to this embodiment. The three vehicles 101, 102, and 103 are traveling in the direction of the arrow on a road having three lanes on one side. There are solid or dashed lane boundaries on the left and right of each lane, and the driver recognizes the traveling lane using the lane boundary as a mark, and performs the following operations such as straight ahead and lane change.
左車線を走行する車両１０１に対応する左右の車線の境界線の種類のうち、左側の境界線の種類は実線であり、右側の境界線の種類は破線である。また、中央車線を走行する車両１０２に対応する左右の車線の境界線の種類のうち、左側の境界線の種類は破線であり、右側の境界線の種類は破線である。また、右車線を走行する車両１０３に対応する左右の車線の境界線の種類のうち、左側の境界線の種類は破線であり、右側の境界線の種類は実線である。 Of the boundary types of the left and right lanes corresponding to the vehicle 101 traveling in the left lane, the type of the left boundary line is a solid line, and the type of the right boundary line is a broken line. Of the boundary types of the left and right lanes corresponding to the vehicle 102 traveling in the central lane, the type of the left boundary line is a broken line, and the type of the right boundary line is a broken line. Of the boundary types of the left and right lanes corresponding to the vehicle 103 traveling in the right lane, the type of the left boundary line is a broken line, and the type of the right boundary line is a solid line.
右側に実線、左側に破線がある場合は、走行車線は右側車線となり、右側に破線、左側に破線がある場合は、走行車線は中央車線となり、右側に破線、左側に実線がある場合は、走行車線は左側車線となるように、車線と車線の境界線との間には対応関係がある。すなわち、本発明は、左右に位置する車線の境界線の種類を判定することで、車両２０１が走行中の車線も判定できる。以下、本発明の実施形態に係る車線判定装置について説明する。 If there is a solid line on the right side and a broken line on the left side, the driving lane will be the right lane, if there is a broken line on the right side and a broken line on the left side, the driving lane will be the central lane, a broken line on the right side and a solid line on the left side, There is a correspondence between the lane and the boundary line of the lane so that the traveling lane is the left lane. That is, according to the present invention, it is possible to determine the lane in which the vehicle 201 is traveling by determining the type of the boundary line between the left and right lanes. Hereinafter, a lane determination device according to an embodiment of the present invention will be described.
図２は、本実施形態に係る車線判定装置２０３を搭載した車両２０１の構成図である。車両２０１は、カメラ２０２と、車線判定装置２０３と、運転支援システム２０４を備える。 FIG. 2 is a configuration diagram of a vehicle 201 equipped with a lane determination device 203 according to the present embodiment. The vehicle 201 includes a camera 202, a lane determination device 203, and a driving support system 204.
車両２０１の前方に取り付けられたカメラ２０２は、走行面に対する高さｈ1および水平から下向きに角度θ１をとる方向に向けて固定されることで、車両近傍の車線の境界線を含む画像を撮像し、撮像した画像を車線判定装置２０３に送る。車線判定装置２０３は、左右の車線の境界線の種類から走行中の車線の種類を判定する。運転支援システム２０４は、車線判定装置２０３から送られた判定結果に基づいて、ＡＣＣ(Adaptive Cruise Control)といった運転支援を実行する。 The camera 202 attached to the front of the vehicle 201 captures an image including the boundary line of the lane in the vicinity of the vehicle by being fixed toward the height h1 with respect to the traveling surface and the direction that takes the angle θ1 downward from the horizontal. The captured image is sent to the lane determination device 203. The lane determination device 203 determines the type of lane that is running from the type of boundary line between the left and right lanes. The driving support system 204 executes driving support such as ACC (Adaptive Cruise Control) based on the determination result sent from the lane determination device 203.
次に、図３を用いて、車線判定装置２０３の構成を説明する。図３は、図２で示した車線判定装置２０３のブロック図である。車線判定装置２０３は、車線境界線判定装置（右、左）３１２と車線判定部３１３を備えている。また、車線判定装置２０３は、カメラ２０２と、運転支援システム２０４が接続されている。 Next, the configuration of the lane determination device 203 will be described with reference to FIG. FIG. 3 is a block diagram of the lane determination device 203 shown in FIG. The lane determination device 203 includes a lane boundary determination device (right and left) 312 and a lane determination unit 313. The lane determination device 203 is connected to a camera 202 and a driving support system 204.
カメラ２０２は、車線の境界線を撮像した画像を車線判定装置２０３へ送る。運転支援システム２０４は、車線判定装置２０３で判定された走行車線の種類に基づいてドライバーへの運転支援を実行する。 The camera 202 sends an image obtained by capturing the boundary line of the lane to the lane determination device 203. The driving support system 204 executes driving support for the driver based on the type of the driving lane determined by the lane determination device 203.
カメラ２０２で撮像された画像は、車線境界線判定装置３１２（右、左）に入力される。車線境界線判定装置３１２（右、左）は、左右の車線の境界線に対応しており、それぞれが独立して処理した結果を車線判定部３１３に出力する。車線判定部３１３は、車線境界線判定装置３１２（右、左）から出力される左右の車線の境界線の種類に基づいて車線の種類を判定する。 The image captured by the camera 202 is input to the lane boundary line determination device 312 (right and left). The lane boundary determination device 312 (right, left) corresponds to the boundary lines of the left and right lanes, and outputs the result of processing each independently to the lane determination unit 313. The lane determination unit 313 determines the type of lane based on the type of boundary line between the left and right lanes output from the lane boundary line determination device 312 (right, left).
車線境界線判定装置３１２は、検出部３０１と、算出部３０６と、記憶部３０７と、閾値生成部３０８と、比較部３０９と、判定部３１０と、車速検出部３１１を備える。 The lane boundary determination device 312 includes a detection unit 301, a calculation unit 306, a storage unit 307, a threshold value generation unit 308, a comparison unit 309, a determination unit 310, and a vehicle speed detection unit 311.
検出部３０１は、カメラ２０２で撮像された画像の輝度差から左または右の車線の境界線を検出する。算出部３０６は、検出部３０１で検出された車線の境界線の情報と車速検出部３１１で検出された車速に基づいて車線の境界線の長さを算出する。記憶部３０７は、算出部３０６で算出された車線の境界線の長さを記憶する。閾値生成部３０８は、記憶部３０７で記憶された車線の境界線の長さを用いて閾値を生成する。比較部３０９は、算出部３０６で算出された車線の境界線の長さと閾値生成部３０８で生成された閾値を比較する。判定部３１０は、比較部３０９で比較された結果に基づいて車線の境界線の種類を判定する。 The detection unit 301 detects the boundary line of the left or right lane from the luminance difference between images captured by the camera 202. The calculation unit 306 calculates the length of the lane boundary based on the information on the lane boundary detected by the detection unit 301 and the vehicle speed detected by the vehicle speed detection unit 311. The storage unit 307 stores the length of the lane boundary calculated by the calculation unit 306. The threshold generation unit 308 generates a threshold using the length of the lane boundary stored in the storage unit 307. The comparison unit 309 compares the length of the lane boundary calculated by the calculation unit 306 with the threshold generated by the threshold generation unit 308. The determination unit 310 determines the type of lane boundary line based on the result of the comparison performed by the comparison unit 309.
続いて、検出部３０１の構成について説明する。検出部３０１は、車線検出部３０２と、評価値変換部３０３と、空間変換部３０４と、検出履歴保持部３０５を備える。 Next, the configuration of the detection unit 301 will be described. The detection unit 301 includes a lane detection unit 302, an evaluation value conversion unit 303, a space conversion unit 304, and a detection history holding unit 305.
車線検出部３０２は、カメラ２０２で撮像された画像の輝度差から車線を検出する。評価値変換部３０３は、車線検出部３０２で検出された車線を含む所定の領域内において、さらに小領域を特定した上で、当該小領域の輝度に基づいて白線か否かを判定する。空間変換部３０４は、評価値変換部３０３で判定される車両近傍領域の画像を２次元から３次元に座標を変換する。検出履歴保持部３０５は、空間変換部３０４で座標変換された評価値を保持しつつ車速検出部３１１から送られてくる車速に基づいて過去に保持した結果（評価値）を更新する。以下、図３に示す各構成要素について、図４〜図１２を用いて説明する。 The lane detection unit 302 detects a lane from the luminance difference between images captured by the camera 202. The evaluation value conversion unit 303 further identifies a small region within a predetermined region including the lane detected by the lane detection unit 302, and determines whether the line is a white line based on the luminance of the small region. The space conversion unit 304 converts the coordinates of the vehicle neighborhood area determined by the evaluation value conversion unit 303 from two dimensions to three dimensions. The detection history holding unit 305 updates the result (evaluation value) held in the past based on the vehicle speed sent from the vehicle speed detection unit 311 while holding the evaluation value coordinate-converted by the space conversion unit 304. Hereinafter, each component shown in FIG. 3 will be described with reference to FIGS.
魚眼レンズを装着したカメラ２０２は、図２に示したように、走行面に対する高さｈ１および水平から下向きに角度θ１をとる方向に向けて固定されている。これにより、カメラ２０２の撮像領域４０１は、図４に示す扇形の形状となり、左右二本の車線の境界線が含まれる。よって、本例は、一台のカメラ２０２で、左右２本の車線の境界線を撮像できる。 As shown in FIG. 2, the camera 202 equipped with a fisheye lens is fixed to a height h1 with respect to the running surface and a direction that takes an angle θ1 downward from the horizontal. As a result, the imaging area 401 of the camera 202 has a fan shape shown in FIG. 4 and includes a boundary line between the left and right lanes. Therefore, in this example, a single camera 202 can capture the boundary line between the two left and right lanes.
なお、カメラ２０２の取り付け位置に関しては、図２で示されている位置に限定する必要はなく、例えば車両２０１の後方に取り付けてもよく、また、車両２０１の左右の側面に取り付けてもよい。 Note that the attachment position of the camera 202 is not limited to the position shown in FIG. 2, and may be attached to the rear of the vehicle 201 or may be attached to the left and right side surfaces of the vehicle 201.
図５は、車両２０１の前方に取り付けたカメラ２０２で撮像した画像５０１、画像５０２、画像５０３を示している。車線の境界線を含む画像は、時間の経過により、画像５０１から画像５０２へ変化し、さらに画像５０２から画像５０３に変化する。カメラ２０２が広角な魚眼レンズを装着しているため、画像５０１〜５０３に写る車線は、車両２０１の近傍が引き伸ばされて撮像される。 FIG. 5 shows an image 501, an image 502, and an image 503 captured by the camera 202 attached in front of the vehicle 201. The image including the boundary line of the lane changes from the image 501 to the image 502 and further changes from the image 502 to the image 503 over time. Since the camera 202 is equipped with a wide-angle fisheye lens, the lanes shown in the images 501 to 503 are imaged by stretching the vicinity of the vehicle 201.
車線検出部３０２は、カメラ２０２で撮像された撮像画像から車線を検出し、検出結果を、後段の評価値変換部３０３へ送る。車線検出には、既に知られている車線検出方法が用いられればよいが、例えば、以下の方法が用いられる。車線検出部３０２は、二つの平行線の車線モデルと、カメラ２０２で撮像された画像とを比較した上で、画像の輝度又はエッジを測定することで、車線モデルと合致する車線の画像を検出する。車線検出部３０２の検出結果は、図５の線６０１のように表される。 The lane detection unit 302 detects a lane from the captured image captured by the camera 202 and sends the detection result to the evaluation value conversion unit 303 at the subsequent stage. For the lane detection, a known lane detection method may be used. For example, the following method is used. The lane detection unit 302 detects a lane image that matches the lane model by comparing the lane model of two parallel lines and the image captured by the camera 202 and measuring the luminance or edge of the image. To do. The detection result of the lane detection unit 302 is represented as a line 601 in FIG.
評価値変換部３０３について、図５の画像５０３を用いて説明する。評価値変換部３０３は、車線検出部３０２により検出された車線を含む所定の領域の画像から、輝度に基づいて、実際の車線の位置に白線があるか否かを判定する。 The evaluation value conversion unit 303 will be described with reference to an image 503 in FIG. The evaluation value conversion unit 303 determines whether or not there is a white line at the actual lane position based on the luminance from an image of a predetermined region including the lane detected by the lane detection unit 302.
上記に説明したとおり、カメラ２０２は魚眼レンズを装着しており、画像５０１〜５０３に写る車線は、図５に示すように、引き延ばされて撮像される。そして、境界線の種類が破線である場合には、アスファルト部分も引き延ばされてしまう。そのため、車線検出部３０２による車線検出では、車線を検出する際のサンプル数が少なくなり、また誤検出のおそれもある。そこで、本例では、車線の境界線の検出精度を高めるために、評価値変換部３０３により小領域を特定し車線の境界線の有無を判定している。 As described above, the camera 202 is equipped with a fisheye lens, and the lanes shown in the images 501 to 503 are stretched and imaged as shown in FIG. And when the kind of boundary line is a broken line, an asphalt part will also be extended. Therefore, in the lane detection by the lane detection unit 302, the number of samples when detecting the lane is reduced, and there is a risk of erroneous detection. Therefore, in this example, in order to improve the detection accuracy of the lane boundary line, the evaluation value conversion unit 303 identifies a small area and determines the presence or absence of the lane boundary line.
具体的には、まず評価値変換部３０３は、車線検出部３０２で検出された車線の境界線を含んだ所定の領域（線６０１を含む領域）のうち、より車両の近い部分に小領域を設定する。設定した小領域は、図５の領域５０５で示される四角に囲まれた領域であって、線６０１を含む当該所定の領域よりも狭い。評価値変換部３０３は、領域５０５内の平均輝度を評価値として計測し、評価値と閾値とを比較することで、領域５０５内の平均輝度の閾値処理を行う。そして、評価値変換部３０３は、閾値処理により、小領域内に車線の境界線があるか否かの判定を行う。また評価値変換部３０３は、判定結果として、小領域内の平均輝度が閾値以上である場合には「１」の信号を、小領域内の平均輝度が閾値未満である場合には「０」の信号を、空間変換部３０４に出力する。これにより、本例は、車線検出部３０２及び評価値変換部３０３により、車線を検出している。 Specifically, first, the evaluation value conversion unit 303 sets a small region closer to the vehicle in a predetermined region including the boundary line of the lane detected by the lane detection unit 302 (region including the line 601). Set. The set small region is a region surrounded by a square indicated by a region 505 in FIG. 5 and is narrower than the predetermined region including the line 601. The evaluation value conversion unit 303 measures the average luminance in the region 505 as an evaluation value, and compares the evaluation value with a threshold value to perform threshold processing of the average luminance in the region 505. Then, the evaluation value conversion unit 303 determines whether or not there is a lane boundary line in the small area by threshold processing. Further, the evaluation value conversion unit 303 determines that the determination result is “1” when the average luminance in the small region is equal to or greater than the threshold, and “0” when the average luminance in the small region is less than the threshold. Is output to the space conversion unit 304. Thus, in this example, the lane detection unit 302 and the evaluation value conversion unit 303 detect the lane.
なお、評価値変換部３０３は、閾値処理をする際、評価値として平均輝度を用いたが、平均輝度の代わり平均エッジ強度を用いてもよい。 The evaluation value conversion unit 303 uses the average luminance as the evaluation value when performing the threshold processing, but may use the average edge strength instead of the average luminance.
空間変換部３０４について、図６（ａ）および図６（ｂ）を用いて説明する。カメラ２０２で撮像した画像５０３は、魚眼レンズの特性から湾曲した画像となる。このまま算出部３０６で車線の境界線の長さを算出すると誤差が大きくなるため、本例は、空間変換部３０４による座標変換を行っている。 The space conversion unit 304 will be described with reference to FIGS. 6 (a) and 6 (b). An image 503 captured by the camera 202 is a curved image due to the characteristics of the fisheye lens. If the length of the boundary line of the lane is calculated by the calculation unit 306 as it is, the error becomes large. In this example, the space conversion unit 304 performs coordinate conversion.
まず空間変換部３０４は、評価値変換部３０３の判定結果を、画像上の２次元座標(Ｘ,Ｙ)で表す。空間変換部３０４は、その２次元座標(Ｘ,Ｙ)を３次元座標(ＸＷ,ＹＷ,ＺＷ)へ座標変換することで奥行き方向を表現する。このとき、２次元座標のＹ座標が、３次元における実空間でＺＷ座標に対応する。そして、空間変換部３０４は、評価値変換部３０３の判定結果である平均輝度値と、３次元座標(ＸＷ,ＹＷ,ＺＷ)を含む信号を、輝度に基づく電気信号として、検出履歴保持部３０５に送信する。これにより、算出部３０６で生じる誤差を小さくすることができる。 First, the space conversion unit 304 represents the determination result of the evaluation value conversion unit 303 with two-dimensional coordinates (X, Y) on the image. The space conversion unit 304 expresses the depth direction by converting the two-dimensional coordinates (X, Y) into three-dimensional coordinates (XW, YW, ZW). At this time, the Y coordinate of the two-dimensional coordinate corresponds to the ZW coordinate in the three-dimensional real space. Then, the space conversion unit 304 uses the average luminance value, which is the determination result of the evaluation value conversion unit 303, and a signal including the three-dimensional coordinates (XW, YW, ZW) as an electric signal based on the luminance, as a detection history holding unit 305. Send to. Thereby, the error which arises in the calculation part 306 can be made small.
２次元座標から３次元座標への座標変換は、世界座標系が知られており、カメラ２０２の取り付け高さ、姿勢（ヨー角、ピッチ角、ロール角）を予め測定しておけば世界座標系に変換できる。画像座標系が縦方向Ｘおよび横方向Ｙに対して、世界座標系は、水平方向ＸＷ、鉛直方向ＹＷ、車両進行方向ＺＷに割り振っている。 For coordinate conversion from 2D coordinates to 3D coordinates, the world coordinate system is known. If the mounting height and posture (yaw angle, pitch angle, roll angle) of the camera 202 are measured in advance, the world coordinate system is used. Can be converted to The image coordinate system is assigned to the vertical direction X and the horizontal direction Y, and the world coordinate system is assigned to the horizontal direction XW, the vertical direction YW, and the vehicle traveling direction ZW.
また、上記の座標変換は、画像の二次元の座標（ｘ、ｙ）から三次元の実空間の世界座標系に変換しており、世界座標系の鉛直方向を復元している。そして、ＹＷ＝０で示される基準の高さ（高さゼロ）が路面上の点に対応するように、鉛直方向への復元が行われる。 In the above coordinate conversion, the two-dimensional coordinates (x, y) of the image are converted into a three-dimensional real space world coordinate system, and the vertical direction of the world coordinate system is restored. Then, restoration in the vertical direction is performed so that the reference height (height zero) indicated by YW = 0 corresponds to a point on the road surface.
なお、画像座標系から世界座標系への変換は、毎回変換のための計算を実行してもよいが、予め空間変換部３０４に格納した２次元座標から世界座標への変換テーブルを参照して、座標変換を行ってもよい。これにより、座標変換のための処理時間が短縮できる。 Note that the conversion from the image coordinate system to the world coordinate system may be performed for each conversion, but refer to the conversion table from the two-dimensional coordinates to the world coordinates stored in the space conversion unit 304 in advance. Coordinate conversion may be performed. Thereby, the processing time for coordinate conversion can be shortened.
検出履歴保持部３０５は、空間変換部３０４から送られる輝度に基づく電気信号を保持する。車線検出部３０２が検出した輝度に基づく電気信号を検出履歴保持部３０５が保持する過程を、図７を用いて説明する。 The detection history holding unit 305 holds an electrical signal based on the luminance sent from the space conversion unit 304. A process in which the detection history holding unit 305 holds an electrical signal based on the luminance detected by the lane detection unit 302 will be described with reference to FIG.
図７（ａ）は、車両２０１が座標ＺＷ方向に走行し、搭載したカメラ２０２によって車線の境界線を撮像している様子である。図７（ａ）の破線の四角い領域は、評価値変換部３０３で設定した車両近傍の領域（小領域）を示している。領域５０５は、現在撮像されている画像の車両近傍の領域を示し、領域５０４は、領域５０５の次に撮像する画像の車両近傍の領域を示している。またＺ１は、過去に撮像された画像の車両近傍の複数の領域を示す。 FIG. 7A shows a state in which the vehicle 201 travels in the coordinate ZW direction and the boundary line of the lane is captured by the mounted camera 202. A broken-line square area in FIG. 7A indicates an area (small area) near the vehicle set by the evaluation value conversion unit 303. A region 505 indicates a region in the vicinity of the vehicle of the currently captured image, and a region 504 indicates a region in the vicinity of the vehicle of the image captured next to the region 505. Z1 indicates a plurality of areas in the vicinity of the vehicle of images captured in the past.
図７（ｂ）は、図７（ａ）で示すＺＷ方向の位置に対応させて、検出履歴保持部３０５のメモリアドレスに格納される輝度に基づく電気信号を示す図である。縦軸は、輝度に基づく電気信号、横軸はＺＷ方向の位置に対応するメモリアドレスの番号を示している。 FIG. 7B is a diagram showing an electrical signal based on the luminance stored in the memory address of the detection history holding unit 305 in correspondence with the position in the ZW direction shown in FIG. The vertical axis indicates the electrical signal based on the luminance, and the horizontal axis indicates the memory address number corresponding to the position in the ZW direction.
車両２０１に近接した領域５０５に位置する輝度に基づく電気信号は、メモリアドレス７０１へ格納される。一方、車両２０１から離れた位置の輝度に基づく電気信号は、メモリアドレス７０２へ格納される。 An electric signal based on luminance located in the area 505 close to the vehicle 201 is stored in the memory address 701. On the other hand, an electrical signal based on the luminance at a position away from the vehicle 201 is stored in the memory address 702.
図７（ｂ）で示す閾値は、評価値変換部３０３が輝度に基づいて白線か否かを判定する際の基準値を示している。評価値変換部３０３で設定した車両近傍の領域に白線を多く含む場合、輝度に基づく電気信号の値は、閾値より高くなる。一方、評価値変換部３０３で設定した車両近傍の領域に白線以外を多く含む場合、輝度に基づく電気信号の値は、閾値より低くなる。 The threshold value illustrated in FIG. 7B indicates a reference value used when the evaluation value conversion unit 303 determines whether the white line is based on the luminance. When the area near the vehicle set by the evaluation value conversion unit 303 includes many white lines, the value of the electric signal based on the luminance is higher than the threshold value. On the other hand, when the area near the vehicle set by the evaluation value conversion unit 303 includes many lines other than the white line, the value of the electric signal based on the luminance is lower than the threshold value.
次に、検出履歴保持部３０５におけるメモリアドレスの制御について図７（ｂ）及び図７(ｄ)を用いて説明する。図７（ｃ）は、図７（ａ）に対して車両２０１が右方向に前進した状況である。図７（ｄ）は、図７（ｃ）の状況における検出履歴保持部３０５で保持されている電気信号とメモリアドレスを示している。車両２０１の移動に伴って、図７（ｄ）で示す輝度に基づく電気信号は、図７（ｂ）で示す輝度に基づく電気信号に対して、アドレス１つ分シフトされている。 Next, the control of the memory address in the detection history holding unit 305 will be described with reference to FIGS. 7B and 7D. FIG. 7C shows a situation in which the vehicle 201 has moved forward in the right direction with respect to FIG. FIG. 7D shows an electrical signal and a memory address held by the detection history holding unit 305 in the situation of FIG. As the vehicle 201 moves, the electric signal based on the luminance shown in FIG. 7D is shifted by one address with respect to the electric signal based on the luminance shown in FIG.
図７（ｄ）において、図７（ｂ）のメモリアドレス７０１に格納された輝度に基づく電気信号は、メモリアドレス７０３にシフトする。現在のメモリアドレスを示す７０４は、これから格納される輝度に基づく電気信号のために空にしている。また、輝度に基づく電気信号がアドレス１つ分シフトしたことで、図７（ｂ）のメモリアドレス７０２に格納されていた輝度に基づく電気信号は、消去される。新たな輝度に基づく電気信号がメモリアドレス７０４に格納されることに伴って、既に格納されている輝度に基づく電気信号のメモリアドレスを移動させる制御は、車速検出部３１１で検出される車速に基づいてメモリアドレスを移動させている。 In FIG. 7D, the electric signal based on the luminance stored in the memory address 701 in FIG. 7B is shifted to the memory address 703. The current memory address 704 is empty for an electrical signal based on the luminance to be stored. Further, since the electrical signal based on the luminance is shifted by one address, the electrical signal based on the luminance stored in the memory address 702 in FIG. 7B is deleted. The control for moving the memory address of the electrical signal based on the already stored brightness is performed based on the vehicle speed detected by the vehicle speed detection unit 311 as the electrical signal based on the new brightness is stored in the memory address 704. The memory address is moved.
車速の値に依らずメモリアドレスを更新する頻度が同じ場合、車速とアドレス１つ分に相当するＺＷ方向の距離には対応関係がある。例えば、車速の値が大きい場合には、アドレス１つ分に相当する距離は長く、車速の値が小さい場合には、アドレス１つ分に相当する距離は短い。このように、検出履歴保持部３０５は、車速に基づいてアドレス１つ分に相当する距離と、移動した位置に対応する輝度に基づく電気信号とを対応させることで、実空間相当で保持しつつ、メモリアドレスを移動させている。そして、検出履歴保持部３０５は、車速に応じて移動させた距離の位置情報を、各番号を付したメモリアドレスと対応して保持している。 When the frequency of updating the memory address is the same regardless of the value of the vehicle speed, there is a correspondence between the vehicle speed and the distance in the ZW direction corresponding to one address. For example, when the value of the vehicle speed is large, the distance corresponding to one address is long, and when the value of the vehicle speed is small, the distance corresponding to one address is short. In this manner, the detection history holding unit 305 holds the distance corresponding to one address based on the vehicle speed and the electrical signal based on the luminance corresponding to the moved position, thereby maintaining the real space equivalent. , Move the memory address. And the detection log | history holding | maintenance part 305 hold | maintains the positional information on the distance moved according to the vehicle speed corresponding to the memory address which attached | subjected each number.
算出部３０６について説明する。算出部３０６は、図７（ｂ）又は図７（ｄ）に示す検出履歴保持部３０５で保持された輝度に基づく電気信号を用いて、車線の境界線の長さを算出する。 The calculation unit 306 will be described. The calculation unit 306 calculates the length of the boundary line of the lane using the electrical signal based on the brightness held in the detection history holding unit 305 shown in FIG. 7B or 7D.
算出部３０６は、検出履歴保持部において、車速を用いて実空間の輝度に基づく電気信号に変換されていることから、輝度に基づく電気信号の長さが図７（ｂ）又は図７（ｄ）に示す閾値以上となる長さを算出すればよい。算出部３０６のブロック図を図８に示す。 The calculation unit 306 is converted into an electric signal based on the luminance of the real space using the vehicle speed in the detection history holding unit, so that the length of the electric signal based on the luminance is as shown in FIG. A length that is equal to or greater than the threshold shown in FIG. A block diagram of the calculation unit 306 is shown in FIG.
算出部３０６は、カウンタ８０１で構成され、輝度に基づく電気信号の長さが図７（ｂ）又は図７（ｂ）に示す閾値以上となる時間を外部入力したクロックによりカウントすることで車線の境界線の長さに基づく電気信号を算出する。車線の境界線の長さをクロック数に対応させた場合、閾値以上になる輝度をカウントしたクロック数は、図７（ｂ）（ｄ）のグラフで、短い棒から長い棒への立ち上がりから、長い棒から短い棒への立ち下がりまでの長さに相当する。そして、この短い棒から長い棒への立ち上がりから、長い棒から短い棒への立ち下がりまでの長さは、メモリアドレスに対応した位置情報によって、実空間上の破線形状の境界線の長さとなる。これにより、算出部６０６は、検出部３０１で検出された境界線の長さ（撮像画像から検出された境界線の長さ）及び車速から、実空間上の境界線の長さを算出している。なお、算出部３０６が算出する破線形状の車線の境界線の長さに基づく電気信号は、図９（ｂ）で示すｄｔ０、ｄｔ１、・・・、ｄｔＮに対応している。 The calculation unit 306 includes a counter 801, and counts the time when the length of the electric signal based on the luminance is equal to or greater than the threshold shown in FIG. 7B or FIG. An electrical signal based on the length of the boundary line is calculated. When the length of the boundary line of the lane is made to correspond to the number of clocks, the number of clocks counting the luminance that is equal to or higher than the threshold is shown in the graphs of FIGS. 7B and 7D from the rise from the short bar to the long bar. Corresponds to the length from the long stick to the short stick. The length from the rise from the short bar to the long bar to the fall from the long bar to the short bar becomes the length of the boundary line in the broken line shape in the real space according to the position information corresponding to the memory address. . Thereby, the calculation unit 606 calculates the length of the boundary line in the real space from the length of the boundary line detected by the detection unit 301 (the length of the boundary line detected from the captured image) and the vehicle speed. Yes. It should be noted that the electrical signal based on the length of the boundary line of the dashed lane calculated by the calculation unit 306 corresponds to dt0, dt1,... DtN shown in FIG.
算出部３０６は、実線の長さを算出することができない。そこで、算出部３０６は、所定の距離または時間、検出履歴保持部３０５で保持されている輝度に基づく電気信号が連続して閾値以上であれば、実線であることを出力する。 The calculation unit 306 cannot calculate the length of the solid line. Accordingly, the calculation unit 306 outputs a solid line if the electrical signal based on the predetermined distance or time and the luminance held in the detection history holding unit 305 is continuously greater than or equal to the threshold value.
なお、検出部３０１で説明した検出履歴保持部は算出部３０６に組み混まれてもよい。そして、算出部３０６は検出部３０１で検出された車線の境界線と車速検出部３１１で検出された車速に基づいて実空間で車線の境界線の長さを算出する。 Note that the detection history holding unit described in the detection unit 301 may be mixed in the calculation unit 306. Then, the calculation unit 306 calculates the length of the lane boundary line in real space based on the lane boundary line detected by the detection unit 301 and the vehicle speed detected by the vehicle speed detection unit 311.
また、検出履歴保持部３０５を用いずに実空間の車線の境界線の長さを算出する場合には、例えば以下の方法を用いてよい。空間変換部３０４から出力される電気信号によって示される車線の境界線の長さは、車速の情報を用いて算出されていないため、上記のような実空間上の長さにはなっていない。そのため、例えば、実空間上で同じ長さの破線形状を検出した場合には、空間変換部３０４から出力される境界線の長さは、車速が大きいほど短くなる。 Further, when calculating the length of the boundary line of the lane in the real space without using the detection history holding unit 305, for example, the following method may be used. The length of the boundary line of the lane indicated by the electrical signal output from the space conversion unit 304 is not calculated using the vehicle speed information, and thus is not the length in the real space as described above. Therefore, for example, when a broken line shape having the same length is detected in real space, the length of the boundary line output from the space conversion unit 304 becomes shorter as the vehicle speed increases.
そして、図８に示すカウンタ８０１の出力に乗算器を設け、以下の（１）式に従って、算出部３０６は、カウンタ８０１の出力と車速を乗算処理し、実空間の車線の境界線に基づく電気信号を算出する。
記憶部３０７について、図９を用いて説明する。図９（ａ）は、車両２０１が座標変換後のＺＷ軸方向に走行し、車両２０１に搭載したカメラ２０２によって車線の境界線を撮像している様子である。図９（ｂ）は、図９（ａ）における破線形状の車線の境界線の輝度に基づく電気信号を示した図である。図９（ａ）の車線の境界線と図９（ｂ）を比べると、白線の破線の形状変化に対応して輝度に基づく電気信号が周期的に変化している。また、図９（ｂ）では、現在検出している車線の境界線の長さをＸ２とし、過去に検出した破線の領域をＸ１としている。Ｘ２について、破線形状の白線部分の長さをｄｔ０とし、またＸ１について破線の白線部分のそれぞれの長さをｄｔ１、ｄｔ２、・・・、ｄｔＮとしている。破線の白線のそれぞれ間隔の長さを示すｄｓ０、・・・、ｄｓＮについては、第４実施形態で説明する。 The storage unit 307 will be described with reference to FIG. FIG. 9A shows a state in which the vehicle 201 travels in the ZW-axis direction after coordinate conversion, and the lane boundary line is imaged by the camera 202 mounted on the vehicle 201. FIG. 9B is a diagram showing an electrical signal based on the luminance of the boundary line of the broken-line lane in FIG. 9A. When the boundary line of the lane in FIG. 9A is compared with FIG. 9B, the electrical signal based on the luminance periodically changes corresponding to the shape change of the broken line of the white line. In FIG. 9B, the length of the boundary line of the currently detected lane is X2, and the broken line area detected in the past is X1. For X2, the length of the broken line white line portion is dt0, and for X1, the length of the broken line white line portion is dt1, dt2,..., DtN. Ds0,..., DsN indicating the lengths of the intervals between the broken white lines will be described in the fourth embodiment.
記憶部３０７は、図９（ｂ）に示す過去に検出したＮ個の車線の境界線の長さｄｔ１、ｄｔ２、・・・、ｄｔＮを記憶し、閾値生成部３０８へ出力する。 The storage unit 307 stores the lengths dt1, dt2,..., DtN of the boundary lines of the N lanes detected in the past shown in FIG.
記憶部３０７は、算出部３０６で算出された車線の境界線の長さと、座標変換後のＺＷ軸方向に対して車両２０１が走行した距離の位置情報を記憶する。車両２０１が走行した距離が予め設定した距離に達したら、記憶部３０７は、その区間に含まれる車線の境界線の長さを記憶する。設定する距離については、閾値生成部３０８で平均化するのに必要な数によって決める。これにより、記憶部３０７で記憶される車線の境界線の長さの数を一定にする。 The storage unit 307 stores the length of the boundary line of the lane calculated by the calculation unit 306 and position information of the distance traveled by the vehicle 201 with respect to the ZW axis direction after coordinate conversion. When the distance traveled by the vehicle 201 reaches a preset distance, the storage unit 307 stores the length of the boundary line of the lane included in the section. The distance to be set is determined by the number required for averaging by the threshold value generation unit 308. Accordingly, the number of lane boundary lines stored in the storage unit 307 is made constant.
なお、記憶部３０７と前述した検出履歴保持部３０５は、一つの記憶媒体にまとめることができ、それぞれが受信した情報を記憶する。 Note that the storage unit 307 and the above-described detection history holding unit 305 can be combined into one storage medium, and each stores information received.
閾値生成部３０８は、記憶部３０７で記憶された破線形状の車線の境界線の長さを複数用いて、車線の境界線の長さの平均値を算出している。以下の（２）式に従って平均値を求め、これを閾値としている。
なお、閾値生成部３０８で車線の境界線の長さを平均化する数は、記憶部３０７で記憶した車線境界線の長さの数の範囲で自由に決めることができ、閾値の変動が大きい場合には、平均化する数を大きくとることが有効である。 Note that the number of lane boundary line lengths averaged by the threshold generation unit 308 can be freely determined within the range of the number of lane boundary lengths stored in the storage unit 307, and the threshold value varies greatly. In this case, it is effective to increase the number to be averaged.
また、判定部３１０は、破線形状の車線の境界線の長さの平均値を閾値とした場合、算出した車線の境界線の長さが閾値より少しでも長いと直線と判定することから、車線の境界線の種類を誤って判定する可能性がある。そのため閾値生成部３０８は、破線形状の車線の境界線の長さの平均値Ｘaveに補正を施した値を閾値として生成している。図１０は、補正後の閾値を示す。閾値は、車線の境界線の長さの平均値Ｘaveに所定値を加えている。図１０に示すαは、正の値であり、所定値を示している。判定部３１０は、閾値を車線の境界線の長さの平均値より大きくすることで、判定の誤りを生じにくくなる。なお、図１０に示すβを含む閾値については、第４実施形態で説明する。 Further, the determination unit 310 determines that the calculated lane boundary length is a little longer than the threshold value as a straight line when the average value of the length of the boundary line of the broken-line lane is set as the threshold value. There is a possibility that the type of the boundary line is erroneously determined. Therefore, the threshold generation unit 308 generates a value obtained by correcting the average value Xave of the length of the boundary line of the broken-line lane as the threshold. FIG. 10 shows the corrected threshold value. The threshold value is a predetermined value added to the average value Xave of the lane boundary line length. Α shown in FIG. 10 is a positive value and indicates a predetermined value. The determination unit 310 is less likely to cause a determination error by making the threshold value larger than the average value of the lengths of the lane boundary lines. Note that the threshold including β shown in FIG. 10 will be described in the fourth embodiment.
比較部３０９は、算出部３０６で算出された車線の境界線の長さと閾値生成部３０８で生成された閾値を比較し、比較した結果を判定部３１０へ出力する。 The comparison unit 309 compares the lane boundary length calculated by the calculation unit 306 with the threshold value generated by the threshold value generation unit 308, and outputs the comparison result to the determination unit 310.
判定部３１０における車線の境界線の種類の判定条件について、図１１を用いて説明する。算出部３０６が算出した現在の車線の境界線の長さをＸとすると、判定部３１０は、Ｘが閾値以上の場合は実線と判定し、Ｘが閾値未満かつ判定値以上の場合は破線と判定し、判定値未満の場合は車線なしと判定する。このように、車線の境界線の長さと閾値との大小関係は車線の境界線の種類に対応している。そのため、判定部３１０は、車線の境界線の長さと閾値との大小関係を比較することで、大小関係に対応する車線の境界線の種類を判定することができる。 The determination condition of the type of lane boundary line in the determination unit 310 will be described with reference to FIG. If the length of the boundary line of the current lane calculated by the calculation unit 306 is X, the determination unit 310 determines that the line is a solid line when X is greater than or equal to the threshold value, and indicates a broken line when X is less than the threshold value and greater than or equal to the determination value. If it is less than the determination value, it is determined that there is no lane. Thus, the magnitude relationship between the length of the lane boundary line and the threshold corresponds to the type of lane boundary line. Therefore, the determination unit 310 can determine the type of the boundary line of the lane corresponding to the magnitude relationship by comparing the magnitude relationship between the length of the boundary line of the lane and the threshold value.
なお、判定部３１０は、検出部３０１が車線以外にノイズや車線に落ちているゴミなどを検出した場合に、車線の境界線の種類を誤って判定する可能性がある。そこで、判定部３１０は、閾値とは別の判定値を設け、検出部３０１が判定値未満の微小な信号を検出したら車線の境界線をなしと判定としている。閾値は、検出部３０１が検出した信号から求めるのに対して、判定値は、閾値未満でかつ想定されるノイズの大きさから予め所定の値に決めることができる。 Note that the determination unit 310 may erroneously determine the type of the boundary line of the lane when the detection unit 301 detects noise or dust falling in the lane other than the lane. Accordingly, the determination unit 310 provides a determination value different from the threshold value, and determines that the lane boundary is absent when the detection unit 301 detects a minute signal less than the determination value. The threshold value is obtained from the signal detected by the detection unit 301, while the determination value is less than the threshold value and can be determined in advance from a presumed noise level.
車速検出部３１１は、車両２０１に取り付けられ、車速を検出する装置である。車速検出部３１１の検出精度は、高いほど良いが、一般的な車両に取り付けられているＣＡＮ(Controller Area Network)で伝送される車速を用いて問題ない。 The vehicle speed detector 311 is a device that is attached to the vehicle 201 and detects the vehicle speed. The higher the detection accuracy of the vehicle speed detection unit 311, the better. However, there is no problem using the vehicle speed transmitted by a CAN (Controller Area Network) attached to a general vehicle.
ここで、カメラ２０２が撮像してから判定部３１０が車線の境界線の種類を判定するまでに要する時間について、図１２を用いて説明する。図１２（ａ）は、車両２０１に搭載したカメラ２０２で右側の車線の境界線の画像を撮像している様子である。カメラ２０２で撮像された画像は、評価値変換部３０３にて領域５０５が選択されている。図１２（ｂ）は、車両２０１の右側の車線の境界線が破線から実線に切わる状況において、車線の境界線に対応する輝度に基づく電気信号を示した図である。図１２（ｂ）と比較するために、図１２（ｃ）は、破線形状をした車線の境界線に対応する輝度に基づく電気信号を示した図である。 Here, the time required from when the camera 202 captures an image until the determination unit 310 determines the type of the lane boundary will be described with reference to FIG. FIG. 12A shows a state in which a camera 202 mounted on the vehicle 201 is capturing an image of the boundary line of the right lane. An area 505 is selected by the evaluation value converter 303 in the image captured by the camera 202. FIG. 12B is a diagram illustrating an electrical signal based on luminance corresponding to the boundary line of the lane when the boundary line of the right lane of the vehicle 201 is cut from the broken line to the solid line. For comparison with FIG. 12 (b), FIG. 12 (c) is a diagram showing an electrical signal based on the luminance corresponding to the boundary line of the lane having a broken line shape.
特許文献１では、図１２（ｃ）に示す破線形状をした車線の境界線の周期性に着目しているため、撮像してから車線の境界線の種類を判定するまでに少なくとも１周期の時間を要する。図１２（ｂ）に示すＴ１は、破線形状をした車線の境界線の１周期分の時間を示しており、特許文献１におけるカメラ２０２が撮像してから判定部３１０が車線の境界線の種類を判定するまでに要する時間に対応している。 In Patent Document 1, since attention is paid to the periodicity of the boundary line of the lane having the broken line shape shown in FIG. 12C, a time period of at least one period from when the image is taken until the type of the boundary line of the lane is determined. Cost. T1 shown in FIG. 12B indicates a time corresponding to one cycle of the boundary line of the lane having a broken line shape, and the type of the boundary line of the lane is determined by the determination unit 310 after the camera 202 in Patent Document 1 captures an image. This corresponds to the time required to determine
本発明では、図１２（ｃ）に示す破線形状をした車線の境界線の半周期分（Ｔ２）に相当する長さを閾値としていることから、Ｔ１より短いＴ２の期間を経過したときに、判定部３１０が車線の境界線の種類を判定する。 In the present invention, since the length corresponding to the half cycle (T2) of the boundary line of the lane having the broken line shape shown in FIG. 12 (c) is used as a threshold value, when a period of T2 shorter than T1 has elapsed, The determination unit 310 determines the type of lane boundary line.
なお、破線形状の車線の境界線の長さがデューティー比５０％の場合は、車線境界線判定装置３１２は、Ｔ１の半分の時間Ｔ２で、車線の境界線の種類を判定する。仮に破線形状の車線の境界線をデューティー比５０％以下なら、Ｔ１に対してＴ２は半分以下となり、車線境界線判定装置３１２は、より短い時間で車線の境界線の種類を判定することができる。 If the length of the boundary line of the dashed lane is 50%, the lane boundary determination device 312 determines the type of the lane boundary at time T2 that is half of T1. If the boundary line of the broken line lane is less than 50%, T2 is less than half of T1, and the lane boundary determination device 312 can determine the type of the lane boundary in a shorter time. .
車線判定部３１３における車線の種類の判定条件について、図１３を用いて説明する。左右の車線の境界線に対応した２つの判定部３１０で判定された車線の境界線の種類に基づいて、走行車線の種類を判定する。左右の車線の境界線の種類が共に破線の場合は、走行車線は中央線（中央レーン）と判定する。また、右の車線の境界線の種類が実線でかつ左の車線の境界線の種類が破線の場合（Ａ）は、右車線（右レーン）と判定する。また、右の車線の境界線の種類が破線でかつ左の車線の境界線の種類が実線の場合（Ｂ）は、左車線（左レーン）と判定する。また、図１３において左右の車線の境界線の組み合わせがＡおよびＢに該当しない場合に、車線判定部３１３は、走行車線を中央線（中央レーン）と判定する。 The lane type determination condition in the lane determination unit 313 will be described with reference to FIG. The type of the traveling lane is determined based on the type of the lane boundary determined by the two determination units 310 corresponding to the boundary between the left and right lanes. When the types of boundary lines of the left and right lanes are both broken lines, the traveling lane is determined as the center line (center lane). Further, when the boundary type of the right lane is a solid line and the boundary type of the left lane is a broken line (A), it is determined as a right lane (right lane). Further, when the boundary type of the right lane is a broken line and the boundary line type of the left lane is a solid line (B), it is determined as the left lane (left lane). In addition, when the combination of the boundary lines of the left and right lanes does not correspond to A and B in FIG. 13, the lane determination unit 313 determines the travel lane as the center line (center lane).
図１４は、本実施形態に係る車線判定装置２０３の制御手順を説明するためのフローチャートである。フローチャートの構成は、大きく４つのフローに分けることができる。ステップＳ１〜ステップＳ３は、画像を取得してから車線の境界線の長さＸを算出するまでのフローである。ステップＳ４〜ステップＳ５は、閾値生成部３０８にて閾値を生成するフローである。ステップＳ６〜ステップＳ１０は、判定部３１０にて車線の境界線の種類を判定するフローである。ステップＳ１１〜ステップＳ１５は、車線判定部３１３にて車線の種類を判定するフローである。 FIG. 14 is a flowchart for explaining a control procedure of the lane determination device 203 according to the present embodiment. The configuration of the flowchart can be roughly divided into four flows. Steps S <b> 1 to S <b> 3 are a flow from acquiring an image to calculating a lane boundary line length X. Steps S <b> 4 to S <b> 5 are a flow for generating a threshold by the threshold generation unit 308. Steps S <b> 6 to S <b> 10 are a flow in which the determination unit 310 determines the type of lane boundary line. Steps S <b> 11 to S <b> 15 are a flow in which the lane determination unit 313 determines the type of lane.
まず始めに、検出部３０１が画像を取得してから車線の境界線の長さＸを算出部３０６で算出するまでのフローについて説明する。 First, a flow from when the detection unit 301 acquires an image to when the calculation unit 306 calculates the lane boundary length X will be described.
ステップＳ１において、車線の境界線を含む画像は、車両２０１の前方に取り付けたカメラ２０２によって撮像され、検出部３０１に送られる。 In step S <b> 1, an image including a lane boundary line is captured by the camera 202 attached in front of the vehicle 201 and sent to the detection unit 301.
ステップＳ２において、検出部３０１は、カメラ２０２によって撮像された画像から車線の境界線を検出する。検出部３０１へ送られた画像は、輝度に基づく電気信号へ変換され、ステップＳ３へ進む。 In step S <b> 2, the detection unit 301 detects a lane boundary line from an image captured by the camera 202. The image sent to the detection unit 301 is converted into an electrical signal based on luminance, and the process proceeds to step S3.
ステップＳ３において、算出部３０６は、検出部３０１から送られる輝度に基づく電気信号から車線の境界線の長さＸを算出する。算出された車線の境界線の長さＸを閾値生成部３０８へ送ることで、ステップＳ４へ進む。 In step S <b> 3, the calculation unit 306 calculates the lane boundary length X from the electrical signal based on the luminance sent from the detection unit 301. By sending the calculated lane boundary length X to the threshold generation unit 308, the process proceeds to step S4.
次に、閾値生成部３０８にて閾値を生成するフローについて説明する。 Next, a flow for generating a threshold by the threshold generation unit 308 will be described.
ステップＳ４において、閾値生成部３０８は、算出部３０６で過去に算出された車線の境界線の長さＸを複数用いて平均値（Ｘave）を計算し、ステップＳ５へ進む。 In step S4, the threshold generation unit 308 calculates an average value (Xave) using a plurality of lane boundary lengths X calculated in the past by the calculation unit 306, and proceeds to step S5.
ステップＳ５において、閾値生成部３０８にて、ステップＳ４で計算した平均値を用いて閾値を生成する。閾値生成部３０８は、ステップＳ４で計算した平均値（Ｘave）に補正項を加えた値を閾値として生成し、ステップＳ６へ進む。 In step S5, the threshold generation unit 308 generates a threshold using the average value calculated in step S4. The threshold generation unit 308 generates a value obtained by adding a correction term to the average value (Xave) calculated in step S4 as a threshold, and proceeds to step S6.
次に、判定部３１０にて車線の境界線の種類を判定するフローについて説明する。車線の境界線の種類を判定するフローは、２つの条件分岐が含まれている。 Next, a flow for determining the type of lane boundary line by the determination unit 310 will be described. The flow for determining the type of the lane boundary includes two conditional branches.
ステップＳ６は、１つ目の条件分岐であり、閾値生成部３０８で生成された閾値と車線の境界線の長さＸを比較する。Ｘが閾値より大きければ、ステップＳ７へ進み、Ｘが閾値より小さければ、ステップＳ８へ進む。 Step S6 is the first conditional branch, in which the threshold generated by the threshold generation unit 308 is compared with the length X of the lane boundary. If X is larger than the threshold, the process proceeds to step S7, and if X is smaller than the threshold, the process proceeds to step S8.
ステップＳ７において、ステップＳ６の比較結果に基づいて、判定部３１０は、車線の境界線を実線と判定し、ステップＳ１１へ進む。 In step S7, based on the comparison result in step S6, the determination unit 310 determines that the boundary line of the lane is a solid line, and proceeds to step S11.
一方、ステップＳ８は、２つ目の条件分岐であり、判定値と車線の境界線の長さＸを比較する。判定値は、予め決めることができる所定の値で、かつ閾値より小さい値である。Ｘが判定値より大きければ、ステップＳ９へ進み、Ｘが判定値より小さければ、ステップＳ１０へ進む。 On the other hand, step S8 is the second conditional branch, and the determination value is compared with the length X of the boundary line of the lane. The determination value is a predetermined value that can be determined in advance and is smaller than the threshold value. If X is larger than the determination value, the process proceeds to step S9. If X is smaller than the determination value, the process proceeds to step S10.
ステップＳ９において、ステップＳ８の比較結果から、判定部３１０は車線の境界線を破線と判定し、ステップＳ１１へ進む。 In step S9, from the comparison result in step S8, the determination unit 310 determines that the boundary line of the lane is a broken line, and proceeds to step S11.
ステップＳ１０において、ステップＳ８の比較結果から、判定部３１０は車線の境界線を線無し判定する。判定部３１０が車線の境界線を無しと判定した場合、車線の種類を判定するフローを通過してステップＳ１６へ進む。 In step S10, based on the comparison result in step S8, the determination unit 310 determines that the lane boundary is absent. When the determination unit 310 determines that there is no lane boundary line, the flow proceeds to step S16 through a flow for determining the type of lane.
次に、車線判定部３１３にて車線の種類を判定するフローについて説明する。車線の種類を判定するフローには、３つの条件分岐が含まれている。車線の境界線の種類を判定する際は、一本の車線の境界線に対して判定したが、車線の種類を判定する際は、左右２本の車線の境界線の種類とその組み合わせに着目する。 Next, a flow for determining the type of lane in the lane determination unit 313 will be described. The flow for determining the type of lane includes three conditional branches. When determining the type of lane boundary line, it was determined for a single lane boundary line, but when determining the type of lane line, focus on the types of lane boundary lines and their combinations. To do.
ステップＳ１１において、右の車線の境界線が破線かつ左の車線の境界線が実線
の場合はステップＳ１２へ進み、そうでなければステップＳ１３へ進む。
In step S11, if the boundary line of the right lane is a broken line and the boundary line of the left lane is a solid line, the process proceeds to step S12. Otherwise, the process proceeds to step S13.
ステップＳ１２において、車線判定部３１３は、ステップＳ１１の結果から走行車線を左車線と判定し、ステップＳ１６へ進む。 In step S12, the lane determination unit 313 determines that the travel lane is the left lane from the result of step S11, and proceeds to step S16.
ステップＳ１３において、右の車線の境界線が実線かつ左の車線の境界線が破線
である場合は、ステップＳ１４へ進み、そうでない場合は、ステップＳ１５へ進む。
In step S13, when the boundary line of the right lane is a solid line and the boundary line of the left lane is a broken line, the process proceeds to step S14. Otherwise, the process proceeds to step S15.
ステップＳ１４において、車線判定部３１３は、ステップＳ１３の結果から走行車線を右車線と判定し、ステップＳ１６へ進む。 In step S14, the lane determining unit 313 determines that the travel lane is the right lane from the result of step S13, and proceeds to step S16.
ステップＳ１５において、車線判定部３１３は、ステップＳ１３の結果から走行車線を中央車線と判定し、ステップＳ１７へ進む。 In step S15, the lane determining unit 313 determines that the traveling lane is the central lane from the result of step S13, and proceeds to step S17.
ステップＳ１６において、現在検出された車線の境界線の長さＸは、記憶部３０７で記憶されることで、過去に算出された車線の境界線の長さＸとなり、ステップＳ１８へ進む。 In step S16, the currently detected lane boundary length X is stored in the storage unit 307, so that it becomes the lane boundary length X calculated in the past, and the process proceeds to step S18.
ステップＳ１７において、ステップＳ６〜ステップＳ１５までのフローの判定結果から、車線の種類が判定されたか否かを判定する。車線の種類が判定された場合は、ステップＳ１８へ進む。車線の種類が判定されない場合は、ループで再びステップＳ１へ戻ることで、ステップＳ１８において記憶部３０７で記憶された車線の境界線の長さが、過去の車線の境界線の長さとして、ステップＳ４の平均値の計算、ステップＳ５の閾値生成で使用される。 In step S17, it is determined whether or not the type of lane is determined from the flow determination results in steps S6 to S15. If the type of lane is determined, the process proceeds to step S18. If the type of lane is not determined, the process returns to step S1 in a loop, so that the length of the lane boundary stored in the storage unit 307 in step S18 is set as the length of the previous lane boundary. It is used in the calculation of the average value of S4 and the threshold generation in step S5.
ステップＳ１８において、車線判定装置２０３が判定した車線の種類を運転支援システムに送ることで、運転支援システム２０４がオンとなりフローが終了する。 In step S18, by sending the type of lane determined by the lane determination device 203 to the driving support system, the driving support system 204 is turned on and the flow ends.
本実施形態は、以上のように構成され、動作するので以下の効果を奏する。 Since this embodiment is configured and operates as described above, the following effects can be obtained.
本実施形態の車線境界線判定装置３１２によれば、検出部３０１は、撮像した画像から車線の境界線を検出し、車速検出部３１１は車速を検出し、算出部３０６は、検出部３０１で検出された車線の境界線の情報と車速検出部３１１で検出された車速から車線の境界線の長さを算出し、記憶部３０７は、算出部３０６で算出された車線の境界線の長さを記憶し、閾値生成部３０８は、記憶部３０７で記憶された車線の境界線の長さから所定の長さの閾値を生成し、比較部３０９は、算出部３０６で算出された車線の境界線の長さと閾値生成部３０８で生成された閾値との大小関係を比較し、判定部３１０は、比較部３０９の比較結果から、車線の境界線が実線か破線かを判定する。これにより、車線の境界線を検出してから判定するまでの時間を短くすることを可能とする。 According to the lane boundary line determination device 312 of the present embodiment, the detection unit 301 detects the lane boundary line from the captured image, the vehicle speed detection unit 311 detects the vehicle speed, and the calculation unit 306 is the detection unit 301. The lane boundary length is calculated from the detected lane boundary information and the vehicle speed detected by the vehicle speed detection unit 311, and the storage unit 307 calculates the lane boundary length calculated by the calculation unit 306. The threshold generation unit 308 generates a threshold having a predetermined length from the lane boundary length stored in the storage unit 307, and the comparison unit 309 calculates the lane boundary calculated by the calculation unit 306. The determination unit 310 determines whether the boundary line of the lane is a solid line or a broken line based on the comparison result of the comparison unit 309 by comparing the magnitude relationship between the line length and the threshold value generated by the threshold value generation unit 308. This makes it possible to shorten the time from the detection of the lane boundary until the determination.
本実施形態の車線境界線判定装置３１２によれば、比較部３０９は、閾値および閾値より小さい判定値と、車線の境界線の長さを比較し、判定部３１０は、車線の境界線の長さが閾値以上の場合は実線と判定し、判定値以上かつ閾値未満の場合は破線と判定し、判定値未満の場合は車線の境界線が無いと判定する。これにより、車線の境界線が実線または破線を判定すると同時に、ノイズなどの影響で微小な値の信号が検出された場合に、判定値と車線の境界線を比較することにより、境界線を無しと判定することができる。 According to the lane boundary determination device 312 of this embodiment, the comparison unit 309 compares the threshold value and the determination value smaller than the threshold with the length of the lane boundary, and the determination unit 310 determines the length of the lane boundary. When the value is equal to or greater than the threshold value, it is determined as a solid line. When the value is equal to or greater than the determination value and less than the threshold value, it is determined as a broken line. This makes it possible to determine whether the lane boundary line is a solid line or a broken line, and at the same time, if a signal with a minute value is detected due to the influence of noise or the like, comparing the determination value with the lane boundary line eliminates the boundary line. Can be determined.
本実施形態の車線判定装置２０３によれば、車線境界線判定装置３１２と、判定部３１０の判定結果に基づいて走行車両の車線の種類を判定する車線判定部３１３を備え、検出部３０１は、左右の車線の境界線を検出し、車線判定部３１３は、左の車線の境界線が破線かつ右の車線の境界線が実線の場合は、右車線と判定し、左の車線の境界線が実線かつ右の車線の境界線が破線の場合は、左車線と判定し、右車線および左車線と判定しない場合に、中央車線と判定する。これにより、車線判定装置２０３は、車線の境界線の種類と位置の対応関係から走行している車両の車線の種類を判定することができる。 According to the lane determination device 203 of this embodiment, the lane boundary determination device 312 and the lane determination unit 313 that determines the type of lane of the traveling vehicle based on the determination result of the determination unit 310 are provided. If the left lane boundary is a broken line and the right lane boundary is a solid line, the lane determination unit 313 determines that the left lane boundary is a right lane, and the left lane boundary is When the boundary line of the solid line and the right lane is a broken line, it is determined as the left lane, and when it is not determined as the right lane and the left lane, it is determined as the center lane. Thereby, the lane determination device 203 can determine the type of the lane of the vehicle that is running from the correspondence between the type of the boundary line of the lane and the position.
なお、本例の検出履歴保持部３０５は、検出部３０１の構成の一部としたが、検出履歴保持部３０５の機能は、本発明の「算出部」の機能の一部としても機能する。 Note that the detection history holding unit 305 of this example is part of the configuration of the detection unit 301, but the function of the detection history holding unit 305 also functions as part of the function of the “calculation unit” of the present invention.
《第２実施形態》
図１５は、本発明の他の実施形態に係る算出部３０６および判定部３１０を含む車線境界線判定装置３１２のブロック図である。本例では、上述した第１実施形態に対して、算出部３０６の内部構成および算出部３０６と判定部３１０の結線が異なる。これ以外の構成は上述した第１実施形態と同じであるため、その記載を適宜、援用する。
<< Second Embodiment >>
FIG. 15 is a block diagram of a lane boundary determination device 312 including a calculation unit 306 and a determination unit 310 according to another embodiment of the present invention. In this example, the internal configuration of the calculation unit 306 and the connection between the calculation unit 306 and the determination unit 310 are different from those of the first embodiment described above. Since the configuration other than this is the same as that of the first embodiment described above, the description thereof is incorporated as appropriate.
算出部３０６は、図８で示した算出部３０６の構成に、加速度算出部１５０１と、加速度比較器１５０２が付け加えられている。加速度算出器１５０１は、車速検出部３１１が検出した車速を受信し、車速の差分から加速度を算出する。加速度比較器１５０２は、加速度算出部１５０１から送られた加速度と外部入力の所定値を比較する。加速度が所定の値より大きい場合、加速度比較器１５０２は、判定部３１０が車線の境界線の種類を判定するのを停止させる。一方、加速度が所定の値より小さい場合、判定部３１０は、図１１に示す判定条件に従って車線の境界線の種類を判定する。 In the calculation unit 306, an acceleration calculation unit 1501 and an acceleration comparator 1502 are added to the configuration of the calculation unit 306 shown in FIG. The acceleration calculator 1501 receives the vehicle speed detected by the vehicle speed detection unit 311 and calculates the acceleration from the difference in vehicle speed. The acceleration comparator 1502 compares the acceleration sent from the acceleration calculation unit 1501 with a predetermined value of the external input. When the acceleration is larger than the predetermined value, the acceleration comparator 1502 stops the determination unit 310 from determining the type of the lane boundary line. On the other hand, when the acceleration is smaller than the predetermined value, the determination unit 310 determines the type of lane boundary line according to the determination condition shown in FIG.
本実施形態は、以上のように構成され、動作するので以下の効果を奏する。 Since this embodiment is configured and operates as described above, the following effects can be obtained.
本実施形態の車線境界線判定装置３１２によれば、加速度検出部１５０１が車速検出部３１１から送られる車速から加速度を算出し、加速度が所定値以上の場合は、判定部３１０が判定を行わない。これにより、車両２０１が急ブレーキやスリップ等で急激な速度変化が生じた場合、定速で走行している場合と比較して、算出部３０６で算出される車線の境界線の長さに大きな誤差が生じるため、判定部３１０で誤った判定を行うのを防ぐことができる。 According to the lane boundary line determination device 312 of the present embodiment, the acceleration detection unit 1501 calculates the acceleration from the vehicle speed sent from the vehicle speed detection unit 311, and the determination unit 310 does not perform determination when the acceleration is equal to or greater than a predetermined value. . As a result, when the vehicle 201 undergoes a rapid speed change due to sudden braking or slipping, the length of the lane boundary calculated by the calculation unit 306 is larger than that when the vehicle 201 is traveling at a constant speed. Since an error occurs, it is possible to prevent the determination unit 310 from making an incorrect determination.
《第３実施形態》
図１６は、本発明の他の実施形態に係る算出部３０６および判定部２１０を含む車線境界線判定装置３１２のブロック図である。本例では、上述した第１実施形態に対して、算出部３０６の内部構成および算出部３０６と閾値生成部３０８および判定部３１０の結線が異なる。これ以外の構成は上述した第１実施形態と同じであるため、その記載を適宜、援用する。
<< Third Embodiment >>
FIG. 16 is a block diagram of a lane boundary determination device 312 including a calculation unit 306 and a determination unit 210 according to another embodiment of the present invention. In this example, the internal configuration of the calculation unit 306 and the connection of the calculation unit 306, the threshold value generation unit 308, and the determination unit 310 are different from the first embodiment described above. Since the configuration other than this is the same as that of the first embodiment described above, the description thereof is incorporated as appropriate.
算出部３０６は、図８で示した算出部３０６の構成に、差分算出部１６０１と、差分比較器１６０２が付け加えられている。差分算出器１６０１は、算出部３０６の内部の乗算器８０２が出力する車線の境界線の長さに基づく電気信号を受信し、以下の（３）式に従って差分値を求める。
差分値Δｄｔが極めて大きい、すなわちｄｔ０が平均値Ｘaveに対して極端に短い状況では、車両２０１が車線変更を実行して破線形状の車線の境界線をまたいだ、あるいは車線の検出を誤った可能性が考えられる。このような状況における対応として、Δｄｔと外部入力の所定値を比較して結果に基づいて判定部３１０の制御を行う。 In a situation where the difference value Δdt is extremely large, that is, dt0 is extremely short with respect to the average value Xave, the vehicle 201 may change the lane and cross the boundary line of the broken line lane, or the detection of the lane may be wrong. Sex is conceivable. As a countermeasure in such a situation, the determination unit 310 is controlled based on the result of comparing Δdt with a predetermined value of the external input.
差分値Δｄｔが所定の値より大きい場合、差分比較器１６０２は、判定部３１０が車線の境界線の種類を判定するのを停止させる。また記憶部３０７は、最新の車線の境界線の長さｄｔ０の情報を消去する。一方、差分値Δｄｔが所定の値より大きい場合、判定部３１０は、図１１に示す判定条件に従って車線の境界線の種類を判定する。 When the difference value Δdt is larger than the predetermined value, the difference comparator 1602 stops the determination unit 310 from determining the type of the lane boundary line. In addition, the storage unit 307 deletes information on the latest lane boundary length dt0. On the other hand, when the difference value Δdt is larger than the predetermined value, the determination unit 310 determines the type of the lane boundary line according to the determination condition shown in FIG.
本実施形態は、以上のように構成され、動作するので以下の効果を奏する。 Since this embodiment is configured and operates as described above, the following effects can be obtained.
本実施形態の車線境界線判定装置３１２によれば、閾値生成部３０８は、記憶部３０７に記憶された複数の車線の境界線の長さを用いて求めた平均値から閾値を生成し、算出部３０６は、算出された車線の境界線の長さと閾値生成部３０８で生成された平均値との差分を算出し、差分が所定値より大きい場合には、判定部３１０は車線の境界線の種類を判定しない。これにより、検出部３０１が車線の境界線を見失った場合や車線変更で車線の境界線をまたいだ場合に、判定部３１０が車線の境界線の種類を判定しないため、車線境界線判定装置３１２が誤った判定結果を出力しないことができる。
《第４実施形態》
According to the lane boundary determination device 312 of this embodiment, the threshold generation unit 308 generates and calculates a threshold from the average value obtained using the lengths of the boundary lines of the plurality of lanes stored in the storage unit 307. The unit 306 calculates a difference between the calculated lane boundary length and the average value generated by the threshold generation unit 308. When the difference is larger than a predetermined value, the determination unit 310 determines the lane boundary line. Do not judge the type. Accordingly, when the detection unit 301 loses sight of the lane boundary line or crosses the lane boundary line due to lane change, the determination unit 310 does not determine the type of the lane boundary line, and thus the lane boundary line determination device 312. Can not output an erroneous determination result.
<< 4th Embodiment >>
図９は、本発明の他の実施形態に係る閾値生成部３０８を含む車線境界線判定装置３１２を説明するための図である。検出部３０１が画像の輝度差から車線の境界線を検出しているため、車線の境界線の長さは、白線以外でもよい。ここでは、白線の間隔の長さから生成された閾値について説明する。本例では、上述した第１実施形態に対して、算出部３０６が算出する車線の境界線の長さ、記憶部３０７が記憶する輝度差に基づく信号および閾値生成部３０８が閾値を生成する方法が異なる。これ以外の構成は上述した第１実施形態と同じであるため、その記載を適宜、援用する。 FIG. 9 is a diagram for explaining a lane boundary determination device 312 including a threshold generation unit 308 according to another embodiment of the present invention. Since the detection unit 301 detects the boundary line of the lane from the luminance difference of the image, the length of the boundary line of the lane may be other than the white line. Here, the threshold value generated from the length of the white line interval will be described. In this example, in contrast to the first embodiment described above, the signal based on the lane boundary length calculated by the calculation unit 306, the luminance difference stored in the storage unit 307, and the threshold generation unit 308 generates a threshold value. Is different. Since the configuration other than this is the same as that of the first embodiment described above, the description thereof is incorporated as appropriate.
閾値生成部３０８にて、白線の間隔から生成される閾値について、図９を用いて説明する。破線形状をした白線の間隔を用いた場合の閾値は、（２）式と同様に（４）式と記述することができる。
上記（４）式で生成される閾値に対応させるため、算出部３０６と記憶部３０７は、以下のような特徴を持つ。算出部３０６は、（４）式に示すように破線形状をした白線の間隔の長さを求めるため、図７（ａ）に示す閾値以下となる白線の間隔の長さに基づく車線の境界線の長さを算出する。記憶部３０７は、算出部３０６から送られる白線の間隔の長さに基づく電気信号を記憶する。 In order to correspond to the threshold value generated by the above equation (4), the calculation unit 306 and the storage unit 307 have the following characteristics. The calculation unit 306 obtains the length of the white line interval having the broken line shape as shown in the equation (4), and therefore the lane boundary line based on the white line interval length equal to or less than the threshold value shown in FIG. The length of is calculated. The storage unit 307 stores an electrical signal based on the length of the white line interval sent from the calculation unit 306.
また、破線形状をした白線の間隔の長さを閾値にする場合、閾値の補正は、図１０に示すように（４）式のＸaveに補正項を加えている。−βは負の値であり、補正項の符号がマイナスとなる。 In addition, when the length of the interval between the white lines having a broken line is used as a threshold value, the correction of the threshold value adds a correction term to Xave in the equation (4) as shown in FIG. -Β is a negative value, and the sign of the correction term is negative.
また、破線形状をした白線の間隔の長さを閾値にする場合、判定部３１０の判定条件も図１１に示した表とは異なる。判定部３１０の判定条件は、破線形状をした白線の間隔の長さが閾値以下の場合に実線と判定し、破線形状をした白線の間隔の長さが閾値より長い場合に破線と判定する。閾値の補正項は、マイナスの値である-βを加えている。 Further, when the length of the interval between the white lines having a broken line is used as a threshold, the determination condition of the determination unit 310 is also different from the table shown in FIG. The determination condition of the determination unit 310 is determined to be a solid line when the length of the interval between white lines having a broken line shape is equal to or smaller than a threshold value, and is determined to be a broken line when the length of the interval between white lines having a broken line shape is longer than the threshold value. As a correction term for the threshold value, -β which is a negative value is added.
比較部３０９は、閾値生成部３０８で生成された閾値と図９（ｂ）に示すｄｓ０を比較する。比較部３０９が比較した結果から、判定部３１０は、車線の境界線の種類を判定する。 The comparison unit 309 compares the threshold generated by the threshold generation unit 308 with ds0 illustrated in FIG. From the result of comparison by the comparison unit 309, the determination unit 310 determines the type of lane boundary line.
《第５実施形態》
図１７は、本発明の他の実施形態に係る車線境界線判定装置３１２を説明するための図である。本例では、上述した第１実施形態に対して、記憶部３０７と算出部３０６の結線が異なる。これ以外の構成は上述した第１実施形態と同じであるため、その記載を適宜、援用する。
<< 5th Embodiment >>
FIG. 17 is a diagram for explaining a lane boundary determination device 312 according to another embodiment of the present invention. In this example, the connection between the storage unit 307 and the calculation unit 306 is different from the first embodiment described above. Since the configuration other than this is the same as that of the first embodiment described above, the description thereof is incorporated as appropriate.
図１７に平均化したｄｔ０を算出する車線境界線判定装置３１２のブロックを示す。記憶部３０７に記憶された車線の境界線の長さは、閾値生成部３０８および算出部３０６へ出力される。記憶部３０７から算出部３０６に結ぶ結線は、フィードバックを構成し、過去に算出した車線の境界線の長さが再び算出部３０６へ入力される。 FIG. 17 shows a block of the lane boundary determination device 312 for calculating the averaged dt0. The length of the lane boundary line stored in the storage unit 307 is output to the threshold generation unit 308 and the calculation unit 306. The connection from the storage unit 307 to the calculation unit 306 constitutes feedback, and the lane boundary length calculated in the past is input to the calculation unit 306 again.
算出部３０６は、図９に示す現在の車線の境界線の長さｄｔ０に、過去に算出した車線の境界線の長さ（ｄｔ１以降）を使用し、これら境界線の長さの平均処理を行うことで、現時刻の車線長を推定している。このとき、平均処理を行う際の、過去に算出した境界線の長さ（ｄｔ１以降）の数は一定の値としているため、当該過去の境界線の長さで示される実空間上の距離は一定になる。 The calculation unit 306 uses the lane boundary length calculated in the past (from dt1) as the current lane boundary length dt0 shown in FIG. 9, and performs an average process of these boundary lengths. By doing so, the lane length at the current time is estimated. At this time, since the number of boundary lengths (after dt1) calculated in the past when performing the averaging process is a constant value, the distance in the real space indicated by the length of the past boundary line is It becomes constant.
図９に示すように、記憶部３０７において、境界線の長さ（ｄｔ１、ｄｔ２・・・ｄｔＮ）の数は、車速に依存せずに、実際に車両が走行する距離（予め設定された距離）で決まる。一方、１つの境界線の長さ（例えばｄｔ１）に含まれる情報の数、言い換えると、輝度に基づく電気信号の数は、車速に対応している。すなわち、車速が大きいほど、１つの境界線の長さに含まれる情報の数は少なくなり、車速が小さいほど、１つの境界線の長さに含まれる情報の数は多くなる。 As shown in FIG. 9, in the storage unit 307, the number of boundary lengths (dt1, dt2,... DtN) does not depend on the vehicle speed, and the distance that the vehicle actually travels (preset distance). ) On the other hand, the number of pieces of information included in the length of one boundary line (for example, dt1), in other words, the number of electrical signals based on luminance corresponds to the vehicle speed. That is, as the vehicle speed increases, the number of information included in the length of one boundary line decreases, and as the vehicle speed decreases, the number of information included in the length of one boundary line increases.
そのため、算出部３０６による平均処理の際には、境界線の長さの（ｄｔ１以降）の数は、車速に依存せずに、一定の数（Ｎ）であるが、平均処理に用いられる過去に算出した境界線の情報数は、車速に対応して変化している。 Therefore, in the averaging process by the calculation unit 306, the number of boundary lengths (after dt1) is a constant number (N) without depending on the vehicle speed, but the past used in the averaging process The number of information of the boundary line calculated in the above changes in accordance with the vehicle speed.
上記のように、記憶部３０７は、低速時でも高速時でも実空間で同じ距離で情報が記憶するように、データ数を調整し、データを更新している。また記憶部３０７は、車速に基づいて適応的に必要なデータ数だけ記憶することができる。 As described above, the storage unit 307 adjusts the number of data and updates the data so that the information is stored at the same distance in the real space both at low speed and at high speed. In addition, the storage unit 307 can store the necessary number of data adaptively based on the vehicle speed.
また算出部３０６は、検出した実際の現在の車線の境界線の長さに加えて、過去に算出した車線の境界線の長さを使用して、現在の車線の境界線の長さを算出しているため、境界線の長さｄｔ０の算出精度を高めることができる。 In addition to the detected actual current lane boundary length, the calculation unit 306 calculates the length of the current lane boundary line using the previously calculated lane boundary length. Therefore, the calculation accuracy of the boundary line length dt0 can be increased.
本実施形態の車線境界線判定装置３１２によれば、記憶部３０７は、算出部３０６で算出された車線の境界線の長さを、過去の境界線情報として記憶し、算出部３０６は、記憶部３０７に記憶されている車線の境界線の長さの情報と、検出部３０１で検出された車線の境界線の情報とを用いて、現在の車線の境界線を算出し、現在の車線の境界線を算出する際に用いる当該過去の境界線情報の数は車速が大きいほど少なくなる。これにより、現在の車線の境界線を算出する際に、ロバスト性を高めつつ、算出精度高めることができる。 According to the lane boundary determination device 312 of the present embodiment, the storage unit 307 stores the length of the lane boundary calculated by the calculation unit 306 as past boundary line information, and the calculation unit 306 stores Using the information on the length of the lane boundary line stored in the unit 307 and the information on the lane boundary line detected by the detection unit 301, the boundary line of the current lane is calculated. The number of the past boundary line information used when calculating the boundary line decreases as the vehicle speed increases. Thereby, when calculating the boundary line of the current lane, the calculation accuracy can be improved while improving the robustness.
２０３…車線判定装置
３１２…車線境界線判定装置
３０１…検出部
３０６…算出部
３０７…記憶部
３０８…閾値生成部
３０９…比較部
３１０…判定部
３１１…車速検出部
３１３…車線判定部
203 ... Lane determination device 312 ... Lane boundary determination device 301 ... Detection unit 306 ... Calculation unit 307 ... Storage unit 308 ... Threshold generation unit 309 ... Comparison unit 310 ... Determination unit 311 ... Vehicle speed detection unit 313 ... Lane determination unit
Claims (6)
車速を検出する車速検出部と、
前記検出部で検出された前記車線の境界線の情報と前記車速検出部で検出された車速とに基づいて前記車線の境界線の長さを算出する算出部と、
前記算出部で算出された前記車線の境界線の長さを記憶する記憶部と、
前記記憶部で記憶された前記車線の境界線の長さから所定の長さの閾値を生成する閾値生成部と、
前記算出部で算出された前記車線の境界線の長さと前記閾値生成部で生成された前記閾値との大小関係を比較する比較部と、
前記比較部の結果から、前記車線の境界線が実線か破線かを判定する判定部を備える
ことを特徴とする車線境界線判定装置。 A detection unit that detects a boundary line of a lane from an image captured by an imaging unit provided in the vehicle;
A vehicle speed detector for detecting the vehicle speed;
A calculation unit that calculates the length of the boundary line of the lane based on the information on the boundary line of the lane detected by the detection unit and the vehicle speed detected by the vehicle speed detection unit;
A storage unit that stores the length of the boundary line of the lane calculated by the calculation unit;
A threshold generating unit that generates a threshold of a predetermined length from the length of the boundary line of the lane stored in the storage unit;
A comparison unit for comparing a magnitude relationship between the length of the boundary line of the lane calculated by the calculation unit and the threshold value generated by the threshold value generation unit;
A lane boundary determination device, comprising: a determination unit that determines whether a boundary line of the lane is a solid line or a broken line based on a result of the comparison unit.
前記加速度が所定の加速度より大きい場合には、前記判定部は前記車線の境界線の種類を判定しない
ことを特徴とする請求項１に記載の車線境界線判定装置。 The calculation unit calculates acceleration from the time change of the vehicle speed,
The lane boundary determination device according to claim 1, wherein the determination unit does not determine the type of boundary line of the lane when the acceleration is greater than a predetermined acceleration.
前記判定部は、
前記車線の境界線の長さが前記閾値以上である場合には実線と判定し、
前記車線の境界線の長さが前記判定値以上かつ前記閾値未満である場合には破線と判定し、
前記車線の境界線の長さが前記判定値未満の場合は車線の境界線が無いと判定する
ことを特徴とする請求項１乃至２のいずれか１項に記載の車線境界線判定装置。 The comparison unit compares the threshold value and a determination value smaller than the threshold value with the length of the boundary line of the lane,
The determination unit
When the length of the boundary line of the lane is equal to or greater than the threshold, it is determined as a solid line,
When the length of the boundary line of the lane is not less than the determination value and less than the threshold value, it is determined as a broken line,
3. The lane boundary determination device according to claim 1, wherein if the length of the lane boundary is less than the determination value, it is determined that there is no lane boundary. 4.
前記算出部は、算出された前記車線の境界線の長さと前記閾値生成部で生成された前記平均値との差分を算出し、
前記差分が所定値より大きい場合には、前記判定部は前記車線の境界線の種類を判定しない
ことを特徴とする請求項１乃至３のいずれか１項に記載の車線境界線判定装置。 The threshold generation unit generates the threshold from an average value obtained using the lengths of boundary lines of the plurality of lanes stored in the storage unit,
The calculation unit calculates a difference between the calculated boundary length of the lane and the average value generated by the threshold generation unit,
4. The lane boundary line determination device according to claim 1, wherein when the difference is larger than a predetermined value, the determination unit does not determine the type of the boundary line of the lane. 5.
前記算出部は、
前記記憶部に記憶されている前記車線の境界線の長さの情報と、前記検出部で検出された前記車線の境界線の情報とを用いて、現在の前記車線境界線を算出し、
前記現在の車線の境界線を算出する際に用いる前記境界線情報の数は前記車速が大きいほど少なくなる
ことを特徴とする請求項１乃至４のいずれか１項に記載の車線境界線判定装置。 The storage unit stores the length of the boundary line of the lane calculated by the calculation unit as past boundary line information,
The calculation unit includes:
Using the information on the length of the boundary line of the lane stored in the storage unit and the information on the boundary line of the lane detected by the detection unit, the current lane boundary line is calculated,
5. The lane boundary line determination device according to claim 1, wherein the number of the boundary line information used when calculating the boundary line of the current lane decreases as the vehicle speed increases. 6. .
前記判定部の判定結果に基づいて走行車両の車線の種類を判定する車線判定部を備え
前記検出部は、左右の前記車線の境界線を検出し、
前記車線判定部は、
左の前記車線の境界線が破線かつ右の前記車線の境界線が実線の場合は、右車線と判定し、
左の前記車線の境界線が実線かつ右の前記車線の境界線が破線の場合は、左車線と判定し、
前記右車線および前記左車線と判定しない場合に、中央車線と判定する
ことを特徴とする車線判定装置。 A lane boundary determination device according to any one of claims 1 to 5,
A lane determination unit that determines the type of lane of the traveling vehicle based on the determination result of the determination unit, the detection unit detects a boundary line of the left and right lanes,
The lane determination unit
When the left lane boundary is a broken line and the right lane boundary is a solid line, it is determined as a right lane,
When the boundary line of the left lane is a solid line and the boundary line of the right lane is a broken line, it is determined as a left lane,
A lane determination device that determines a central lane when the right lane and the left lane are not determined.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013201224A JP2015069292A (en) | 2013-09-27 | 2013-09-27 | Lane marking determination device and lane determination device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013201224A JP2015069292A (en) | 2013-09-27 | 2013-09-27 | Lane marking determination device and lane determination device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015069292A true JP2015069292A (en) | 2015-04-13 |
Family
ID=52835925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013201224A Pending JP2015069292A (en) | 2013-09-27 | 2013-09-27 | Lane marking determination device and lane determination device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015069292A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017111632A (en) * | 2015-12-16 | 2017-06-22 | トヨタ自動車株式会社 | Information arithmetic processor |
| JP2018005837A (en) * | 2016-07-08 | 2018-01-11 | 株式会社デンソー | Section line recognition apparatus |
| CN113157827A (en) * | 2020-01-22 | 2021-07-23 | 阿里巴巴集团控股有限公司 | Lane type generation method and device, data processing equipment and storage medium |
-
2013
- 2013-09-27 JP JP2013201224A patent/JP2015069292A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017111632A (en) * | 2015-12-16 | 2017-06-22 | トヨタ自動車株式会社 | Information arithmetic processor |
| US10108865B2 (en) | 2015-12-16 | 2018-10-23 | Toyota Jidosha Kabushiki Kaisha | Information calculation device |
| JP2018005837A (en) * | 2016-07-08 | 2018-01-11 | 株式会社デンソー | Section line recognition apparatus |
| CN113157827A (en) * | 2020-01-22 | 2021-07-23 | 阿里巴巴集团控股有限公司 | Lane type generation method and device, data processing equipment and storage medium |
| CN113157827B (en) * | 2020-01-22 | 2023-10-10 | 阿里巴巴集团控股有限公司 | Lane type generation method and device, data processing equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106183979B (en) | A kind of method and apparatus reminded according to spacing vehicle | |
| JP6272204B2 (en) | Road lane marking information acquisition device | |
| JPWO2017009923A1 (en) | Self-position estimation apparatus and self-position estimation method | |
| JP2014013450A (en) | Lane departure determination apparatus, lane departure warning apparatus, and vehicle control system using the same | |
| JPWO2013133129A1 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
| JPWO2015125298A1 (en) | Self-position calculation device and self-position calculation method | |
| JPWO2012001896A1 (en) | Vehicle traveling path estimation device | |
| US11473921B2 (en) | Method of following a vehicle | |
| JP2014139766A (en) | Road surface shape estimation device | |
| JPWO2019044625A1 (en) | Collision prediction device, collision prediction method and program | |
| JPWO2017158964A1 (en) | Image processing apparatus, mobile device control system, image processing program, and image processing method | |
| JP2015069292A (en) | Lane marking determination device and lane determination device | |
| CN107735826B (en) | Signal machine detecting device and semaphore detection method | |
| WO2014061446A1 (en) | Stereo image processing device and stereo image processing method | |
| JP2016099719A (en) | Travel section line recognition apparatus | |
| JPWO2016151976A1 (en) | MOBILE BODY DETECTING DEVICE, IMAGE PROCESSING DEVICE, MOBILE BODY DETECTING METHOD, AND INTEGRATED CIRCUIT | |
| JP2017090159A (en) | Vehicle pitch angle estimation device | |
| JP5109074B2 (en) | Vehicle speed determination device and vehicle speed determination method | |
| JP2021043838A (en) | Information processing device, control method, program and storage medium | |
| JP2020118575A (en) | Inter-vehicle distance measurement device, error model generation device, learning model generation device, and method and program thereof | |
| JP5832850B2 (en) | Lane monitoring system and lane monitoring method | |
| JP2012185562A (en) | Lane deviation alarm control device | |
| JP5559650B2 (en) | Lane estimation device | |
| JP5490633B2 (en) | Vehicle traveling path estimation device | |
| JP2011209070A (en) | Image processor |