JP2014075145A - Vehicle traveling support device - Google Patents
Vehicle traveling support device Download PDFInfo
- Publication number
- JP2014075145A JP2014075145A JP2013249641A JP2013249641A JP2014075145A JP 2014075145 A JP2014075145 A JP 2014075145A JP 2013249641 A JP2013249641 A JP 2013249641A JP 2013249641 A JP2013249641 A JP 2013249641A JP 2014075145 A JP2014075145 A JP 2014075145A
- Authority
- JP
- Japan
- Prior art keywords
- edge point
- lane mark
- vehicle
- point sequence
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両に搭載されている撮像装置を通じて得られた画像に基づいてこの車両の周辺を監視する装置等に関する。 The present invention relates to a device for monitoring the periphery of a vehicle based on an image obtained through an imaging device mounted on the vehicle.
車両に搭載されたカメラを通じて得られた路面画像に基づき、次のように車線の種類を判別する手法が提案されている（特許文献１参照）。まず、路面画像が俯瞰画像に変換される。また、俯瞰画像において車両の走行方向に沿って複数の車線検出領域が設定される。さらに、各車線検出領域について路面幅方向に沿った輝度プロファイルが作成される。そして、車線位置における輝度プロファイルの強度のばらつき具合に基づき、当該車線が実線（連続的車線）および破線（断続的車線）のうちいずれに該当するかが判定される。 A method of discriminating the type of lane based on a road surface image obtained through a camera mounted on a vehicle has been proposed (see Patent Document 1). First, the road surface image is converted into an overhead image. Further, a plurality of lane detection areas are set along the traveling direction of the vehicle in the overhead view image. Further, a luminance profile is created along the road surface width direction for each lane detection region. Then, it is determined whether the lane corresponds to a solid line (continuous lane) or a broken line (intermittent lane) based on the intensity variation of the luminance profile at the lane position.
しかし、車両が比較的曲率の高い道路を走行しているとき、輝度プロファイルの強度プロファイルが道路の幅方向ににぶくなってしまうため、レーンマークの種類の判定精度が低下する可能性が高い。また、タイヤ痕、埃または降雨による湿潤等の外乱の影響により、路面およびレーンマークの輝度が大きく変化している状況では、前記のような輝度プロファイルに基づく手法による当該レーンマークの種類の判定精度が低下する蓋然性が高い。このため、レーンマークの種類の判定結果に応じた車両の挙動制御が、実際のレーンマークの種類に鑑みて不適当になる可能性がある。 However, when the vehicle is traveling on a road with a relatively high curvature, the intensity profile of the luminance profile falls in the width direction of the road, so that there is a high possibility that the determination accuracy of the type of lane mark is lowered. Also, in the situation where the brightness of the road surface and lane mark changes greatly due to the influence of disturbance such as tire marks, dust or wetness due to rainfall, the accuracy of determining the type of the lane mark by the method based on the brightness profile as described above Is likely to decline. For this reason, the behavior control of the vehicle according to the determination result of the lane mark type may become inappropriate in view of the actual lane mark type.
そこで、本発明は、車両の走行状況および外乱の影響を軽減して、レーンマークの種類の判定精度の向上を図るとともに、その判定結果に応じて車両の走行を適当に支援しうる装置を提供することを解決課題とする。 Accordingly, the present invention provides an apparatus capable of reducing the influence of the vehicle running situation and disturbance, improving the accuracy of determining the type of lane mark, and appropriately supporting the vehicle running according to the determination result. To solve it.
前記課題を解決するための本発明の第１態様としての車両走行支援装置は、車両に搭載されている撮像装置を通じて得られた前記車両が走行している道路の画像に基づき、前記車両の走行を支援する車両走行支援装置であって、前記画像において走査方向について輝度が閾値を超えて変化する複数のエッジ点であって、前記車両の走行帯の左側および右側のそれぞれを画定するレーンマークに該当する可能性がある形態で並んでいる複数のエッジ点により構成されているエッジ点列を抽出する第１演算処理要素と、異なる時刻に得られた複数の前記画像のそれぞれに基づき、前記第１演算処理要素により抽出された前記エッジ点列を構成するエッジ点の数の時系列的な安定度を評価し、前記安定度が閾値を超えているか否かに応じて前記エッジ点列に相当するレーンマークが連続的レーンマークおよび断続的レーンマークのうちいずれに該当するかを判定する第２演算処理要素とを備えていることを特徴とする。 A vehicle travel support apparatus according to a first aspect of the present invention for solving the above problem is based on an image of a road on which the vehicle travels obtained through an imaging device mounted on the vehicle. A plurality of edge points whose luminance changes beyond a threshold in the scanning direction in the image, the lane marks defining the left side and the right side of the traveling zone of the vehicle. Based on each of the first arithmetic processing element that extracts an edge point sequence composed of a plurality of edge points arranged in a form that may be applicable, and the plurality of images obtained at different times, the first A time-series stability of the number of edge points constituting the edge point sequence extracted by one arithmetic processing element is evaluated, and the edge is determined depending on whether the stability exceeds a threshold value. Wherein the lane mark corresponds to the point sequence is a second arithmetic processing element determines corresponds to any of a continuous lane marks and intermittent lane marks.
本発明の第１態様としての車両走行支援装置によれば、レーンマークに相当するエッジ点列は車両の走行状況および外乱の影響をさほど受けずに高精度で抽出される。そして、エッジ点列を構成するエッジ点の数の時系列的な安定性に基づき、当該エッジ点列に相当するレーンマークが連続的レーンマークおよび断続的レーンマークのうちいずれに該当するかが判定される。 According to the vehicle travel support apparatus as the first aspect of the present invention, the edge point sequence corresponding to the lane mark is extracted with high accuracy without being significantly affected by the travel state of the vehicle and the disturbance. Based on the time-series stability of the number of edge points constituting the edge point sequence, it is determined whether the lane mark corresponding to the edge point sequence corresponds to a continuous lane mark or an intermittent lane mark. Is done.
連続的レーンマークに相当するエッジ点列を構成するエッジ点の数は時系列的に比較的安定である一方、断続的レーンマークに相当するエッジ点列を構成するエッジ点の数は時系列的に比較的不安定である。この性質に鑑みて、前記手法によりレーンマークの種類が高精度で判定されうる。そして、レーンマークの種類の判定結果に応じて車載機器の動作が適当に制御されうる。 The number of edge points constituting the edge point sequence corresponding to the continuous lane mark is relatively stable in time series, while the number of edge points constituting the edge point sequence corresponding to the intermittent lane mark is time series. Is relatively unstable. In view of this property, the type of lane mark can be determined with high accuracy by the above method. The operation of the in-vehicle device can be appropriately controlled according to the determination result of the type of lane mark.
前記課題を解決するための本発明の第２態様としての車両走行支援装置は、車両に搭載されている撮像装置を通じて得られた前記車両が走行している道路の画像に基づき、前記車両の走行を支援する車両走行支援装置であって、前記画像において走査方向について輝度が閾値を超えて変化する複数のエッジ点であって、前記車両の走行帯の左側および右側のそれぞれを画定するレーンマークに該当する可能性がある形態で並んでいる複数のエッジ点により構成されているエッジ点列を抽出するとともに、前記走行帯の少なくとも左右片側に複数の前記エッジ点列がある状況では前記走行帯の最も内側寄りの一のエッジ点列を優先的に抽出する１演算処理要素と、前記第１演算処理要素により抽出された前記エッジ点列の前記走行帯の幅方向についての位置の安定度を評価し、前記安定度が閾値を超えているか否かに応じて前記エッジ点列に相当するレーンマークが、前記走行帯の内側寄りの断続的レーンマークおよび前記走行帯の外側寄りの連続的レーンマークにより構成されている複合レーンマークに該当するか否かを判定する第２演算処理要素とを備えていることを特徴とする。 A vehicle travel support apparatus according to a second aspect of the present invention for solving the above problem is based on an image of a road on which the vehicle travels obtained through an imaging device mounted on the vehicle. A plurality of edge points whose luminance changes beyond a threshold in the scanning direction in the image, the lane marks defining the left side and the right side of the traveling zone of the vehicle. In the situation where there is a plurality of edge point sequences on at least one of the left and right sides of the traveling zone, the edge point sequence composed of a plurality of edge points arranged in a form that may be applicable is extracted. One calculation processing element that preferentially extracts the edge point sequence closest to the innermost side, and the edge point sequence extracted by the first calculation processing element in the width direction of the traveling zone The lane mark corresponding to the edge point sequence is an intermittent lane mark closer to the inner side of the traveling zone and the traveling zone, depending on whether the stability exceeds a threshold value. And a second arithmetic processing element for determining whether or not the composite lane mark is constituted by a continuous lane mark on the outer side.
本発明の第２態様としての車両走行支援装置によれば、レーンマークに相当するエッジ点列は車両の走行状況および外乱の影響をさほど受けずに高精度で抽出される。また、走行帯の少なくとも左右片側に複数のエッジ点列が存在する場合、最も内側の一のエッジ点列が優先的に抽出される。そして、走行帯の幅方向についてのエッジ点列の位置の安定性に基づき、当該エッジ点列に相当するレーンマークが複合レーンマークに該当するか否かが判定される。 According to the vehicle travel support apparatus as the second aspect of the present invention, the edge point sequence corresponding to the lane mark is extracted with high accuracy without being significantly affected by the travel state of the vehicle and the disturbance. Further, when there are a plurality of edge point sequences on at least one of the left and right sides of the traveling zone, the innermost edge point sequence is preferentially extracted. Then, based on the stability of the position of the edge point sequence in the width direction of the traveling zone, it is determined whether or not the lane mark corresponding to the edge point sequence corresponds to the composite lane mark.
複合レーンマークは走行帯の内側寄りの断続的レーンマークと、走行帯の外側寄りの連続的レーンマークとにより構成されている。このため、複合レーンマークに相当するエッジ点列の走行帯の幅方向についての位置は比較的不安定になる。この性質に鑑みて、前記手法によりレーンマークの種類が高精度で判定されうる。そして、レーンマークの種類の判定結果に応じて車載機器の動作が適当に制御されうる。 The composite lane mark is composed of an intermittent lane mark closer to the inner side of the travel zone and a continuous lane mark closer to the outer side of the travel zone. For this reason, the position of the edge point sequence corresponding to the composite lane mark in the width direction of the traveling zone becomes relatively unstable. In view of this property, the type of lane mark can be determined with high accuracy by the above method. The operation of the in-vehicle device can be appropriately controlled according to the determination result of the type of lane mark.
本発明の車両走行支援装置の実施形態について図面を用いて説明する。 An embodiment of a vehicle travel support device of the present invention will be described with reference to the drawings.
図１に示されている車両（四輪自動車）１には、ＣＣＤカメラ、ＣＭＯＳイメージセンサや近赤外線カメラ等のカメラ（撮像装置）１２と、車両走行支援装置１０とが搭載されている。カメラ１２は車両１の前方の様子をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。なお、カメラ１２の配置箇所は車両１のダッシュボードの上またはフロント部分等に適宜変更されてもよい。カメラ１２の撮像素子の位置に原点Ｏが配置され、車両１の前方向を＋ｘ方向とし、車両１の左方向を＋ｙ方向とし、かつ、車両１の上方向を＋ｚ方向とする車両座標系が定義されている。 A vehicle (four-wheeled vehicle) 1 shown in FIG. 1 is equipped with a camera (imaging device) 12 such as a CCD camera, a CMOS image sensor or a near infrared camera, and a vehicle travel support device 10. The camera 12 is attached to the interior space so as to capture an image of the front of the vehicle 1 through the front window. In addition, the arrangement | positioning location of the camera 12 may be suitably changed on the dashboard of the vehicle 1, or a front part. An origin O is arranged at the position of the image sensor of the camera 12, a vehicle coordinate system in which the forward direction of the vehicle 1 is the + x direction, the left direction of the vehicle 1 is the + y direction, and the upward direction of the vehicle 1 is the + z direction. Is defined.
車両１には図２に示されているように、車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６等のセンサと、操舵装置１４と、制動装置１６と、報知装置１８とがさらに搭載されている。車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。 As shown in FIG. 2, the vehicle 1 further includes sensors such as a vehicle speed sensor 122, an acceleration sensor 124, and a yaw rate sensor 126, a steering device 14, a braking device 16, and a notification device 18. . Each of the vehicle speed sensor 122, the acceleration sensor 124, and the yaw rate sensor 126 outputs signals corresponding to the speed, acceleration, and yaw rate of the vehicle 1, respectively.
車両走行支援装置１０はＥＣＵ（電子制御ユニット（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。））により構成されている。車両走行支援装置１０にはカメラ１２および速度センサ１２２等からの出力信号が入力される。ＣＰＵにより車両走行支援プログラムがメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両１に配信または放送され、車載コンピュータのメモリに保存されてもよい。 The vehicle travel support device 10 is constituted by an ECU (electronic control unit (CPU, ROM, RAM, and electronic circuits such as an I / O circuit and an A / D conversion circuit)). Output signals from the camera 12 and the speed sensor 122 are input to the vehicle travel support device 10. The vehicle driving support program is read from the memory by the CPU, and various processes described later are executed according to the read program. The program may be distributed or broadcast from the server to the vehicle 1 via a network or satellite at an arbitrary timing, and stored in the memory of the in-vehicle computer.
車両走行支援装置１０は第１演算処理要素１１０と、第２演算処理要素１２０と、車両制御装置１００とを備えている。なお、第１演算処理要素１１および第２演算処理要素１２のそれぞれを構成する演算回路等のハードウェア資源は、物理的に一部または全部が共通であってもよく、物理的に完全に別個であってもよい。第１演算処理要素１１０および第２演算処理要素１２０を備えているＥＣＵと、車両制御装置１００を構成するＥＣＵとが別個に設けられていてもよい。 The vehicle travel support device 10 includes a first arithmetic processing element 110, a second arithmetic processing element 120, and a vehicle control device 100. Note that some or all of the hardware resources such as the arithmetic circuits constituting each of the first arithmetic processing element 11 and the second arithmetic processing element 12 may be physically common or physically completely separate. It may be. The ECU including the first arithmetic processing element 110 and the second arithmetic processing element 120 and the ECU constituting the vehicle control device 100 may be provided separately.
第１演算処理要素１１０はカメラ１２を通じて得られた画像に基づき、車両１の走行帯の左側および右側のそれぞれを画定するレーンマークに該当する可能性があるエッジ点列を抽出する。第１演算処理要素１１０はレーンマークの色彩を認識する。 Based on the image obtained through the camera 12, the first arithmetic processing element 110 extracts an edge point sequence that may correspond to a lane mark that defines the left side and the right side of the traveling zone of the vehicle 1. The first arithmetic processing element 110 recognizes the color of the lane mark.
第２演算処理要素１２０は第１演算処理要素１１０による抽出結果および認識結果に基づき、左側および右側のそれぞれのレーンマークの種類を判定する。 The second arithmetic processing element 120 determines the type of each lane mark on the left side and the right side based on the extraction result and the recognition result by the first arithmetic processing element 110.
車両制御装置１００は左右のレーンマークにより左右が画定される走行帯から車両１が外れないように操舵装置１４および制動装置１６の一方または両方の動作を制御している。また、車両制御装置１００は報知装置１８を構成するインジケータ（インストルメントパネルの表示計部分に配置されている。）を通じて、当該制御が実行されていることを運転者に視覚的に放置している。車両制御装置１００は第２演算処理要素１２０による判定結果に基づき、操舵装置１４、制動装置１６および報知装置１８の動作を制御する。 The vehicle control device 100 controls the operation of one or both of the steering device 14 and the braking device 16 so that the vehicle 1 does not deviate from the travel zone defined by the left and right lane marks. Further, the vehicle control device 100 visually leaves the driver that the control is being executed through an indicator (disposed in the display meter portion of the instrument panel) constituting the notification device 18. . The vehicle control device 100 controls operations of the steering device 14, the braking device 16, and the notification device 18 based on the determination result by the second arithmetic processing element 120.
前記構成の車両走行支援装置１０の機能について説明する。 The function of the vehicle travel support apparatus 10 having the above configuration will be described.
まず、カメラ１２を通じて車両１が走行している道路を含むディジタル画像が取得される。これにより、たとえば図４（ａ）に示されているようなディジタル画像が取得される。 First, a digital image including a road on which the vehicle 1 is traveling is acquired through the camera 12. Thereby, for example, a digital image as shown in FIG. 4A is acquired.
また、第１演算処理要素１１０により、ディジタル画像に基づいて車両１の走行帯の左右を画定するレーンマークに相当するエッジ点列が抽出される（図３／ＳＴＥＰ００２）。エッジ点列の抽出方法は、たとえば特許第３８９８７０９号公報に詳細に記載されているので、ここではその概要を説明するにとどめる。具体的には、まず、ディジタル画像に対してエッジ抽出処理が施されることによりエッジ画像が生成される。続いてエッジ画像に対してハフ変換処理が実行され、ハフ空間（ρ−θ空間）において標準的なレーンマークを画定する直線（線分）の存在領域に存在する線または線分上にある複数のエッジ点が抽出される。 Further, the first arithmetic processing element 110 extracts edge point sequences corresponding to lane marks that define the left and right of the traveling zone of the vehicle 1 based on the digital image (FIG. 3 / STEP002). The method for extracting the edge point sequence is described in detail in, for example, Japanese Patent No. 3898709, and only the outline thereof will be described here. Specifically, first, an edge image is generated by subjecting the digital image to edge extraction processing. Subsequently, a Hough transform process is performed on the edge image, and a line existing in a region where a straight line (line segment) defining a standard lane mark in the Hough space (ρ-θ space) or a plurality of lines on the line segment is present. Edge points are extracted.
画像の走査方向（たとえば右方向）について、前の画素と比較して輝度が閾値を超えて低下するような画素が負エッジ点として抽出される。前の画素と比較してその輝度が閾値を超えて上昇するような画素が正エッジ点として抽出される。左側レーンマークの右側の輪郭線に相当する負エッジ点列が、当該左側レーンマークに相当するエッジ点列として抽出される。右側レーンマークの左側の輪郭線に相当する正エッジ点列が、当該右側レーンマークに相当するエッジ点列として抽出される。これにより、たとえば図４（ｂ）に「○」で示されている複数のエッジ点により構成される左右それぞれのエッジ点列が抽出される。異なる時刻に取得された複数のディジタル画像のそれぞれについてエッジ点列が逐次抽出され、抽出結果がメモリに逐次保存される。 In the image scanning direction (for example, the right direction), a pixel whose luminance falls below a threshold value as compared with the previous pixel is extracted as a negative edge point. A pixel whose luminance is higher than a threshold value compared to the previous pixel is extracted as a positive edge point. A negative edge point sequence corresponding to the right outline of the left lane mark is extracted as an edge point sequence corresponding to the left lane mark. A regular edge point sequence corresponding to the left outline of the right lane mark is extracted as an edge point sequence corresponding to the right lane mark. As a result, for example, left and right edge point sequences constituted by a plurality of edge points indicated by “◯” in FIG. 4B are extracted. Edge point sequences are sequentially extracted for each of a plurality of digital images acquired at different times, and the extraction results are sequentially stored in a memory.
エッジ点列の抽出範囲として、図４（ａ）（ｂ）に示されているように破線で囲まれている監視範囲Ｋが設定されている。図５に示されているように車両１の前方であって、一点鎖線で左右が画定されているカメラ１２の撮像範囲に配置され、かつ、鳥瞰した際に実空間座標系（図１参照）のＸ軸およびＺ軸のそれぞれに平行な辺を有する矩形状の範囲が監視範囲Ｋとして設定されている。実空間における監視範囲Ｋの幅ＹＫは、左右のレーンマークの標準的な幅Ｙより若干広め（たとえば、ＹＫ＝１．１〜１．２Ｙ）に設定されている。実空間における監視範囲Ｋの奥行きＸＫは、レーンマークの一種である破線の標準的な長さＸ１および道路に沿った配置間隔Ｘ２の和の整数倍と異なる値（たとえば、ＸＫ＝１．３〜１．７（Ｘ１＋Ｘ２））に設定されている。 As an edge point sequence extraction range, a monitoring range K surrounded by a broken line is set as shown in FIGS. As shown in FIG. 5, the vehicle is located in front of the vehicle 1, is located in the imaging range of the camera 12 that is demarcated by the alternate long and short dash line, and is a real space coordinate system when viewed from the bird's-eye view (see FIG. 1). A rectangular range having sides parallel to the X axis and the Z axis is set as the monitoring range K. The width YK of the monitoring range K in the real space is set slightly larger than the standard width Y of the left and right lane marks (for example, YK = 1.1 to 1.2Y). The depth XK of the monitoring range K in the real space is a value different from an integral multiple of the standard length X1 of a broken line which is a kind of lane mark and the arrangement interval X2 along the road (for example, XK = 1.3 to 1.7 (X1 + X2)).
監視範囲Ｋは車速が高くなるほど奥行きＸＫが長くなる、あるいは、その左右を画定するラインがヨーレートに応じて変形される等、車両１の挙動状態に応じて適宜形状または姿勢が変更されてもよい。 In the monitoring range K, the depth XK becomes longer as the vehicle speed becomes higher, or the shape or posture may be changed as appropriate according to the behavior state of the vehicle 1 such that the line defining the left and right is deformed according to the yaw rate. .
さらに、第１演算処理要素１１０により、レーンマークの色彩が認識される（図３／ＳＴＥＰ００４）。色彩のうち色相のみが認識されてもよい。これにより、レーンマークが「白色」または「黄色」等であることが認識される。 Further, the color of the lane mark is recognized by the first arithmetic processing element 110 (FIG. 3 / STEP004). Only the hue of the color may be recognized. Thereby, it is recognized that the lane mark is “white” or “yellow”.
続いて、第２演算処理要素１２０により第１演算処理要素１１０により抽出されたエッジ点列に相当するレーンマークの種類が判定される（図３／ＳＴＥＰ００６）。 Subsequently, the type of lane mark corresponding to the edge point sequence extracted by the first arithmetic processing element 110 is determined by the second arithmetic processing element 120 (FIG. 3 / STEP006).
具体的には、カメラ１２を通じて異なる時刻に取得された複数の画像のそれぞれに基づき、第１演算処理要素１１０により逐次抽出された左右のエッジ点列を構成するエッジ点の数が計測される。また、エッジ点列を構成するエッジ点の計測数の時系列的な分散値が、当該エッジ点列を構成するエッジ点の数の時系列的な安定度として算出される。これにより、左側および右側のそれぞれのエッジ点列について、たとえば図６（ａ）および（ｂ）のそれぞれに示されているようにフレーム数（時刻を表わしている。）に応じて、エッジ点の数が逐次計測され、かつ、分散値が逐次算出される。 Specifically, the number of edge points constituting the left and right edge point sequences sequentially extracted by the first arithmetic processing element 110 is measured based on each of a plurality of images acquired at different times through the camera 12. Further, a time-series variance value of the number of measurement of the edge points constituting the edge point sequence is calculated as the time-series stability of the number of edge points constituting the edge point sequence. Thus, for each of the left and right edge point sequences, for example, as shown in FIGS. 6 (a) and 6 (b), the edge point sequences are represented according to the number of frames (representing time). Numbers are measured sequentially and variance values are calculated sequentially.
図６（ａ）に示されているように、エッジ点の計測数が指定範囲（たとえば１３〜１５）に収まる程度に時間経過によって安定しており、計測数の時系列的な分散値が閾値（たとえば１．０〜３．０の間の値）以下であることを要件として、当該エッジ点列に相当するレーンマークが「実線」に該当すると判定される。 As shown in FIG. 6A, the number of measurement of edge points is stable over time so that it falls within a specified range (for example, 13 to 15), and the time-series variance of the number of measurements is a threshold value. It is determined that the lane mark corresponding to the edge point sequence corresponds to a “solid line” on the condition that it is equal to or smaller than (for example, a value between 1.0 and 3.0).
その一方、図６（ｂ）に示されているようにエッジ点の計測数が指定範囲を出入りする程度に振動または変化しており、計測数の時系列的な分散値が閾値を超えることを要件として、当該エッジ点列に相当するレーンマークが「破線」に該当すると判定される。 On the other hand, as shown in FIG. 6B, the measurement number of the edge point oscillates or changes to such an extent that it enters and leaves the specified range, and the time-series variance value of the measurement number exceeds the threshold value. As a requirement, it is determined that the lane mark corresponding to the edge point sequence corresponds to the “broken line”.
ただし、図７に示されているようにレーンマークが走行帯内側寄りの破線と、走行帯外側寄りの実線とにより構成されている多重線（複合レーンマーク）に該当する場合も、エッジ点の計測数は時系列的に安定する可能性がある。これは、走行帯の少なくとも左右片側に複数のエッジ点列がある状況では、第１演算処理要素１１０により当該複数のエッジ点列のうち走行帯の最も内側寄りの一のエッジ点列が優先的に抽出されることに起因している。 However, as shown in FIG. 7, even when the lane mark corresponds to a multiple line (composite lane mark) composed of a broken line closer to the inner side of the traveling zone and a solid line closer to the outer side of the traveling zone, The number of measurements may be stable over time. This is because, in a situation where there are a plurality of edge point sequences on at least one of the left and right sides of the traveling zone, the first arithmetic processing element 110 gives priority to the edge point sequence closest to the innermost side of the traveling zone among the plurality of edge point sequences. Due to being extracted.
そこで、エッジ点列を構成するエッジ点の計測数の時系列的な分散値が閾値以下であることに加えて、当該エッジ点列が多重線に相当しないことを更なる要件として当該エッジ点列が実線に相当すると判定される。 Therefore, in addition to the fact that the time-series variance value of the number of measurement of the edge points constituting the edge point sequence is equal to or less than the threshold value, the edge point sequence is a further requirement that the edge point sequence does not correspond to a multiple line. Is determined to correspond to a solid line.
左右のエッジ点列が多重線に該当するか否かは次のように判定される。まず、左右それぞれのエッジ点列を構成する各エッジ点の車両座標系における座標値が算定される。車両座標系におけるｚ座標値は計算の簡単のために定数に設定されうる。各エッジ点が走行帯の左右いずれの側にあるかは、そのｙ座標値の符号に応じて決定されうる。 Whether or not the left and right edge point sequences correspond to multiple lines is determined as follows. First, the coordinate value in the vehicle coordinate system of each edge point which comprises the left and right edge point sequences is calculated. The z coordinate value in the vehicle coordinate system can be set to a constant for ease of calculation. Whether each edge point is on the left or right side of the traveling zone can be determined according to the sign of the y coordinate value.
続いて、近接する左側エッジ点Ｐ+(i-1)＝(ｘ+(i-1), ｙ+(i-1))およびＰ+(i)＝(ｘ+(i), ｙ+(i))の組み合わせのすべてについてｙ座標値の偏差（以下「左偏差」という。）Δｙ+(i)＝ｙ+(i)−ｙ+(i-1)が算出される（図８／ＳＴＥＰ１１１）。 Subsequently, adjacent left edge points P + (i-1) = (x + (i-1), y + (i-1)) and P + (i) = (x + (i), y + ( The deviation of the y coordinate value (hereinafter referred to as “left deviation”) Δy + (i) = y + (i) −y + (i−1) is calculated for all the combinations i)) (FIG. 8 / STEP 111). ).
左偏差Δｙ+(i)が指定範囲の下限値−Δ（Δ＞０）未満であるか否かが判定される（図８／ＳＴＥＰ１１２）。左偏差Δｙ+(i)が指定範囲の下限値−Δ以上であると判定された場合（図８／ＳＴＥＰ１１２‥ＮＯ）、左偏差Δｙ+(i)が指定範囲の上限値Δを超えているか否かがさらに判定される（図８／ＳＴＥＰ１１３）。 It is determined whether the left deviation Δy + (i) is less than the lower limit value −Δ (Δ> 0) of the designated range (FIG. 8 / STEP 112). If it is determined that the left deviation Δy + (i) is greater than or equal to the lower limit value −Δ of the specified range (FIG. 8 / STEP 112... NO), does the left deviation Δy + (i) exceed the upper limit value Δ of the specified range? It is further determined whether or not (FIG. 8 / STEP 113).
左偏差Δｙ+(i)が指定範囲の下限値−Δ未満であると判定された場合（図８／ＳＴＥＰ１１２‥ＹＥＳ）、左エッジ点Ｐ+(i)は多重線を構成する破線のエッジ点に相当すると判定される（図８／ＳＴＥＰ１１４）。左偏差Δｙ+(i)が指定範囲の上限値Δを超えていると判定された場合（図８／ＳＴＥＰ１１３‥ＹＥＳ）、左エッジ点Ｐ+(i)は実線のエッジ点に相当すると判定される（図８／ＳＴＥＰ１１５）。左偏差Δｙ+(i)が指定範囲から外れている左エッジ点Ｐ+(i)の数が「左エッジ点列の走行帯の幅方向についての位置の安定度」に相当し、「０」が当該安定度の閾値に該当する。 When it is determined that the left deviation Δy + (i) is less than the lower limit value −Δ of the specified range (FIG. 8 / STEP 112... YES), the left edge point P + (i) is the edge point of the broken line that forms the multiple line. (STEP 114 in FIG. 8). When it is determined that the left deviation Δy + (i) exceeds the upper limit value Δ of the specified range (FIG. 8 / STEP 113... YES), the left edge point P + (i) is determined to correspond to a solid edge point. (FIG. 8 / STEP 115). The number of left edge points P + (i) whose left deviation Δy + (i) is out of the specified range corresponds to “the stability of the position in the width direction of the traveling zone of the left edge point sequence”, and “0”. Corresponds to the stability threshold.
左偏差Δｙ+(i)が指定範囲に含まれると判定された場合（図８／ＳＴＥＰ１１３‥ＮＯ）、左エッジ点Ｐ+(i)は左エッジ点Ｐ+(i-1)と同種のレーンマークのエッジ点に相当すると判定される（図８／ＳＴＥＰ１１６）。 When it is determined that the left deviation Δy + (i) is included in the specified range (FIG. 8 / STEP113... NO), the left edge point P + (i) is the same type of lane as the left edge point P + (i-1). It is determined that it corresponds to the edge point of the mark (FIG. 8 / STEP 116).
なお、左エッジ点Ｐ+(i)は左エッジ点Ｐ+(i-1)と同種のレーンマークに相当すると認識され、かつ、続く左エッジ点Ｐ+(i+1)が破線（多重線を構成する。）のエッジ点に相当すると判定された場合、左エッジ点Ｐ+(i-1)およびＰ+(i)はともに実線（多重線を構成する。）のエッジ点に相当すると認識される。また、左エッジ点Ｐ+(i)は左エッジ点Ｐ+(i-1)と同種のレーンマークに相当すると認識され、かつ、続く左エッジ点Ｐ+(i+1)が実線（多重線を構成する。）のエッジ点に相当すると判定された場合、左エッジ点Ｐ+(i-1)およびＰ+(i)はともに破線（多重線を構成する。）のエッジ点に相当すると認識される。さらに、すべての左エッジ点Ｐ+(i)および左エッジ点Ｐ+(i-1)の組み合わせが同種のレーンマークに相当すると認識された場合、すべての左エッジ点Ｐ+(i)は実線のエッジ点に相当すると認識される（図７参照）。 The left edge point P + (i) is recognized to correspond to the same type of lane mark as the left edge point P + (i-1), and the subsequent left edge point P + (i + 1) is a broken line (multiple line). The left edge points P + (i-1) and P + (i) are both recognized as the edge points of a solid line (which constitutes a multiple line). Is done. Further, the left edge point P + (i) is recognized to correspond to the same type of lane mark as the left edge point P + (i-1), and the subsequent left edge point P + (i + 1) is a solid line (multiple line). The left edge points P + (i-1) and P + (i) are both recognized as the edge points of a broken line (which constitutes a multiple line). Is done. Furthermore, when it is recognized that the combination of all left edge points P + (i) and left edge points P + (i-1) corresponds to the same kind of lane mark, all left edge points P + (i) are solid lines. (See FIG. 7).
同様に、近接する右側エッジ点Ｐ-(i-1)＝(ｘ-(i-1), ｙ-(i-1))およびＰ-(i)＝(ｘ-(i), ｙ-(i))の組み合わせのすべてについてｙ座標値の偏差（以下「右偏差」という。）Δｙ-(i) ＝ｙ-(i)−ｙ-(i-1)が算出される（図８／ＳＴＥＰ１２１）。 Similarly, adjacent right edge points P- (i-1) = (x- (i-1), y- (i-1)) and P- (i) = (x- (i), y- ( The deviation of the y coordinate value (hereinafter referred to as “right deviation”) Δy− (i) = y− (i) −y− (i−1) is calculated for all the combinations of i)) (FIG. 8 / STEP 121). ).
右偏差Δｙ-(i)が指定範囲の下限値−Δ（Δ＞０）未満であるか否かが判定される（図８／ＳＴＥＰ１２２）。右偏差Δｙ-(i)が指定範囲の下限値−Δ以上であると判定された場合（図８／ＳＴＥＰ１２２‥ＮＯ）、右偏差Δｙ-(i)が指定範囲の上限値Δを超えているか否かがさらに判定される（図８／ＳＴＥＰ１２３）。 It is determined whether or not the right deviation Δy− (i) is less than the lower limit value −Δ (Δ> 0) of the specified range (FIG. 8 / STEP 122). If it is determined that the right deviation Δy− (i) is greater than or equal to the lower limit value −Δ of the specified range (FIG. 8 / STEP122... NO), does the right deviation Δy− (i) exceed the upper limit value Δ of the specified range? It is further determined whether or not (FIG. 8 / STEP 123).
右偏差Δｙ-(i)が指定範囲の下限値−Δ未満であると判定された場合（図８／ＳＴＥＰ１２２‥ＹＥＳ）、右エッジ点Ｐ-(i)は実線のエッジ点に相当すると判定される（図８／ＳＴＥＰ１２４）。右偏差Δｙ-(i)が指定範囲の上限値Δを超えていると判定された場合（図８／ＳＴＥＰ１２３‥ＹＥＳ）、右エッジ点Ｐ-(i)は多重線を構成する破線のエッジ点に相当すると判定される（図８／ＳＴＥＰ１２５）。右偏差Δｙ-(i)が指定範囲から外れている右エッジ点Ｐ-(i)の数が「右エッジ点列の走行帯の幅方向についての位置の安定度」に相当し、「０」が当該安定度の閾値に該当する。 When it is determined that the right deviation Δy− (i) is less than the lower limit value −Δ of the specified range (FIG. 8 / STEP 122... YES), the right edge point P- (i) is determined to correspond to a solid edge point. (FIG. 8 / STEP 124). When it is determined that the right deviation Δy− (i) exceeds the upper limit value Δ of the specified range (FIG. 8 / STEP123... YES), the right edge point P- (i) is an edge point of a broken line that constitutes a multiple line. (FIG. 8 / STEP 125). The number of right edge points P- (i) whose right deviation Δy− (i) is out of the specified range corresponds to “the stability of the position in the width direction of the traveling zone of the right edge point sequence” and “0”. Corresponds to the stability threshold.
右偏差Δｙ-(i)が指定範囲に含まれると判定された場合（図８／ＳＴＥＰ１２３‥ＮＯ）、右エッジ点Ｐ-(i)は右エッジ点Ｐ+(i-1)と同種のレーンマークのエッジ点に相当すると判定される（図８／ＳＴＥＰ１２６）。 When it is determined that the right deviation Δy− (i) is included in the specified range (FIG. 8 / STEP123... NO), the right edge point P− (i) is the same type of lane as the right edge point P + (i−1). It is determined that it corresponds to the edge point of the mark (FIG. 8 / STEP 126).
なお、右エッジ点Ｐ-(i)は右エッジ点Ｐ-(i-1)と同種のレーンマークに相当すると認識され、かつ、続く右エッジ点Ｐ-(i+1)が破線（多重線を構成する。）のエッジ点に相当すると判定された場合、右エッジ点Ｐ-(i-1)およびＰ-(i)はともに実線（多重線を構成する。）のエッジ点に相当すると認識される（図７参照）。また、右エッジ点Ｐ-(i)は右エッジ点Ｐ-(i-1)と同種のレーンマークに相当すると認識され、かつ、続く右エッジ点Ｐ-(i+1)が実線（多重線を構成する。）のエッジ点に相当すると判定された場合、右エッジ点Ｐ-(i-1)およびＰ-(i)はともに破線（多重線を構成する。）のエッジ点に相当すると認識される（図７参照）。さらに、すべての右エッジ点Ｐ-(i)および右エッジ点Ｐ-(i-1)の組み合わせが同種のレーンマークに相当すると認識された場合、すべての右エッジ点Ｐ-(i)は実線のエッジ点に相当すると認識される。 The right edge point P- (i) is recognized to correspond to the same type of lane mark as the right edge point P- (i-1), and the subsequent right edge point P- (i + 1) is a broken line (multiple line). The right edge points P- (i-1) and P- (i) are both recognized as the edge points of a solid line (which constitutes a multiple line). (See FIG. 7). Further, the right edge point P- (i) is recognized as equivalent to the same type of lane mark as the right edge point P- (i-1), and the subsequent right edge point P- (i + 1) is a solid line (multiple line). The right edge points P- (i-1) and P- (i) are both recognized as the edge points of a broken line (which constitutes a multiple line). (See FIG. 7). Further, when it is recognized that the combination of all right edge points P- (i) and right edge points P- (i-1) corresponds to the same kind of lane mark, all right edge points P- (i) are solid lines. It is recognized that it corresponds to the edge point.
左偏差Δｙ+(i)のばらつき度合（分散値など）が閾値を超えているか否かに応じて左エッジ点列を構成するエッジ点Ｐ+(i)が全体として多重線に該当するか否かが判定されてもよい。同様に、右偏差Δｙ-(i)のばらつき度合（分散値など）が閾値を超えているか否かに応じて右エッジ点列を構成するエッジ点Ｐ-(i)が全体として多重線に該当するか否かが判定されてもよい。この場合、各エッジ点が実線および破線のうちいずれに相当するかという判定が省略されてもよい。 Whether or not the edge point P + (i) constituting the left edge point sequence as a whole corresponds to a multiple line depending on whether or not the variation degree (dispersion value etc.) of the left deviation Δy + (i) exceeds a threshold value May be determined. Similarly, the edge point P- (i) constituting the right edge point sequence corresponds to the multiple line as a whole depending on whether or not the degree of variation (variance value etc.) of the right deviation Δy- (i) exceeds the threshold value. Whether or not to do so may be determined. In this case, the determination as to whether each edge point corresponds to a solid line or a broken line may be omitted.
そのほか、次のような手順で当該エッジ点により構成されるエッジ点列が全体として多重線に相当するか否かが判定されうる。まず、車両帯の左右のうち少なくとも一方の側においてエッジ点の計測数が時系列的に安定していると判定された場合（図６（ａ）参照）、当該少なくとも一方の側において監視範囲Ｋの境界線よりも内側にある境界線によって画定される新たな監視範囲Ｋ’が定義される（図７太線枠参照）。新たな監視範囲Ｋ’の幅は先の監視範囲Ｋの幅以下であれば任意に設定されうる。その上で、新たな監視範囲Ｋ’におけるエッジ点の計測数が時系列的に安定するか否かが判定される。そして、この段階でエッジ点の計測数が時系列的に不安定であると判定されたことを要件として、当該エッジ点により構成されるエッジ点列が全体として多重線に相当すると判定されうる。 In addition, it can be determined whether or not the edge point sequence constituted by the edge points as a whole corresponds to a multiple line by the following procedure. First, when it is determined that the measured number of edge points is stable in time series on at least one of the left and right sides of the vehicle belt (see FIG. 6A), the monitoring range K on the at least one side. A new monitoring range K ′ defined by the boundary line inside the boundary line is defined (see the thick line frame in FIG. 7). The width of the new monitoring range K ′ can be arbitrarily set as long as it is equal to or smaller than the width of the previous monitoring range K. Then, it is determined whether or not the number of edge points measured in the new monitoring range K ′ is stabilized in time series. Then, on the condition that it is determined that the number of measurement of the edge points is unstable in time series at this stage, it can be determined that the edge point sequence constituted by the edge points as a whole corresponds to a multiple line.
また、車両帯の左右のうち少なくとも一方の側においてエッジ点の計測数が時系列的に不安定であると判定された場合（図６（ｂ）参照）、当該少なくとも一方の側において監視範囲Ｋの境界線よりも外側にある境界線によって画定される新たな監視範囲Ｋ”が定義される。新たな監視範囲Ｋ”の幅は先の監視範囲Ｋの幅以下であれば任意に設定されうる。その上で、新たな監視範囲Ｋ”におけるエッジ点の計測数が時系列的に安定するか否かが判定される。そして、この段階でエッジ点の計測数が時系列的に安定であると判定されたことを要件として、当該エッジ点により構成されるエッジ点列が全体として多重線に相当すると判定されうる。 In addition, when it is determined that the number of measurement of the edge points is unstable in time series on at least one of the left and right sides of the vehicle belt (see FIG. 6B), the monitoring range K on the at least one side. A new monitoring range K ″ defined by a boundary line outside the boundary line is defined. The width of the new monitoring range K ″ can be arbitrarily set as long as it is equal to or smaller than the width of the previous monitoring range K. . Then, it is determined whether or not the measured number of edge points in the new monitoring range K ″ is stable in time series. At this stage, the measured number of edge points is stable in time series. On the condition that it is determined, it can be determined that the edge point sequence constituted by the edge points corresponds to a multiple line as a whole.
エッジ点列がレーンマークに相当する場合、当該レーンマークの幅は時系列的に安定している可能性が高い。そこで、エッジ点列を構成する負エッジ点（または正エッジ点）と対になる正エッジ点（または負エッジ点）の実空間における幅の分散値が基準値（たとえば０．２０）以下であることを要件として、当該エッジ点列に相当するレーンマークが実線または破線に該当すると判定されてもよい。 When an edge point sequence corresponds to a lane mark, the width of the lane mark is likely to be stable in time series. Therefore, the dispersion value of the width in the real space of the positive edge point (or negative edge point) paired with the negative edge point (or positive edge point) constituting the edge point sequence is equal to or less than a reference value (for example, 0.20). As a requirement, it may be determined that the lane mark corresponding to the edge point sequence corresponds to a solid line or a broken line.
エッジ点列が抽出されなかった場合、または、エッジ点列の計測数が指定範囲から外れた状態が指定期間にわたって継続する場合、以降の処理が省略される。 When the edge point sequence is not extracted, or when the state where the number of measurement of the edge point sequence is out of the specified range continues for the specified period, the subsequent processing is omitted.
さらに、第２演算処理要素１２０により、レーンマークの種類の判定結果と、レーンマークの色彩に基づき、当該レーンマークが第１種のレーンマークおよび第２種のレーンマークのうちいずれに該当するかが判定される（図３／ＳＴＥＰ００８）。「第１種のレーンマーク」は車両１による越境が交通法規により許容されているレーンマークを意味する。「第２種のレーンマーク」は車両１による越境が交通法規により禁止されているレーンマークを意味する。 Further, based on the determination result of the type of the lane mark and the color of the lane mark, whether the lane mark corresponds to the first type lane mark or the second type lane mark by the second arithmetic processing element 120. Is determined (FIG. 3 / STEP008). The “first type lane mark” means a lane mark in which crossing by the vehicle 1 is permitted by traffic regulations. The “second type of lane mark” means a lane mark in which crossing by the vehicle 1 is prohibited by traffic regulations.
たとえば、レーンマークが実線であり、かつ、黄色である場合、当該レーンマークが第２種のレーンマークに該当すると判定される。レーンマークが破線であり、かつ、黄色である場合、または、レーンマークが破線もしくは実線であり、かつ、白色である場合、当該レーンマークが第１種のレーンマークに該当すると判定される。実線および破線の別、ならびに、色彩によりレーンマークに与えられる交通法規上の区分はメモリに格納されている。国または地域に応じて交通法規は異なるので、メモリに保存される当該区分は国または地域ごとに変更されうる。 For example, when the lane mark is a solid line and is yellow, it is determined that the lane mark corresponds to the second type lane mark. When the lane mark is a broken line and is yellow, or when the lane mark is a broken line or a solid line and is white, it is determined that the lane mark corresponds to the first type lane mark. The distinction between the solid line and the broken line, and the traffic regulations assigned to the lane mark by the color are stored in the memory. Since traffic regulations differ depending on the country or region, the division stored in the memory can be changed for each country or region.
そして、車両制御装置１００により、第２演算処理要素１２０によるレーンマークの種類の判定結果に応じて、車両１に搭載されている機器の動作が制御される（図３／ＳＴＥＰ０１０）。 Then, the operation of the device mounted on the vehicle 1 is controlled by the vehicle control device 100 according to the determination result of the type of the lane mark by the second arithmetic processing element 120 (FIG. 3 / STEP010).
具体的には、レーンマークが第１種のレーンマークに該当すると判定され、かつ、方向指示器（図示略）の信号が当該レーンマーク寄りの方向を指示している場合、車両１の走行帯逸脱を防止するための操舵装置１４および制動装置１６の一方または両方の動作制御が解除される。また、当該制御中は点灯していたインジケータ（報知装置１８を構成する。）が消灯される。 Specifically, when it is determined that the lane mark corresponds to the first type of lane mark, and the signal from the direction indicator (not shown) indicates the direction closer to the lane mark, the travel zone of the vehicle 1 The operation control of one or both of the steering device 14 and the braking device 16 for preventing the deviation is released. Further, the indicator (which constitutes the notification device 18) that is lit during the control is turned off.
レーンマークが第２種のレーンマークに該当すると判定され、かつ、方向指示器の信号が当該レーンマークよりの方向を指示している場合、車両１の走行帯逸脱を防止するための操舵装置１４および制動装置１６の一方または両方の動作制御が維持される。また、インジケータは継続して点灯される。そのほか、報知装置１８を構成するコーションランプが点灯されてもよく、同じく報知装置１８を構成するスピーカから所定の音が出力されてもよい。 When it is determined that the lane mark corresponds to the second type of lane mark and the signal from the direction indicator indicates the direction from the lane mark, the steering device 14 for preventing the vehicle 1 from departing from the traveling zone. And the operation control of one or both of the braking devices 16 is maintained. The indicator is continuously lit. In addition, the caution lamp which comprises the alerting | reporting apparatus 18 may be lighted, and a predetermined sound may be output from the speaker which comprises the alerting | reporting apparatus 18 similarly.
その他の場合、車両１の走行帯逸脱を防止するための操舵装置１４および制動装置１６の一方または両方の動作が制御され、インジケータは継続して点灯される。なお、一方のレーンマークが第１種レーンマークに該当する一方、他方のレーンマークが第２種のレーンマークに該当すると判定された場合、実空間座標系の原点Ｏ（図１参照）が走行帯の幅方向について中心よりも若干第１種のレーンマーク寄りに位置するように、操舵装置１４および制動装置１６の一方または両方の動作が制御されてもよい。 In other cases, the operation of one or both of the steering device 14 and the braking device 16 for preventing the vehicle 1 from departing from the traveling zone is controlled, and the indicator is continuously lit. When it is determined that one lane mark corresponds to the first type lane mark while the other lane mark corresponds to the second type lane mark, the origin O (see FIG. 1) of the real space coordinate system travels. The operation of one or both of the steering device 14 and the braking device 16 may be controlled so as to be positioned slightly closer to the first type lane mark than the center in the width direction of the band.
前記機能を発揮する車両走行支援装置１０によれば、レーンマークに相当するエッジ点列は車両１の走行状況および外乱の影響をさほど受けずに高精度で抽出される（図３／ＳＴＥＰ００２、図４（ｂ）参照）。そして、エッジ点列を構成するエッジ点の数の時系列的な安定性に基づき、当該エッジ点列に相当するレーンマークが実線（連続的レーンマーク）および破線（断続的レーンマーク）のうちいずれに該当するかが判定される（図３／ＳＴＥＰ００６参照）。 According to the vehicle travel support device 10 that exhibits the above function, the edge point sequence corresponding to the lane mark is extracted with high accuracy without being greatly affected by the travel state of the vehicle 1 and disturbance (FIG. 3 / STEP002, FIG. 4 (b)). Based on the time-series stability of the number of edge points constituting the edge point sequence, the lane mark corresponding to the edge point sequence is either a solid line (continuous lane mark) or a broken line (intermittent lane mark). Is determined (see STEP 006 in FIG. 3).
連続的レーンマークに相当するエッジ点列を構成するエッジ点の数は時系列的に比較的安定である（図６（ａ）参照）。その一方、断続的レーンマークに相当するエッジ点列を構成するエッジ点の数は時系列的に比較的不安定である（図６（ｂ）参照）。この性質に鑑みて、前記手法によりレーンマークの種類が高精度で判定されうる。 The number of edge points constituting the edge point sequence corresponding to the continuous lane mark is relatively stable in time series (see FIG. 6A). On the other hand, the number of edge points constituting the edge point sequence corresponding to the intermittent lane mark is relatively unstable in time series (see FIG. 6B). In view of this property, the type of lane mark can be determined with high accuracy by the above method.
また、走行帯の少なくとも左右片側に複数のエッジ点列が存在する場合、最も内側の一のエッジ点列が優先的に抽出される（図７参照）。そして、走行帯の幅方向についてのエッジ点列の位置の安定性に基づき、当該エッジ点列に相当するレーンマークが多重線（複合レーンマーク）に該当するか否かが判定される（図８参照）。 Further, when there are a plurality of edge point sequences on at least one of the left and right sides of the traveling zone, the innermost edge point sequence is preferentially extracted (see FIG. 7). Then, based on the stability of the position of the edge point sequence in the width direction of the traveling zone, it is determined whether or not the lane mark corresponding to the edge point sequence corresponds to a multiple line (composite lane mark) (FIG. 8). reference).
複合レーンマークは走行帯の内側寄りの断続的レーンマークと、走行帯の外側寄りの連続的レーンマークとにより構成されている。このため、複合レーンマークに相当するエッジ点列の走行帯の幅方向についての位置は比較的不安定になる。この性質に鑑みて、前記手法によりレーンマークの種類が高精度で判定されうる。 The composite lane mark is composed of an intermittent lane mark closer to the inner side of the travel zone and a continuous lane mark closer to the outer side of the travel zone. For this reason, the position of the edge point sequence corresponding to the composite lane mark in the width direction of the traveling zone becomes relatively unstable. In view of this property, the type of lane mark can be determined with high accuracy by the above method.
また、レーンマークが実線、破線および多重線のうちいずれに該当するかという判定結果に加えて、レーンマークの色彩に基づき、当該レーンマークが第１種のレーンマークおよび第２種のレーンマークのうちいずれに該当するかが高精度で判定される。 In addition to the determination result of whether the lane mark corresponds to a solid line, a broken line, or a multiple line, based on the color of the lane mark, the lane mark corresponds to the first type lane mark and the second type lane mark. Which of these is determined is determined with high accuracy.
このため、方向指示器が第１種のレーンマーク寄りの方向を指示している場合、すなわち、車両１の運転者が第１種のレーンマークの越境を意図している蓋然性が高い場合、車両１の越境が許容または支援されるように操舵装置１４等の動作が制御されうる。その一方、方向指示器が第２種のレーンマーク寄りの方向を指示している場合、すなわち、車両１の運転者が第２種のレーンマークの越境を意図している蓋然性が高い場合、車両１の越境が禁止または抑制されるように操舵装置１４等の動作が制御されうる。前記のように車載機器が制御されることにより、交通法規を遵守する観点から車両の適当な走行態様が実現されうる。また、報知装置１８による報知の有無を通じて、方向指示器どおりの方向に車両１が横移動してレーンマークを越境することが交通法規により許容されているかまたは禁止されているかを、運転者に知らせることができる。 For this reason, when the direction indicator indicates the direction closer to the first type lane mark, that is, when there is a high probability that the driver of the vehicle 1 intends to cross the first type lane mark, the vehicle The operation of the steering device 14 or the like can be controlled so that one crossing is allowed or supported. On the other hand, if the direction indicator indicates a direction closer to the second type lane mark, that is, if there is a high probability that the driver of the vehicle 1 intends to cross the second type lane mark, the vehicle The operation of the steering device 14 and the like can be controlled so that the crossing of 1 is prohibited or suppressed. By controlling the in-vehicle device as described above, an appropriate traveling mode of the vehicle can be realized from the viewpoint of complying with traffic regulations. Further, through the presence / absence of notification by the notification device 18, the driver is informed whether traffic regulations permit or prohibit the vehicle 1 from moving laterally in the direction of the direction indicator and crossing the lane mark. be able to.
前記実施形態ではレーンマークの色彩が認識された上で、当該レーンマークの種類が判定されたが（図３／ＳＴＥＰ００４，ＳＴＥＰ００８参照）、レーンマークの色彩認識処理が省略された上で、レーンマークの第１種および第２種の判別処理が実行されてもよい。 In the embodiment, the lane mark color is recognized and the type of the lane mark is determined (see FIG. 3 / STEP004 and STEP008), but the lane mark color recognition process is omitted and the lane mark color is recognized. The first type and second type determination processes may be executed.
レーンマークの第１種および第２種の判別処理が省略され、レーンマークが実線、破線および多重線のいずれに該当するかに応じて、車両１に搭載されている操舵装置１４等の動作が制御されてもよい。たとえば、一方のレーンマークが実線である一方、他方のレーンマークが破線であると判定された場合、車両座標系の原点Ｏ（図１参照）が走行帯の幅方向について中心よりも若干実線寄りに位置するように、操舵装置１４および制動装置１６の一方または両方の動作が制御されてもよい。 The discrimination processing of the first type and the second type of lane mark is omitted, and the operation of the steering device 14 and the like mounted on the vehicle 1 depends on whether the lane mark corresponds to a solid line, a broken line, or a multiple line. It may be controlled. For example, when it is determined that one lane mark is a solid line and the other lane mark is a broken line, the origin O of the vehicle coordinate system (see FIG. 1) is slightly closer to the solid line than the center in the width direction of the traveling zone. The operation of one or both of the steering device 14 and the braking device 16 may be controlled so that
前記実施形態では車載機器として操舵装置１４、制動装置１６および報知装置１８の動作が制御されたが（図２、図３／ＳＴＥＰ０１０参照）、他の実施形態としてこれら以外の車載機器が制御されてもよい。たとえば、方向指示器が第２種のレーンマーク寄りの方向を指示している場合、アクセルペダルが踏み込まれても動力源としてのモータまたはエンジンの回転数の上昇が禁止または抑制される等、エンジンまたはモータの動作が制御されてもよい。 In the above embodiment, the operations of the steering device 14, the braking device 16, and the notification device 18 are controlled as in-vehicle devices (see FIG. 2 and FIG. 3 / STEP010), but in-vehicle devices other than these are controlled as other embodiments. Also good. For example, when the direction indicator indicates the direction closer to the second type of lane mark, the increase in the number of revolutions of the motor or engine as a power source is prohibited or suppressed even when the accelerator pedal is depressed. Alternatively, the operation of the motor may be controlled.
１‥車両、１０‥車両走行支援装置、１２‥カメラ（撮像装置）、１４‥操舵装置、１６
‥制動装置、１８‥報知装置。
DESCRIPTION OF SYMBOLS 1 ... Vehicle, 10 ... Vehicle travel support device, 12 ... Camera (imaging device), 14 ... Steering device, 16
... braking device, 18 ... notification device.
Claims (5)
前記画像において走査方向について輝度が閾値を超えて変化する複数のエッジ点であって、前記車両の走行帯の左側および右側のそれぞれを画定するレーンマークに該当する可能性がある形態で並んでいる複数のエッジ点により構成されているエッジ点列を抽出する第１演算処理要素と、
異なる時刻に得られた複数の前記画像のそれぞれに基づき、前記第１演算処理要素により抽出された前記エッジ点列を構成するエッジ点の数の時系列的な安定度を評価し、前記安定度が閾値を超えているか否かに応じて前記エッジ点列に相当するレーンマークが連続的レーンマークおよび断続的レーンマークのうちいずれに該当するかを判定する第２演算処理要素とを備えていることを特徴とする車両走行支援装置。 A vehicle travel support device for assisting travel of the vehicle based on an image of a road on which the vehicle travels obtained through an imaging device mounted on the vehicle,
In the image, a plurality of edge points whose luminance changes beyond the threshold in the scanning direction are arranged in a form that may correspond to lane marks that define the left side and the right side of the traveling zone of the vehicle. A first arithmetic processing element for extracting an edge point sequence composed of a plurality of edge points;
Based on each of the plurality of images obtained at different times, the time series stability of the number of edge points constituting the edge point sequence extracted by the first arithmetic processing element is evaluated, and the stability A second arithmetic processing element for determining whether a lane mark corresponding to the edge point sequence corresponds to a continuous lane mark or an intermittent lane mark depending on whether or not the threshold value exceeds a threshold value. A vehicle travel support device characterized by that.
前記第２演算処理要素は、前記エッジ点列を構成するエッジ点の数の時系列的な分散値を前記安定度として算出することを特徴とする車両走行支援装置。 The vehicle travel support device according to claim 1,
The vehicle operation support device, wherein the second arithmetic processing element calculates a time-series variance value of the number of edge points constituting the edge point sequence as the stability.
前記第２演算処理要素は、
前記エッジ点列を構成するエッジ点の数が時系列的に所定範囲内に収まり、かつ前記安定度が前記閾値以下であるであるときに、前記エッジ点列に相当するレーンマークが連続的レーンマークであると判定し、
前記エッジ点列を構成するエッジ点の数が時系列的に前記所定範囲を超え、かつ前記安定度が前記閾値を超えるときに、前記エッジ点列に相当するレーンマークが断続的レーンマークであると判定することを特徴とする車両走行支援装置。 The vehicle travel support device according to claim 1 or 2,
The second arithmetic processing element is:
A lane mark corresponding to the edge point sequence is a continuous lane when the number of edge points constituting the edge point sequence is within a predetermined range in time series and the stability is equal to or less than the threshold value. Is determined to be a mark,
When the number of edge points constituting the edge point sequence exceeds the predetermined range in time series and the stability exceeds the threshold value, the lane mark corresponding to the edge point sequence is an intermittent lane mark. It is determined that the vehicle travel support device.
前記第１演算処理要素は、前記走行帯の少なくとも左右片側に複数の前記エッジ点列がある状況では前記走行帯の最も内側寄りの一のエッジ点列を優先的に抽出し、
前記第２演算処理要素は、前記状況において前記第１演算処理要素により抽出された前記エッジ点列の前記走行帯の幅方向についての位置の安定度を評価し、前記走行帯の幅方向についての位置の安定度が閾値を超えているか否かに応じて前記エッジ点列に相当するレーンマークが、前記走行帯の内側寄りの断続的レーンマークおよび前記走行帯の外側寄りの連続的レーンマークにより構成されている複合レーンマークに該当するか否かを判定することを特徴とする車両走行支援装置。 In the vehicle travel support device according to any one of claims 1 to 3,
The first arithmetic processing element preferentially extracts one edge point sequence closest to the innermost side of the traveling zone in a situation where there are a plurality of the edge point sequences on at least one side of the traveling zone,
The second arithmetic processing element evaluates the stability of the position in the width direction of the traveling zone of the edge point sequence extracted by the first arithmetic processing element in the situation, and Depending on whether or not the stability of the position exceeds a threshold value, the lane mark corresponding to the edge point sequence is an intermittent lane mark closer to the inner side of the traveling zone and a continuous lane mark closer to the outer side of the traveling zone. It is determined whether it corresponds to the compound lane mark comprised, The vehicle travel assistance apparatus characterized by the above-mentioned.
前記画像において走査方向について輝度が閾値を超えて変化する複数のエッジ点であって、前記車両の走行帯の左側および右側のそれぞれを画定するレーンマークに該当する可能性がある形態で並んでいる複数のエッジ点により構成されているエッジ点列を抽出するとともに、前記走行帯の少なくとも左右片側に複数の前記エッジ点列がある状況では前記走行帯の最も内側寄りの一のエッジ点列を優先的に抽出する第１演算処理要素と、
前記第１演算処理要素により抽出された前記エッジ点列の前記走行帯の幅方向についての位置の安定度を評価し、前記安定度が閾値を超えているか否かに応じて前記エッジ点列に相当するレーンマークが、前記走行帯の内側寄りの断続的レーンマークおよび前記走行帯の外側寄りの連続的レーンマークにより構成されている複合レーンマークに該当するか否かを判定する第２演算処理要素とを備えていることを特徴とする車両走行支援装置。 A vehicle travel support device for assisting travel of the vehicle based on an image of a road on which the vehicle travels obtained through an imaging device mounted on the vehicle,
In the image, a plurality of edge points whose luminance changes beyond the threshold in the scanning direction are arranged in a form that may correspond to lane marks that define the left side and the right side of the traveling zone of the vehicle. An edge point sequence composed of a plurality of edge points is extracted, and in a situation where there are a plurality of edge point sequences on at least one of the left and right sides of the travel zone, the edge point sequence closest to the innermost side of the travel zone is given priority. A first arithmetic processing element to be extracted automatically;
The edge point sequence extracted by the first arithmetic processing element is evaluated for the stability of the position in the width direction of the travel zone, and the edge point sequence is determined depending on whether the stability exceeds a threshold value. Second arithmetic processing for determining whether or not the corresponding lane mark corresponds to a composite lane mark constituted by an intermittent lane mark closer to the inner side of the traveling zone and a continuous lane mark closer to the outer side of the traveling zone. And a vehicle driving support device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013249641A JP5689521B2 (en) | 2013-12-02 | 2013-12-02 | Vehicle travel support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013249641A JP5689521B2 (en) | 2013-12-02 | 2013-12-02 | Vehicle travel support device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009093647A Division JP2010244382A (en) | 2009-04-08 | 2009-04-08 | Vehicle traveling support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014075145A true JP2014075145A (en) | 2014-04-24 |
| JP5689521B2 JP5689521B2 (en) | 2015-03-25 |
Family
ID=50749206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013249641A Expired - Fee Related JP5689521B2 (en) | 2013-12-02 | 2013-12-02 | Vehicle travel support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5689521B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017052414A (en) * | 2015-09-09 | 2017-03-16 | 株式会社デンソー | Vehicle control device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08249597A (en) * | 1995-03-15 | 1996-09-27 | Nissan Motor Co Ltd | Road shape detector |
| JPH08320997A (en) * | 1995-05-24 | 1996-12-03 | Nissan Motor Co Ltd | Vehicle travel lane recognition device, and obstacle detector and road deviation reporting device |
| JP2003067752A (en) * | 2001-08-28 | 2003-03-07 | Yazaki Corp | Vehicle periphery monitoring device |
| JP2003178399A (en) * | 2001-12-12 | 2003-06-27 | Aisin Seiki Co Ltd | Lane boundary detecting device |
| JP2004310522A (en) * | 2003-04-08 | 2004-11-04 | Toyota Motor Corp | Vehicular image processor |
| JP2007052730A (en) * | 2005-08-19 | 2007-03-01 | Toyota Motor Corp | Running road recognition device |
-
2013
- 2013-12-02 JP JP2013249641A patent/JP5689521B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08249597A (en) * | 1995-03-15 | 1996-09-27 | Nissan Motor Co Ltd | Road shape detector |
| JPH08320997A (en) * | 1995-05-24 | 1996-12-03 | Nissan Motor Co Ltd | Vehicle travel lane recognition device, and obstacle detector and road deviation reporting device |
| JP2003067752A (en) * | 2001-08-28 | 2003-03-07 | Yazaki Corp | Vehicle periphery monitoring device |
| JP2003178399A (en) * | 2001-12-12 | 2003-06-27 | Aisin Seiki Co Ltd | Lane boundary detecting device |
| JP2004310522A (en) * | 2003-04-08 | 2004-11-04 | Toyota Motor Corp | Vehicular image processor |
| JP2007052730A (en) * | 2005-08-19 | 2007-03-01 | Toyota Motor Corp | Running road recognition device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017052414A (en) * | 2015-09-09 | 2017-03-16 | 株式会社デンソー | Vehicle control device |
| US10688994B2 (en) | 2015-09-09 | 2020-06-23 | Denso Corporation | Vehicle control apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5689521B2 (en) | 2015-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9852635B2 (en) | Driving support apparatus | |
| JP4775391B2 (en) | Obstacle detection device | |
| JP2007172035A (en) | Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method | |
| WO2013011952A1 (en) | Traffic lane recognition apparatus | |
| CN106183981B (en) | Obstacle detection method, apparatus based on automobile and automobile | |
| JP2014160322A (en) | Lane boundary deviation suppression device | |
| JP2009116723A (en) | Lane change support system | |
| JP5751423B2 (en) | Driving assistance device | |
| JP5233696B2 (en) | Lane boundary detection device, boundary detection program, and departure warning device | |
| US10176714B2 (en) | Driving support apparatus | |
| JP2017058874A (en) | Signpost recognition display device | |
| US10169668B2 (en) | Driving assistance apparatus and driving assistance method | |
| JP4913101B2 (en) | Road shape detection device for vehicles | |
| JP2010244382A (en) | Vehicle traveling support device | |
| JP5689521B2 (en) | Vehicle travel support device | |
| KR20170060449A (en) | Method and system for alarming a capable of entrance using recognition of road sign | |
| JP2017102830A (en) | Driving assist device and program | |
| JP2010160738A (en) | Alarm generating apparatus for vehicle | |
| JP2015121954A (en) | Luminance value calculation device and traffic lane detection system | |
| JP7255707B2 (en) | Traffic light recognition method and traffic light recognition device | |
| JP2014186516A (en) | Driving lane detection device | |
| JP7255706B2 (en) | Traffic light recognition method and traffic light recognition device | |
| JP2018005441A (en) | Inter-vehicle distance alarm and collision alarm device | |
| JP7042604B2 (en) | Driving support device and driving support method | |
| RU2779798C1 (en) | Traffic light recognition method and traffic light recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141010 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5689521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |