JP2923664B2 - Automatic traveling device - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は、走行路を探索しながら車両の自動走行を行
わせる自動走行装置に関する。Description: TECHNICAL FIELD The present invention relates to an automatic traveling device that allows a vehicle to travel automatically while searching for a traveling road.

従来技術 最近、自ら走行路を探索しながら、その走行路上に最
適な目標経路を設定して、車両がその目標経路上を走行
するべく車両の走行制御を行わせるようにした自動走行
装置が開発されている。2. Description of the Related Art Recently, there has been developed an automatic traveling device that sets an optimal target route on a traveling route while searching for the traveling route by oneself and controls the traveling of the vehicle so that the vehicle travels on the target route. Have been.

この種の自動走行装置にあっては、現在における車両
の車速，舵角，ヨーレート（ヨー方向変化の角速度）な
どの走行状態を検出し、その検出された車両の走行状態
にもとづいて所定の演算処理によって車両が目標経路上
を追従して走行できるような制御目標量を求めて車両の
走行制御を行わせることが考えられるが、その際、車両
走行の目標経路に対する追従性を良くするために、制御
対象を何に設定して、その制御目標量をどのようにして
決定するかが重要な課題となっている。In this type of automatic traveling apparatus, a traveling state such as a current vehicle speed, a steering angle, and a yaw rate (angular velocity of yaw direction change) is detected, and a predetermined calculation is performed based on the detected traveling state of the vehicle. It is conceivable to determine the control target amount such that the vehicle can follow and travel on the target route by performing the process and to control the traveling of the vehicle.In this case, in order to improve the followability of the vehicle traveling on the target route, What is important is how to set the control target and how to determine the control target amount.

目的 本発明は以上の点を考慮してなされたもので、現在に
おける車両の走行状態を検出し、その検出された車両の
走行状態にもとづいて、車両が目標経路上を追従して走
行できるような制御目標量を求めて車両の走行制御を行
わせる際、制御対象を車両の舵角に設定して、車両が常
に目標経路上を走行するべく舵角の制御を最適に行わせ
るようにした自動走行装置を提供するものである。The present invention has been made in consideration of the above points, and detects a current traveling state of a vehicle and, based on the detected traveling state of the vehicle, enables the vehicle to follow and travel on a target route. When controlling the running of the vehicle to obtain a suitable control target amount, the control target is set to the steering angle of the vehicle, and the steering angle is controlled optimally so that the vehicle always travels on the target route. An automatic traveling device is provided.

構成 以下、添付図面を参照して本発明の一実施例について
詳述する。Configuration Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

本発明による自動走行装置にあっては、第１図に示す
ように、車両の進行方向の領域を撮像することができる
ように車両に取り付けられたビデオカメラによる撮像部
１と、そのビデオカメラによって撮像された画像を処理
して連続した線分の抽出などを行う画像処理部２と、そ
の抽出された連続した線分にしたがって車両の進行方向
における道路などの走行可能領域を認識する走行可能領
域認識部３と、その認識された走行可能領域内に車両走
行の目標経路を設定する目標経路設定部４と、車両の走
行速度ｖを検出する車速センサ6,車両の走行にともなう
ヨーレートＴを検出するヨーレートセンサ７および車両
の操舵によるタイヤ角度δを検出する舵角センサ８など
の各センサ出力に応じてそのときの車両の走行状態を検
出して、その検出された車両の走行状態にもとづいて車
両が目標経路上を走行するのに必要な操舵の制御目標量
を所定の演算処理によって求める制御部５と、その求め
られた制御目標量にしたがって車両の操舵を行わせるス
テアリング制御部９およびステアリング駆動部10とによ
って構成されている。In the automatic traveling apparatus according to the present invention, as shown in FIG. 1, an image pickup unit 1 of a video camera attached to a vehicle so as to be able to image an area in the traveling direction of the vehicle, and the video camera An image processing unit 2 that processes a captured image to extract continuous line segments and the like, and a travelable region that recognizes a travelable region such as a road in the traveling direction of the vehicle according to the extracted continuous line segments. A recognizing unit 3; a target route setting unit 4 for setting a target route for vehicle travel in the recognized travelable area; a vehicle speed sensor 6 for detecting a travel speed v of the vehicle; and a yaw rate T accompanying the travel of the vehicle The running state of the vehicle at that time is detected in accordance with the output of each sensor such as a yaw rate sensor 7 that performs steering and a steering angle sensor 8 that detects a tire angle δ due to steering of the vehicle. A control unit 5 for obtaining a steering control target amount required for the vehicle to travel on the target route based on the running state of the vehicle by a predetermined arithmetic processing, and controlling the vehicle in accordance with the obtained control target amount. The steering control unit 9 and the steering drive unit 10 perform the operation.

実際には、画像処理部2,操舵可能領域認識部3,目標経
路設定部４および制御部５はマイクロコンピュータによ
って置き換えられる。また、そのコンピュータにステア
リング制御部９をも含めることも可能である。Actually, the image processing unit 2, the steerable area recognition unit 3, the target route setting unit 4, and the control unit 5 are replaced by a microcomputer. Further, the steering control unit 9 can be included in the computer.

撮像部１におけるビデオカメラとしては、標準レンズ
によるもの以外に、車速や走行中の道路状況などに応じ
た適切な画像が得られるように望遠レンズや広角レンズ
によるものが設けられ、また夜間用などに赤外線カメラ
や超高感度カメラなどの特殊なビデオカメラが複数設け
られており、コンピュータの制御下において、それら複
数のビデオカメラが車速や撮像画像の状態などに応じて
適宜切り換えられて使用されるようになっている。As a video camera in the imaging unit 1, a camera using a telephoto lens or a wide-angle lens is provided in addition to a camera using a standard lens so that an appropriate image can be obtained according to a vehicle speed or a road condition during traveling. Are provided with a plurality of special video cameras such as an infrared camera and an ultra-sensitive camera, and under control of a computer, the plurality of video cameras are appropriately switched and used according to a vehicle speed, a state of a captured image, and the like. It has become.

また、撮像特性が同一の２台のビデオカメラを並設し
て、２眼立体視による画像を得るようにすることも可能
である。It is also possible to arrange two video cameras having the same imaging characteristics in parallel to obtain an image by binocular stereovision.

画像処理部２における道路エッジなどの連続した線分
の抽出は、以下のようにして行われる。The extraction of continuous line segments such as road edges in the image processing unit 2 is performed as follows.

まず、車両前方の路面を撮像する撮像部１から送られ
てくる入力画像を微分することによって画像のエッジ検
出の処理を行わせたうえで、画像処理部２内に設けられ
た自動しきい値設定回路により、そのときの入力画像の
濃淡の程度に応じた最適しきい値を自動的に設定して、
そのエッジ画像の２値化を行わせる。First, after performing an edge detection process of an image by differentiating an input image sent from an imaging unit 1 for imaging a road surface in front of a vehicle, an automatic threshold value provided in an image processing unit 2 is provided. The setting circuit automatically sets the optimal threshold value according to the degree of shading of the input image at that time,
The edge image is binarized.

なおその際、入力画像の２値化を先に行わせたうえ
で、エッジ検出のための微分処理を行わせるようにして
もよい。また、２値化を行わせる代わりに、画像の濃淡
を表現した多値化を行わせるようにしてもよい。At that time, the binarization of the input image may be performed first, and then the differentiation processing for edge detection may be performed. Further, instead of performing binarization, multi-value conversion expressing the shading of an image may be performed.

次いで、そのエッジ検出され、２値化または多値化さ
れた処理画像にもとづいて、Ｘ−Ｙ座標上の線分をρ−
θ座標上の点であらわす座標変換を行わせる公知手法で
あるHough変換処理を行わせることにより、連続性のあ
る点列を結合したり、連続性のない孤立した点を除去し
たりして、例えば第２図に示すような道路エッジの連続
した線分の情報を得る。Next, based on the edge-detected and binarized or multi-valued processed image, a line segment on the XY coordinate is defined as ρ-
By performing a Hough transformation process, which is a known method of performing coordinate transformation represented by a point on the θ coordinate, a continuous point sequence is combined, or an isolated point having no continuity is removed, For example, information on a continuous line segment of a road edge as shown in FIG. 2 is obtained.

ここで、θはＸ−Ｙ座標上の直線からその座標の原点
におろした垂線の角度であり、またρはその垂線の長さ
である。例えば、第４図に示すＸ−Ｙ座標上の線分Ｌ
は、第５図に示すようにρ−θ座標上における点O1とし
てあらわされる。Here, θ is the angle of the perpendicular drawn from the straight line on the XY coordinate to the origin of the coordinate, and ρ is the length of the perpendicular. For example, a line segment L on the XY coordinate shown in FIG.
Is represented as a point O1 on the ρ-θ coordinates as shown in FIG.

なおその際、２値化された処理画像にもとづいて、エ
ッジ追跡の処理を行わせて連続性をもった画像のエッジ
部分をわり出すようにしてもよい。また、画像エッジの
連続性を求めるためのHough変換処理およびエッジ追跡
処理などの複数の処理を並列的に行わせ、それら各処理
結果から総合的に判断するようにすれば、より精度の高
い道路エッジの情報を求めることができるようになる。
さらに、車両の走行にともなって入力画像の領域成長を
行いながら前述の連続性ある画像エッジの抽出のための
処理を行えば、より精度の高い道路エッジの情報の抽出
を行うことができるようになる。In this case, based on the binarized processed image, an edge tracking process may be performed to extract an edge portion of the image having continuity. In addition, a plurality of processes such as a Hough transform process and an edge tracing process for obtaining continuity of an image edge are performed in parallel, and a comprehensive judgment is made based on a result of each of the processes. Edge information can be obtained.
Further, if the processing for extracting the above-described continuous image edge is performed while growing the area of the input image as the vehicle travels, more accurate road edge information can be extracted. Become.

そして、走行可能領域認識部３は、撮像部１における
ビデオカメラによって撮像される画像が遠近投影による
ものであるため、第２図に示すような遠近投影による道
路エッジの画像を第３図に示すような遠近投影の影響を
なくした道路エッジの画像に変換する公知手法である射
影変換処理を行って、その連続した道路エッジ間を車両
の走行可能領域として認識する。Then, since the image captured by the video camera in the imaging unit 1 is based on perspective projection, the travelable area recognition unit 3 shows a road edge image based on perspective projection as shown in FIG. 2 in FIG. A projection conversion process, which is a known method for converting the image into a road edge image in which the influence of the perspective projection is eliminated, is performed, and a region between the continuous road edges is recognized as a travelable region of the vehicle.

なおその射影変換特性は、ビデオカメラの遠近投影の
特性にしたがって、予め走行可能領域認識部３に設定さ
れている。The projection conversion characteristics are set in advance in the travelable area recognition unit 3 in accordance with the characteristics of the perspective projection of the video camera.

次に、走行可能領域認識部３において認識された走行
可能領域である車両前方の道路が認識されると、目標経
路設定部４において、その認識された道路上における車
両の最適な走行経路となる目標経路が以下のようにして
設定される。Next, when the road ahead of the vehicle, which is the driveable area recognized by the driveable area recognition unit 3, is recognized, the target route setting unit 4 becomes the optimal travel route of the vehicle on the recognized road. The target route is set as follows.

その目標経路は、後述するように、道路形状および車
速をも考慮したうえで、そのときの車両の走行状況に適
するように設定されるのが望ましいが、基本的には、認
識された道路が狭いかまたは広いかによって以下のよう
にして一律に認定される。The target route is desirably set so as to be suitable for the running condition of the vehicle at that time, taking into account the road shape and the vehicle speed, as described later. It is uniformly recognized as follows depending on whether it is narrow or wide.

すなわち、目標経路設定部４において、道路幅が一定
以上の広軌道であると判断された場合には、例えば第６
図に示すように、左側通行路の場合、道路の左側の基準
エッジから例えば1.5m程度の所定の隔離幅ｗをもってそ
の基準エッジに沿う目標経路OCを設定する。That is, when the target route setting unit 4 determines that the road width is a wide orbit having a certain width or more, for example, the sixth route is used.
As shown in the figure, in the case of a left-hand traffic road, a target route OC is set along the reference edge with a predetermined separation width w of, for example, about 1.5 m from the reference edge on the left side of the road.

また、目標経路設定部４において、道路幅が一定未満
の狭軌道であると判断された場合には、特に図示しない
が、その道路の中央に目標経路を設定する。When the target route setting unit 4 determines that the track is a narrow track with a road width smaller than a certain value, the target route is set at the center of the road, though not particularly shown.

そしてその設定された目標経路のＸ−Ｙ座標上の位置
が、目標経路設定部４の内部メモリに、車両の走行が進
むにしたがって逐次更新されながら記憶される。その
際、Ｘ−Ｙ座標上の尺度は、撮像部１におけるビデオカ
メラの倍率によって決定される。The set position on the XY coordinate of the target route is stored in the internal memory of the target route setting unit 4 while being updated as the vehicle travels. At this time, the scale on the XY coordinates is determined by the magnification of the video camera in the imaging unit 1.

なお、第６図において、Ｐ点は車両の現在位置を示す
もので、例えばビデオカメラによる撮像面の中央下端が
Ｐ点となるように、予めそのビデオカメラの車両におけ
る搭載位置が設定されている。図中、Ｐ点からＯ点に至
るまでの軌跡は、後述するように、制御部５の制御下に
おいて車両の操舵制御がなされることにより、Ｐ点にい
る車両が目標経路OCに合流するまでの走行経路を示して
いる。Ｏ点は、そのときの車両の目標経路OCへの合流位
置となる。In FIG. 6, the point P indicates the current position of the vehicle. For example, the mounting position of the video camera in the vehicle is set in advance so that the center lower end of the imaging surface of the video camera is the point P. . In the figure, the trajectory from the point P to the point O is, as described later, until the vehicle at the point P joins the target route OC by performing the steering control of the vehicle under the control of the control unit 5. Is shown. The point O is the position where the vehicle joins the target route OC at that time.

また本発明では、車両の走行状態を検出して、その検
出された走行状態にしたがい、以下のように道路におけ
る最適な車両の目標経路を設定するようにすることも可
能である。In the present invention, it is also possible to detect the running state of the vehicle and set an optimal target path of the vehicle on the road as described below according to the detected running state.

すなわち、目標経路設定部４において、例えば、車速
センサ６によって検出される車両の走行速度を読み込ん
で、そのときの車速が予め設定されたしきい値以下の低
速域内にあれば、第７図（ａ）に示すように、道路の形
状に沿うように目標経路OCを設定する。That is, the target route setting unit 4 reads, for example, the running speed of the vehicle detected by the vehicle speed sensor 6 and, if the vehicle speed at that time is within a low speed range equal to or lower than a preset threshold value, FIG. As shown in a), the target route OC is set so as to follow the shape of the road.

同様に、そのときの車速が予め設定されたしきい値を
越える高速域内にあれば、第７図（ｂ）に示すように、
曲りくねった道路を走行する場合、車両に作用する横方
向の加速度ができるだけ軽減されるような緩い曲率をも
った目標経路OCを道路内に設定する。Similarly, if the vehicle speed at that time is within a high-speed range exceeding a preset threshold value, as shown in FIG.
When traveling on a winding road, a target route OC having a gentle curvature is set in the road so that the lateral acceleration acting on the vehicle is reduced as much as possible.

次に、道路上における目標経路が設定されたら、制御
部５において、車両をその目標経路に合流させるための
制御目標量が、以下のように演算処理によって求められ
る。Next, when a target route on the road is set, the control unit 5 obtains a control target amount for causing the vehicle to join the target route by a calculation process as follows.

その際、本発明では、特に、制御対象を車両の舵角に
設定し、現在検出されている車両の走行状態からこれか
ら先の走行経路を予測し、その車両の予測経路と目標経
路との偏差から車両がその目標経路上を走行するための
走行計画経路をわり出して、その走行計画経路にしたが
う舵角の目標値を求め、実際の舵角がその目標値になる
ような車両の走行制御を行わせるようにしている。At this time, in the present invention, in particular, the control target is set to the steering angle of the vehicle, a future traveling route is predicted from the traveling state of the currently detected vehicle, and the deviation between the predicted route of the vehicle and the target route is determined. Derives a travel plan route for the vehicle to travel on the target route from, obtains a target value of the steering angle according to the travel plan route, and controls the travel of the vehicle such that the actual steering angle becomes the target value. Is to be performed.

いま、例えば第８図に示すように、Ｐ点にある車両45
を目標経路OCに合流させる場合を考えてみる。Now, for example, as shown in FIG.
Let's consider a case in which is merged with the target route OC.

まず、車速センサ６によって検出された車両の現在車
速ｖ（m/s）にもとづいて、Ｐ点にある車両のt_m秒後に
おけるＹ軸上の距離Ｌ（ｍ）（Ｌ＝ｖ×t_m）が求めら
れ、そのＹ軸上におけるＰ点から距離Ｌだけ離れたＣ点
と目標経路OCとの間の偏差x_l、すなわちt_m秒後における
目標経路OC上の位置に比例した値がわり出される。First, the vehicle speed current vehicle speed v of the vehicle detected by the sensor 6 on the basis of the (m / s), the distance L (m) (L = v × t on Y axis after t _m seconds of the vehicle in the point P _m ) is determined, the deviation x _l, i.e. put out value instead of the usual proportional to the position on the target course OC at t _m seconds after between its Y C point and the target route away from the point P by a distance L on the axis OC It is.

同様に、ヨーレートセンサ７によって検出される車両
のヨーレートγ（rad/s）にもとづいて車両の現在の舵
角における予測経路ACがわり出され、Ｙ軸上のＣ点から
の予測経路ACの偏差x_m、すなわちt_m秒後における予測経
路AC上の位置に比例した値が以下のようにして求められ
る。Similarly, based on the yaw rate γ (rad / s) of the vehicle detected by the yaw rate sensor 7, the predicted route AC at the current steering angle of the vehicle is calculated, and the deviation x of the predicted route AC from the point C on the Y axis is calculated. _m , that is, a value proportional to the position on the predicted route AC after t _m seconds is obtained as follows.

いま、予測径路ACが描く円弧の半径をＲとしたとき、
x_mは次式によって与えられる。Now, assuming that the radius of the arc drawn by the predicted route AC is R,
x _m is given by:

x_m＝Ｒ−｛R²−（ｖ×t_m）²｝^1/2 ＝Ｒ−Ｒ｛１−（ｖ×t_m/R）²｝^1/2 ここで、Ｒ≫ｖ×t_mとすると、 x_m≒Ｒ−Ｒ｛１−（ｖ×t_m/R）²/2｝ ＝v²×t_m ²/2R ＝L²/2R …（１） また、 γ＝v/R …（２） であるので、（１），（２）式から、 x_m＝L²・γ/2v …（３） なお、ヨーレートγの符号としては、例えば予測経路
ACが左曲りのときを正とする。x _m = R− ｛R ² − (v × t _m ) ² ｝ ^1/2 = R−R ｛1− (v × t _m / R) ² ｝ ^1/2 where R≫v × t _{m Then, x m ≒ R-R {} 1- (v × t m / R) 2/2} = v 2 × t m 2 / 2R = L 2 / 2R ... (1) The, γ = v / R ... ( 2) Therefore, from Equations (1) and (2), x _m = L ² · γ / 2v (3) The sign of the yaw rate γ is, for example, a prediction path
When AC turns left, it is defined as positive.

そして、各求められた偏差x_lとx_mとの差ｅ（ｅ＝x_l−
x_m）に応じて車両の修正すべきヨーレートΔγが下記式
にしたがって求められる。Then, a difference e (e = x _l −) between the obtained deviations x _l and x _m is obtained.
x _m ), the yaw rate Δγ to be corrected of the vehicle is determined according to the following equation.

Δγ＝ｅ×2v/L² …（４） 次いで、舵角センサ８によって検出されたＰ点におけ
る車両のタイヤ角度δがとり込まれ、車両を目標経路OC
に合流させるためのタイヤ角度の制御目標量δ′が以下
のようにして決定される。Δγ = e × 2v / L ² (4) Next, the tire angle δ of the vehicle at the point P detected by the steering angle sensor 8 is acquired, and the vehicle is moved to the target route OC.
Is determined as follows.

いま、第９図に示す関係にあって、 Ｒ≫ｌのとき、 δ≒l/R …（５） となり、（２），（５）式から δ＝（l/v）γ …（６） が得られる。ここで、ｌはホイールベースである。 Now, in the relationship shown in FIG. 9, when R≫1, δ ≒ l / R (5), and from equations (2) and (5), δ = (l / v) γ (6) Is obtained. Here, 1 is a wheel base.

したがって、（６）式の関係からして、車両の修正す
べきヨーレートΔγに応じたタイヤ角度の修正分Δδ
は、次式によって与えられる。Therefore, based on the relationship of the equation (6), the correction amount Δδ of the tire angle according to the yaw rate Δγ to be corrected of the vehicle
Is given by:

Δδ＝（l/v）Δγ …（７） ここで、車速ｖが舵角に与える影響の一般式ｌ（１＋
Kv²）を考慮すると、（７）式は Δδ＝Δγ｛ｌ（１＋Kv²）/v｝ …（８） となる。Ｋは、タイヤ特性やホイールベースなどの車両
特性によって決まる一定の係数（スタビリティファクタ
ー）である。Δδ = (l / v) Δγ (7) Here, a general expression l (1+
Considering Kv ² ), equation (7) gives Δδ = Δγ ｛l (1 + Kv ² ) / v｝ (8). K is a constant coefficient (stability factor) determined by vehicle characteristics such as tire characteristics and wheelbase.

そして、車両を目標経路OCに合流させるためのタイヤ
角度の制御目標量δ′は、 δ′＝δ＋Δδ …（９） として求められる。Then, the control target amount δ ′ of the tire angle for joining the vehicle to the target route OC is obtained as follows: δ ′ = δ + Δδ (9)

ステアリング制御部９は、制御部５から与えられる制
御目標量δ′に応じてステアリング駆動部10に駆動指令
を出し、それによりステアリング駆動部10がステアリン
グの駆動を適宜なして車両を目標経路OCへ合流させるよ
うな操舵を行う。The steering control unit 9 issues a drive command to the steering drive unit 10 according to the control target amount δ ′ given from the control unit 5, whereby the steering drive unit 10 appropriately drives the steering to move the vehicle to the target route OC. Steer to join.

以上の処理が予め設定された数秒オーダの所定時間ご
とにくり返し行われ、それにより車両を目標経路OC上に
沿って自動的に走行させることができるようになる。The above-described processing is repeatedly performed at predetermined time intervals on the order of several seconds set in advance, so that the vehicle can automatically travel along the target route OC.

第10図は、第１図に示した本発明による自動走行装置
の詳細なブロック構成例を示している。FIG. 10 shows a detailed block configuration example of the automatic traveling device according to the present invention shown in FIG.

ここで、画像処理部２としては、大局的線分抽出部1
1、局所的線分追跡部12および領域抽出部13からなって
いる。Here, the image processing unit 2 includes a global line segment extraction unit 1
1. It comprises a local line segment tracking unit 12 and a region extracting unit 13.

大局的線分抽出部11は、直線道路などの形状が単純な
道路の境界線の線分を大局的に得るものである。ここで
は、高速道路などの直線的で単純な道路の場合、直線検
出手段であるHough変換の処理を撮像部１におけるビデ
オカメラの取付角度から得られる道路が存在するであろ
う領域に対して施すことによって、画像中の広い範囲を
１度に処理するようにしている。その処理領域が道路全
体をカバーするほど大きくても、直線的な道路ならばそ
の境界線の線分を抽出でき、しかもただ１度のHough変
換処理によって高速に抽出が可能となる。The global line segment extraction unit 11 globally obtains a line segment of a boundary of a road having a simple shape such as a straight road. Here, in the case of a straight and simple road such as an expressway, the processing of the Hough transform, which is a straight line detecting means, is performed on an area where a road obtained from the mounting angle of the video camera in the imaging unit 1 will exist. Thus, a wide range in an image is processed at a time. Even if the processing area is large enough to cover the entire road, if the road is a straight road, the line segment of the boundary line can be extracted, and high-speed extraction can be performed by only one Hough transform process.

また、この大局的線分抽出部11では、後述する道路線
分のデータをベクトル表現化してローカルマップデータ
として管理するローカルマップデータベース18に蓄積さ
れている前回の処理までの道路線分のデータを受け取っ
て、今回処理時の入力画像に写っていることが予想され
る道路の線分とのつながりをみるなどして処理の参考に
することにより、道路線分抽出の高い信頼性を得るよう
にしている。In addition, the global line segment extraction unit 11 converts the data of the road line segments up to the previous processing stored in the local map database 18 which manages the data of the road line segments described later into a vector by managing the data as local map data. Receive high reliability of road segment extraction by checking the connection with the road segment that is expected to appear in the input image at the time of this processing. ing.

局所的線分追跡部12は、形状の入り組んだ複雑な道路
の境界線の線分を局部的に得るものである。ここでは、
交差点や複雑な分岐路、急なカーブなどの道路におい
て、Hough変換によって道路の境界線を検出できる微小
な範囲で、その道路の境界線を細く局所的に追跡するよ
うにしている。The local line segment tracking unit 12 locally obtains a line segment of a complicated road boundary having a complicated shape. here,
On a road such as an intersection, a complicated branch road, a sharp curve, or the like, the boundary of the road is finely and locally tracked in a minute range in which the boundary of the road can be detected by the Hough transform.

また、この局所的線分追跡部12では、前述の大局的線
分抽出部11における処理結果やローカルマップデータを
利用して探索開始点と探索方向などの初期データを得る
ようにして、道路線分抽出の信頼性を向上させ、その処
理時間を短縮できるようにしている。The local line segment tracing unit 12 obtains initial data such as a search start point and a search direction by using the processing result of the global line segment extraction unit 11 and the local map data described above. It improves the reliability of minute extraction and shortens the processing time.

領域抽出部13は、白線などの明瞭な境界線がない道路
の領域の輪郭を抽出するものである。白線などの明瞭な
境界線がないアスファルト道路などでは、その道路と路
肩の土や草などとの境界部分による道路線分の抽出は不
安定となる。このような道路においては、カラー特徴な
どによる領域抽出が有効である。ここでは、車両の前方
は道路領域であるという仮定にもとづき、その領域内の
特徴と類似した部分を取り出すことによって道路領域を
抽出するようにしている。基本的に、同様の手法によっ
て、たとえば夜間の赤外線映像から、道路の温度によっ
て道路領域の抽出が可能である。The area extracting unit 13 extracts the contour of a road area without a clear boundary line such as a white line. On an asphalt road without a clear boundary line such as a white line, the extraction of a road line segment due to a boundary portion between the road and the soil or grass at the shoulder becomes unstable. For such roads, region extraction based on color features and the like is effective. Here, based on the assumption that the front of the vehicle is a road area, a road area is extracted by extracting a portion similar to a feature in the area. Basically, it is possible to extract a road area by a similar method, for example, from a nighttime infrared image according to the temperature of the road.

また、この領域抽出部13における処理は、明確な境界
が得られない道路の領域抽出のためだけではなく、前述
した大局的線分抽出や局所的線分抽出の各処理時に、道
路端のガードレールや壁などを誤って道路と認識しない
ためにも利用される。Further, the processing in the area extracting unit 13 is not only for the extraction of the area of the road where a clear boundary is not obtained, but also in the processing of the global line segment extraction and the local line segment extraction described above, the guardrail at the road end is used. It is also used to prevent false recognition of roads and walls as roads.

さらに、この領域抽出部13における処理は、ローカル
マップデータを利用して、前回までの処理結果と比較す
ることで、高い信頼性が得られる。Further, in the processing in the area extracting unit 13, high reliability is obtained by using the local map data and comparing it with the processing result up to the previous time.

また、第10図の構成にあって、走行可能領域認識およ
び目標経路設定部14（第１図に示す走行可能領域認識部
３および目標経路設定部４に相当する）としては、デー
タ管理部15,データ評価部16,ローカルマップ管理部17お
よびローカルマップデータベース18,制御スーパバイザ1
9からなっている。Further, in the configuration of FIG. 10, as the travelable area recognition and target route setting unit 14 (corresponding to the travelable area recognition unit 3 and the target route setting unit 4 shown in FIG. 1), a data management unit 15 , Data evaluation unit 16, local map management unit 17 and local map database 18, control supervisor 1
Consists of nine.

ここでは、画像以外の外界情報を得て、車両前方の障
害物などを検知するためのレーダ装置20が設けられてい
る。Here, a radar device 20 for obtaining outside world information other than images and detecting obstacles in front of the vehicle is provided.

また、車両の走行距離および進行方向を検出しながら
Ｘ−Ｙ座標上の位置を演算によって求めて、その求めら
れた車両の位置を道路地図上に表示しながら、車両がそ
の道路地図上における予定の位置にくると予め入力され
ている所定の誘導情報を出力するナビゲーション装置21
が設けられている。Further, the position on the X-Y coordinate is obtained by calculation while detecting the traveling distance and the traveling direction of the vehicle, and while the obtained position of the vehicle is displayed on the road map, the vehicle is scheduled on the road map. Navigation device 21 that outputs predetermined guidance information input in advance when it comes to the position of
Is provided.

データ管理部15は、画像処理部２における複数の画像
処理結果の時間管理を行い、また遠近投影による道路エ
ッジの画像を２次元平面上に投影する射影変換の処理を
行う。さらに、画像取得時間の違いによる座標上の位置
のずれを、後述する経路予測部22で計算された予測経路
テーブルをもとに各々座標変換することによって補正す
る。The data management unit 15 performs time management of a plurality of image processing results in the image processing unit 2, and performs a projection conversion process of projecting a road edge image by perspective projection onto a two-dimensional plane. Further, the displacement of the position on the coordinates due to the difference in the image acquisition time is corrected by performing coordinate conversion on the basis of the predicted route table calculated by the route predicting unit 22 described later.

すなわち、画像処理部２における各画像処理の実行時
間は同一でなく、状況に応じてそれぞれに変化していく
ため、最終的に各処理結果を同一の時刻、座標上で統合
するようにしている。That is, since the execution time of each image processing in the image processing unit 2 is not the same and changes depending on the situation, each processing result is finally integrated on the same time and coordinate. .

そのため、データ管理部15は、基準時計をもって時々
刻々の車両の移動量を測定し、非同期に実行される各画
像処理結果を任意の時刻の同一座標上に換算する機能を
独立してもたせる手段をとるようにしている。Therefore, the data management unit 15 measures the momentary movement amount of the vehicle with the reference clock, and provides a means for independently providing a function of converting each image processing result executed asynchronously to the same coordinate at an arbitrary time. I am taking it.

その手段をとることにより、非同期、並列に実行され
る各画像処理結果を効率良く同一の時刻、座標上に換算
でき、また座標変換などの同一処理の集約化が可能とな
り、また画像処理、距離情報検出処理、その後の統合評
価段階での通信および演算処理の負荷軽減が有効に図ら
れ、また各処理間における通信が簡素化される。By taking such means, the results of each image processing executed asynchronously and in parallel can be efficiently converted to the same time and coordinates, and the same processing such as coordinate conversion can be centralized. The information detection process, the communication at the integrated evaluation stage thereafter, and the reduction of the load of the calculation process are effectively achieved, and the communication between the processes is simplified.

この手段によれば、画像入力時刻などをそれぞれの画
像処理結果に付すだけで、後はまったく独立に処理して
いくことが可能であり、例えば手前寄りの走行路を短い
処理サイクルで認識可能ならば、遠方の走行路認識にや
や時間がかかっても、それぞれを並行に実行すること
で、高速での自動走行が可能となる。According to this means, it is possible to perform the processing completely independently simply by adding the image input time and the like to each image processing result, for example, if it is possible to recognize the traveling path nearer in a short processing cycle For example, even if it takes a little time to recognize a distant traveling path, it is possible to perform high-speed automatic traveling by executing them in parallel.

なお、複数の画像処理結果を同一の時刻、座標上で統
合して評価するために、例えば全ての処理を同時に開始
して、その全ての処理が完了した時点で各処理結果を統
合することが考えられるが、それでは最も長い処理時間
によってサイクルが拘束されてしまい、さらに開始時刻
を揃えるために各処理間で緊密な通信を行う必要を生じ
てしまう。In order to integrate and evaluate a plurality of image processing results on the same time and coordinate, for example, it is possible to simultaneously start all the processes and integrate the respective processing results when all the processes are completed. It is conceivable, however, that the cycle is constrained by the longest processing time, and furthermore, it becomes necessary to perform close communication between the respective processings in order to align the start times.

また、複数の画像処理手段およびレーダ装置20などの
距離情報獲得手段をもつ場合には、今までの走行路認識
結果やお互いの処理結果を参照し利用することで認識の
信頼性を大きく向上することができる。しかしながら、
それら各処理の実行時間は同一ではなく、状況に応じて
それぞれに変化していくものであり、また扱う座標系も
異なっている場合がある。そうした場合に、データ管理
部15は効率的に各処理が必要とする情報を授受できるよ
うにしている。In addition, when a plurality of image processing units and a distance information acquiring unit such as the radar device 20 are provided, the reliability of the recognition is greatly improved by referring to and using the results of the traveling path recognition and the processing results of each other. be able to. However,
The execution time of each of these processes is not the same, changes depending on the situation, and the coordinate system handled may be different. In such a case, the data management unit 15 can efficiently exchange information required by each process.

そのため、データ管理部15は、基準時計をもって時々
刻々の車両の移動量を測定し、非同期に実行される各処
理において必要とされる走行路認識結果や他の処理結果
などを任意の時刻の任意の座標上に換算する機能を独立
してもたせる手段をとるようにしている。Therefore, the data management unit 15 measures the instantaneous movement amount of the vehicle with the reference clock, and outputs a travel path recognition result and other processing results required in each process executed asynchronously at an arbitrary time. Means are provided to make the function of converting on the coordinates independent.

その手段をとることにより、複数処理のさまざまな要
求に応じた時刻および座標の変換を効率良く行うことが
でき、また座標変換などの同一処理の集約化が可能とな
り、また各処理での通信および演算処理の負荷軽減が有
効に図られる。By taking such means, it is possible to efficiently perform time and coordinate conversion according to various requests of a plurality of processes, to integrate the same processes such as coordinate conversion, and to perform communication and communication in each process. The load on the arithmetic processing can be effectively reduced.

過去に処理してきた走行路認識結果やお互いの処理結
果を参照し利用するためには、時刻合せや車両の移動量
での補正を行うことが必要である。しかし、各処理が直
接にデータをやりとりし、時刻、座標系を換算しては通
信、演算時間ともに大きな負担となる。In order to refer to and use the travel path recognition results and the mutual processing results that have been processed in the past, it is necessary to perform time adjustment and correction with the amount of movement of the vehicle. However, when each process directly exchanges data and converts the time and the coordinate system, both communication and calculation time impose a heavy burden.

この手段によれば、各処理結果がそれぞれ独立して整
理、保存され、さらに任意の時刻、形態のデータを希望
に応じて作成でき、通信、演算時間が大幅に減少するた
め、全体の処理サイクルの高速化が図られる。According to this means, each processing result is independently organized and stored, and furthermore, data of an arbitrary time and form can be created as desired, and communication and calculation time are greatly reduced. Speedup is achieved.

複数の画像処理手段とレーダ装置20などの距離情報獲
得手段の処理結果を統一的に管理し、さまざまな要求に
応じて任意の時刻における同一座標上のデータに変換す
るといった機能を効率的に行わせるため、ここではデー
タ管理部15を第11図に示すようなデータベースを中心と
した構造とした。It efficiently manages the processing results of multiple image processing means and the distance information acquisition means such as the radar device 20 and efficiently performs functions such as converting to data on the same coordinates at any time according to various requests In this case, the data management unit 15 has a structure centered on a database as shown in FIG.

画像処理部２における大局的線分抽出部11,局所的線
分追跡部12および領域抽出部13、レーダ装置20、制御部
５における経路予測部22からの各データは、まず非同期
にデュアルポートRAM27に書き込まれる。同様に、ロー
カルマップデータやデータ評価部16からの評価結果のデ
ータなどがそのデュアルポートRAM27に書き込まれる。Each data from the global line segment extraction unit 11, the local line segment tracking unit 12 and the region extraction unit 13, the radar device 20, and the route prediction unit 22 in the control unit 5 in the image processing unit 2 is first asynchronously transmitted to the dual port RAM 27. Is written to. Similarly, the local map data, the data of the evaluation result from the data evaluation unit 16, and the like are written in the dual port RAM 27.

データ管理部15は、定期的にデュアルポートRAM27の
内容を読みにいく。The data management unit 15 periodically reads the contents of the dual port RAM 27.

そのとき、各部11〜13,20,22から出力された新しいデ
ータがあれば、それをデータベース書込ポート28を通し
て各々のデータベース29〜34に格納する。ここで、デー
タベース29はデータ評価結果用のもの、データベース30
は大局的線分抽出結果用のもの、データベース31は局所
的線分追跡結果用のもの、データベース32は領域抽出結
果用のもの、データベース33は距離情報獲得結果用のも
の、データベース34は経路予測結果用のものである。At this time, if there is new data output from each of the units 11 to 13, 20, and 22, it is stored in each of the databases 29 to 34 through the database write port 28. Here, the database 29 is for data evaluation results, and the database 30
Is for global line segment extraction results, database 31 is for local line segment tracking results, database 32 is for region extraction results, database 33 is for distance information acquisition results, and database 34 is path prediction For results.

このときの処理のフローを、第12図に示している。 The processing flow at this time is shown in FIG.

また、デュアルポートRAM27の内容を読んだ結果、そ
れがデータリクエストであれば、データ管理部15はデー
タベース読出ポート35を通して希望に応じたデータを各
データベース29〜34から適宜検索し、さらに射影変換処
理部36、時刻、位置補正処理部37および逆射影変換処理
部38において希望に沿った形に適宜データ変換して出力
用のデュアルポートRAM39に書き込む。If the result of reading the contents of the dual port RAM 27 is a data request, the data management unit 15 retrieves data as desired from each of the databases 29 to 34 through the database read port 35 as appropriate, and further performs a projection conversion process. In the unit 36, the time and position correction processing unit 37, and the inverse projection conversion processing unit 38, the data is appropriately converted into a desired form and written into the dual port RAM 39 for output.

いま、例えばデータ評価部16からデータリクエストが
あった場合、最新の画像処理結果のデータと距離情報獲
得のデータとが各データベースから読み出され、画像処
理結果が道路面上の座標に射影変換される。さらに、画
像処理結果が要望の時刻での車両との位置関係に補正さ
れて、データ評価部16へと渡される。Now, for example, when there is a data request from the data evaluation unit 16, the data of the latest image processing result and the data of distance information acquisition are read from each database, and the image processing result is projected and transformed into coordinates on the road surface. You. Further, the image processing result is corrected to a positional relationship with the vehicle at a desired time, and is passed to the data evaluation unit 16.

また、例えば画像処理部２からある時刻で距離情報の
リクエストがなされた場合、所定のデータベースから該
当するデータが読み出され、要望の時刻での位置に補正
されてリクエスト先に渡される。その際、特に画像処理
部２からのリクエストでは、撮像部１における画像メモ
リ上の座標に逆射影変換されたデータをリクエスト先に
渡すようにして、画像処理部２における処理の負担を減
軽している。Further, for example, when a request for distance information is made from the image processing unit 2 at a certain time, the corresponding data is read from a predetermined database, corrected to a position at a desired time, and passed to the request destination. At this time, in particular, in the case of a request from the image processing unit 2, the data subjected to the inverse projection transformation to the coordinates on the image memory in the imaging unit 1 is passed to the request destination, so that the processing load on the image processing unit 2 is reduced. ing.

このときの処理のフローを、第13図に示している。 The processing flow at this time is shown in FIG.

また、画像処理結果を要望の時刻での車両との位置関
係に補正する場合、要望のあった時刻をt2,画像の入力
時刻などの該当データの入力時刻をt1とすると、第14図
に示すように、時刻t1,t2での経路予測データ（各時刻
での絶対座標Ｘ−Ｙ上における車両の位置および向き）
を経路予測結果データベース34から読みとり、それらの
データにより、時刻t1での該当データの各点を時刻t2で
の車両との相対座標上の位置に補正する。Also, when correcting the image processing result to the positional relationship with the vehicle at the desired time, assuming that the requested time is t2 and the input time of the corresponding data such as the input time of the image is t1, as shown in FIG. Thus, the route prediction data at times t1 and t2 (the position and orientation of the vehicle on the absolute coordinates XY at each time)
Is read from the route prediction result database 34, and based on the data, each point of the corresponding data at the time t1 is corrected to a position on the relative coordinates with the vehicle at the time t2.

第14図において、P1は時刻t1における車両の位置、D1
はそのP1位置における車両の進行方向、P2は時刻t2にお
ける車両の位置、D2はそのP2位置における車両の進行方
向を示している。In FIG. 14, P1 is the position of the vehicle at time t1, D1
Indicates the traveling direction of the vehicle at the P1 position, P2 indicates the position of the vehicle at the time t2, and D2 indicates the traveling direction of the vehicle at the P2 position.

このときの処理のフローを、第15図に示している。 The processing flow at this time is shown in FIG.

また、その位置補正としては、第16図（ａ）に示すよ
うに、時刻t1での相対座標をｘ−y,時刻t2での相対座標
をｘ′−ｙ′としたとき、同図（ｂ）に示すように、時
刻t1での相対座標ｘ−ｙ上における点Ｐ（x1,y1）を時
刻t2での相対座標ｘ′−ｙ′上における点Ｐ′（x2,y
2）に変換する。As shown in FIG. 16 (a), when the relative coordinates at time t1 are x−y and the relative coordinates at time t2 are x′−y ′ as shown in FIG. ), The point P (x1, y1) on the relative coordinate xy at the time t1 is changed to the point P ′ (x2, y) on the relative coordinate xy ′ at the time t2.
Convert to 2).

そのときの変換式は、次式によって与えられる。 The conversion formula at that time is given by the following formula.

また、第10図の構成にあって、データ評価部16は、デ
ータ管理部15から受け取った複数の射影変換された道路
エッジのデータを、道路モデルとの適合性および道路デ
ータ相互間の関係から評価し、間違ったデータを除去し
たうえで、適正と判断された複数の道路エッジデータを
一平面上に融合する。 In the configuration of FIG. 10, the data evaluation unit 16 converts the data of the plurality of project-transformed road edges received from the data management unit 15 from the compatibility with the road model and the relationship between the road data. After evaluating and removing erroneous data, a plurality of road edge data determined to be appropriate are fused on one plane.

ここでは、複数の画像処理結果を用いることにより、
互いの弱点を補った評価結果のデータを得るようにして
いる。Here, by using a plurality of image processing results,
The data of the evaluation result supplementing each other's weak points is obtained.

したがって、例えば、白線が引いてある道路にあって
は白線の抽出に最適な画像処理結果を用い、また白線が
引かれていない道路にあってはカラー特徴などによる領
域抽出の画像処理結果を用いるなど、多様に変化する環
境に対して、より柔軟に対応可能となる。Therefore, for example, for a road with a white line, the image processing result optimal for extracting the white line is used, and for a road without a white line, the image processing result of region extraction based on color features is used. For example, it is possible to respond more flexibly to various changing environments.

また、ここでは、信頼性のある道路データを作成でき
るように、各画像処理結果に対して、道路データとして
妥当か否かの検証を以下に示す簡単な条件により行うよ
うにしている。Here, in order to create reliable road data, verification of whether each image processing result is appropriate as road data is performed under the following simple conditions.

道路は、ある道幅をもっている（道幅条件）。 A road has a certain road width (road width condition).

道路を構成する線分は、滑らかにつながっている（滑
らかさ条件）。The line segments constituting the road are smoothly connected (smoothness condition).

点列で示される道路データの点数は、ある値以上必要
である（異常点条件１）。The score of the road data indicated by the point sequence needs to be a certain value or more (abnormal point condition 1).

道路データは、測定範囲外に存在しない（異常点条件
２）。Road data does not exist outside the measurement range (abnormal point condition 2).

道路データは、道路領域外に存在しない（異常点条件
３）。Road data does not exist outside the road area (abnormal point condition 3).

このように、道路データを点で評価し、かつ領域デー
タと線分データとの整合をとるようにしているので、道
路を認識するための優れた評価結果が得られる。As described above, since the road data is evaluated in terms of points and the area data and the line segment data are matched, an excellent evaluation result for recognizing the road can be obtained.

データ評価部16における処理のフローは、第17図に示
すようになる。The processing flow in the data evaluation section 16 is as shown in FIG.

データ管理部15からの同一時刻に位置補正された射影
変換後の３つの画像処理結果にもとづいて、まず道路デ
ータとして妥当か否かを以下の条件により決定し、その
結果にしたがって１つの信頼できる道路データを作成し
てローカルマップ管理部17に出力する。Based on the three image processing results after the projective transformation, the positions of which have been corrected at the same time from the data management unit 15, whether or not the data is appropriate as road data is first determined based on the following conditions. The road data is created and output to the local map management unit 17.

なお、その際、同一時刻に位置補正することにより３
つの画像処理結果であるデータ間の比較を容易にしてい
る。また、射影変換することにより、道路が平面である
という条件のもとで、道路データの幾何学的評価を容易
にしている。At this time, by correcting the position at the same time, 3
This facilitates comparison between data that is the result of one image processing. Further, the projective transformation facilitates the geometric evaluation of the road data under the condition that the road is a plane.

また、第10図の構成にあって、ローカルマップ管理部
17は、道路エッジデータをベクトル表現化し、ローカル
マップデータとしてローカルマップデータベース18に格
納する。In addition, in the configuration of FIG.
17 converts the road edge data into a vector and stores it in the local map database 18 as local map data.

そのモジュールとしては、データ評価部16から与えら
れる道路区分線のデータやレーダ装置20から与えられる
障害物位置のデータなどから、車両のおかれた環境をロ
ーカルマップという形で表現する部分と、その作成され
たローカルマップを管理する部分とからなっている。The module includes a part that expresses the environment in which the vehicle is placed in the form of a local map from data on the road lane markings provided from the data evaluation unit 16 and data on obstacle positions provided from the radar device 20, and the like. It consists of managing the created local map.

ローカルマップとは、車両を原点に据えた地表面の平
面座標上に道路区分線や障害物位置などを写像したマッ
プである。The local map is a map in which road division lines, obstacle positions, and the like are mapped on plane coordinates on the ground surface where the vehicle is set at the origin.

そして、ローカルマップ管理部17は、画像処理部２、
データ管理部15、データ評価部16、ナビゲーション装置
21からのマップ参照の要求に対して、必要な範囲のマッ
プをローカルマップデータベース18より取り出して、現
在時刻の車両位置に合せて座標変換して出力する。Then, the local map management unit 17 includes the image processing unit 2,
Data management unit 15, data evaluation unit 16, navigation device
In response to a map reference request from 21, a map in a necessary range is extracted from the local map database 18, coordinate-converted according to the vehicle position at the current time, and output.

また、ローカルマップ管理部17は、ローカルマップ上
に今回処理時の道路エッジの線分を重ね、過去のデータ
との連結関係、車両との相対位置関係などによってその
線分の属性を決定し、何れの属性にも属さない線分を除
去する。Further, the local map management unit 17 superimposes the line segment of the road edge at the time of this processing on the local map, determines the attribute of the line segment based on the connection relationship with the past data, the relative positional relationship with the vehicle, and the like, Line segments that do not belong to any attribute are removed.

ローカルマップをもつ利点としては、各種のセンサ系
からの出力を統一的に取り扱うことが可能となり、ま
た、一度の画像処理では曲り角などのカメラ視野の死角
となって見えなくなる部分を過去のデータを用いて補足
することが可能となり、また、ローカルマップをセンサ
系が参照することで系の信頼性を向上させることが可能
となることなどがあげられる。The advantage of having a local map is that outputs from various sensor systems can be handled in a unified manner. This can be used to supplement the information, and the reliability of the system can be improved by referring to the local map by the sensor system.

また、ローカルマップ管理部17は、複数のローカルマ
ップを作成し、保持している。それにより、他の構成部
からのアクセス要求があった場合、すでに処理の終って
いるローカルマップのデータを参照すればよく、現在処
理中のローカルマップの完成をまつ必要がないという利
点と、排他制御が必要なくなるためにアクセス管理が容
易になるという利点をあわせもつ。In addition, the local map management unit 17 creates and holds a plurality of local maps. Thereby, when there is an access request from another component, it is sufficient to refer to the data of the already processed local map, and it is not necessary to wait for the completion of the currently processed local map. It also has the advantage that access control becomes easier because control is not required.

また、第10図の構成にあって、制御スーパバイザ19
は、運転者とのマンマシンインタフェイスにより、自動
走行と手動走行との切換え、および自動走行による走行
開始と走行中止との切換えを行う。Further, in the configuration shown in FIG. 10, the control supervisor 19
Performs switching between automatic traveling and manual traveling and switching between traveling start and traveling stop by automatic traveling by a man-machine interface with a driver.

また、制御スーパバイザ19は、ローカルマップ、ナビ
ゲーション装置21からの地図情報および誘導情報、レー
ダ装置20によって検知された障害物などの画像以外の外
界情報をもとに、走行車線の選択、障害物回避の必要性
の吟味などを行い、走行可能領域を決定する。そして、
その決定された走行可能領域内において車両走行の目標
経路を設定し、その目標経路のデータを制御部５′に与
える。In addition, the control supervisor 19 selects a driving lane and avoids obstacles based on local information, map information and guidance information from the navigation device 21, and external information other than images such as obstacles detected by the radar device 20. Investigate the necessity of the vehicle, etc., and determine the runnable area. And
A target route for vehicle travel is set within the determined travelable area, and data on the target route is provided to the control unit 5 '.

また、制御スーパバイザ19は、画像の視野距離、車
速、画像処理に要する時間、ナビゲーション装置21から
得られる現在走行中の道路における法定速度などの情報
を参酌して、車両の走行速度を決定し、その決定された
走行速度、およびその走行速度に達するまでの走行距離
の各指定を制御部５′に与える。In addition, the control supervisor 19 determines the traveling speed of the vehicle, taking into account information such as the viewing distance of the image, the vehicle speed, the time required for image processing, and the legal speed on the currently traveling road obtained from the navigation device 21, The designated traveling speed and the designation of the traveling distance until reaching the traveling speed are given to the control unit 5 '.

制御部５′としては、ここでは、経路予測部22,経路
制御部23および車速制御部24からなっている。Here, the control unit 5 'includes a route prediction unit 22, a route control unit 23, and a vehicle speed control unit 24.

経路予測部22は、各センサによってそれぞれ検出され
た車速v,ヨーレートγ，タイヤ角度δによって求められ
る車体の運動量（その他、横加速度センサによって検出
される車体の横滑り角などを加味してもよい）にしたが
って、車両のＸ−Ｙ座標上の予測経路（第８図中の予測
経路AC）を算出する。また、それは、時刻と座標を共有
メモリ上に書き込むことにより、本装置の基準時計の役
目を果たす。The route predicting unit 22 calculates the vehicle momentum obtained from the vehicle speed v, the yaw rate γ, and the tire angle δ detected by the respective sensors (otherwise, it may take into account the side slip angle of the vehicle detected by the lateral acceleration sensor). , The predicted route on the XY coordinate of the vehicle (the predicted route AC in FIG. 8) is calculated. It also serves as a reference clock for the device by writing the time and coordinates on a shared memory.

経路制御部23は、制御スーパバイザ19から与えられる
走行可能領域内に設定された目標経路のデータと、経路
予測部22から与えられる予測経路のデータとに応じて、
現在の車両位置および車両の走行状態を考慮して、実現
可能で、かつ車両の走行を目標経路になめらかに追従さ
せる走行計画経路を発生する。そして、その走行計画経
路にしたがう舵角の目標値を決定し、舵角の制御指令を
ステアリング制御部９に与えて、実際の舵角が目標値に
なるような制御を行わせる。その際、車両の走行状態を
フィードバックして走行計画経路に追従させるような舵
角制御が行われる。The route control unit 23, according to the data of the target route set in the travelable area given from the control supervisor 19, and the data of the predicted route given from the route prediction unit 22,
In consideration of the current vehicle position and the traveling state of the vehicle, a travel plan route that is feasible and smoothly causes the vehicle to follow the target route is generated. Then, a target value of the steering angle according to the travel plan route is determined, and a control command of the steering angle is given to the steering control unit 9 to control the actual steering angle to be the target value. At this time, steering angle control is performed so that the traveling state of the vehicle is fed back to follow the travel plan route.

このときの処理のフローを、第18図に示している。 The processing flow at this time is shown in FIG.

車速制御部24は、制御スーパバイザ19から指示された
走行距離において指定速度になるように、車速の変化パ
ターンを計画する。The vehicle speed control unit 24 plans a change pattern of the vehicle speed so that the vehicle speed becomes the designated speed at the traveling distance instructed by the control supervisor 19.

そして、その計画された車速変化パターンに実車速が
追従するようにスロットル開度およびブレーキ圧の目標
値を決定し、そのスロットル開度およびブレーキ圧の制
御指令をアクチュエータ制御部25に与えて、その制御下
において、実際のスロットル開度およびブレーキ圧が目
標値になるように、スロットルモータおよびブレーキソ
レノイドバルブなどからなるアクチュエータ26の駆動が
行われる。Then, a target value of the throttle opening and the brake pressure is determined so that the actual vehicle speed follows the planned vehicle speed change pattern, and a control command of the throttle opening and the brake pressure is given to the actuator control unit 25, and Under the control, the actuator 26 including the throttle motor and the brake solenoid valve is driven so that the actual throttle opening and brake pressure become the target values.

第19図は車速制御のためのブロック構成例を示すもの
で、車速計画発生部40と、スロットル開度およびブレー
キ圧決定部41と、アクチュエータ制御部42と、スロット
ルモータ43およびブレーキソレノイドバルブ44からなる
アクチュエータとからなっている。図中、45は車速制御
の対象となる車両を示している。スロットルモータ43に
は、そのモータ駆動量にしたがって実スロットル開度Tx
を検出するセンサ（図示せず）が設けられている。ブレ
ーキソレノイドバルブ44には、そのバルブ駆動量にした
がって実ブレーキ圧Bxを検出するセンサ（図示せず）が
設けられている。また、車両45には、実走行距離Lx,実
車速Vxおよび実加速度Axをそれぞれ検出する各センサ
（図示せず）が設けられている。FIG. 19 shows an example of a block configuration for vehicle speed control, which includes a vehicle speed plan generator 40, a throttle opening and brake pressure determiner 41, an actuator controller 42, a throttle motor 43 and a brake solenoid valve 44. Actuator. In the figure, reference numeral 45 denotes a vehicle to be subjected to vehicle speed control. The throttle motor 43 has an actual throttle opening Tx according to the motor drive amount.
(Not shown) is provided for detecting. The brake solenoid valve 44 is provided with a sensor (not shown) for detecting the actual brake pressure Bx according to the valve drive amount. Further, the vehicle 45 is provided with respective sensors (not shown) for detecting the actual traveling distance Lx, the actual vehicle speed Vx, and the actual acceleration Ax, respectively.

車速計画発生部40は、指定走行距離Lr,指定速度Vrお
よび目標経路OSの各入力データにしたがって、その目標
経路OS上を指定された距離Lrだけ走行したときに指定さ
れた車速になるような車速計画を、例えばファジイ推論
によって作成する。そして、車両の実走行距離Lxおよび
実車速Vxに応じて、その作成された車速計画にしたがっ
て目標車速Vsを逐次設定していく。The vehicle speed plan generation unit 40 is configured such that, according to the input data of the designated traveling distance Lr, the designated speed Vr, and the target route OS, the vehicle speed becomes the designated vehicle speed when the vehicle travels the designated distance Lr on the target route OS. A vehicle speed plan is created by, for example, fuzzy inference. Then, according to the actual traveling distance Lx and the actual vehicle speed Vx of the vehicle, the target vehicle speed Vs is sequentially set according to the created vehicle speed plan.

スロットル開度およびブレーキ圧決定部41は、車速計
画発生部40から与えられる目標車速Vsにしたがって、実
際に検出される車両の車速Vxおよび加速度Axから得られ
る車両の走行状態をみながら、その目標車両Vsに追従さ
せるための目標スロットル開度Tsおよび目標ブレーキ圧
Bxを、例えばファジイ推論によって決定する。According to the target vehicle speed Vs given from the vehicle speed plan generation unit 40, the throttle opening and brake pressure determination unit 41 checks the target state of the vehicle while observing the running state of the vehicle obtained from the vehicle speed Vx and the acceleration Ax actually detected. Target throttle opening Ts and target brake pressure for following vehicle Vs
Bx is determined, for example, by fuzzy inference.

アクチュエータ制御部42は、スロットル開度およびブ
レーキ圧決定部41から与えられる目標スロットル開度Ts
および目標ブレーキ圧Bsになるように、実スロットル開
度Txおよび実ブレーキ圧Bxをフィードバックさせなが
ら、スロットルモータ43およびブレーキソレノイドバル
ブ44の駆動制御をそれぞれ行う。The actuator control unit 42 determines the target throttle opening Ts given from the throttle opening and brake pressure determination unit 41.
The drive control of the throttle motor 43 and the brake solenoid valve 44 is performed while feeding back the actual throttle opening Tx and the actual brake pressure Bx so that the target brake pressure Bs is obtained.

第20図はナビゲーション装置21の構成例を示すもの
で、例えば車両のタイヤの回転に応じて単位走行距離ご
とのパルス信号を出力する光電式，電磁式または機械接
点式などによる距離センサ46と、例えば車両の走行にと
もなうヨー方向の角速度の変化量を比例した信号を出力
するジャイロスコープなどからなるヨーレートセンサ47
と、距離センサ46からのパルス信号数をカウントして車
両の走行距離を計測するとともに、ヨーレートセンサ47
の出力信号にしたがって車両の進行方向の変化を求め
て、車両の単位走行距離ごとにおけるＸ−Ｙ座標上の位
置を逐次演算によって求め、かつナビゲーション装置全
体の集中制御を行わせるCPU,プログラム用ROMおよび制
御用RAMなどからなる信号処理装置（コンピュータ制御
装置）48と、その信号処理装置48によって求められた刻
々変化するＸ−Ｙ座標上の位置のデータを順次格納し、
車両の現在位置に対応する有限の連続位置情報としてそ
れを保持する走行軌跡記憶装置49と、予めデジタル化さ
れた道路地図情報がファイル単位で複数格納されている
地図情報記憶媒体50と、その記憶媒体50から必要な地図
情報を選択的に読み出す記憶媒体再生装置51と、その読
み出された地図情報に応じて地図画像を画面に表示させ
るとともに、走行軌跡記憶装置49に格納された位置デー
タにもとづいて車両の現在位置，それまでの走行軌跡お
よび現在の進行方向などを同一画面に刻々更新表示させ
る表示装置52と、信号処理装置48へ動作指令を与えると
ともに、表示装置52に表示させる地図の選択指定および
その表示された地図上における車両の出発点の設定を行
わせ、また表示される地図上における走行予定経路にし
たがって車両の走行を誘導するための誘導情報の入力指
示を適宜行わせることのできる操作装置53とによって構
成されている。FIG. 20 shows an example of the configuration of the navigation device 21. For example, a photoelectric, electromagnetic or mechanical contact type distance sensor 46 that outputs a pulse signal for each unit traveling distance in accordance with the rotation of a vehicle tire, For example, a yaw rate sensor 47 composed of a gyroscope or the like that outputs a signal proportional to the amount of change in the angular velocity in the yaw direction due to the running of the vehicle
The number of pulse signals from the distance sensor 46 is counted to measure the traveling distance of the vehicle, and the yaw rate sensor 47
CPU, program ROM for determining the change in the traveling direction of the vehicle in accordance with the output signal of the vehicle, sequentially calculating the position on the XY coordinates for each unit traveling distance of the vehicle, and performing centralized control of the entire navigation device. And a signal processing device (computer control device) 48 composed of a control RAM and the like, and data of the position on the XY coordinates that change every moment obtained by the signal processing device 48 are sequentially stored,
A travel locus storage device 49 that holds the finite continuous position information corresponding to the current position of the vehicle, a map information storage medium 50 in which a plurality of pre-digitized road map information are stored in file units, and a storage thereof. A storage medium reproducing device 51 that selectively reads necessary map information from the medium 50, and a map image is displayed on a screen in accordance with the read map information, and the position data stored in the travel locus storage device 49 is displayed. Based on the current position of the vehicle, the running trajectory up to that point, the current traveling direction, etc., a display device 52 for updating and displaying on the same screen every moment, an operation command is given to the signal processing device 48, and Select and specify the starting point of the vehicle on the displayed map, and invite the vehicle to travel according to the scheduled travel route on the displayed map. And an operation device 53 capable of appropriately inputting guidance information for guiding.

このように構成されたものでは、第21図に示すよう
に、選択的に読み出された道路地図が表示装置52の画面
に映し出されるとともに、その地図上において設定され
た出発点からの車両の走行にしたがって信号処理装置48
により予め設定された地図の縮尺率に応じてＸ−Ｙ座標
上に車両の現在位置を示す表示マークM1,その現在位置
における車両の進行方向を示す表示マークM2および出発
点Ｓから現在位置に至るまでの走行軌跡表示マークM3が
車両の走行状態に追従して模擬的に表示される。In such a configuration, as shown in FIG. 21, the road map selectively read out is displayed on the screen of the display device 52, and the vehicle from the starting point set on the map is displayed. Signal processing device 48 according to running
The display mark M1 indicating the current position of the vehicle on the XY coordinates in accordance with the map scale set in advance, the display mark M2 indicating the traveling direction of the vehicle at the current position, and the start point S to the current position The running locus display mark M3 is displayed in a simulated manner following the running state of the vehicle.

また操作装置53の入力操作によって、画面に写し出さ
れた地図上における走行予定経路にしたがって車両の走
行を誘導するための誘導情報の入力指定を行わせる際、
例えば第22図に示すように、地図上の走行予定経路にお
ける主要な交差点や分岐点に目標点a,b,c,…を設定する
とともに、その各目標点で右，左折などの指示を与える
ことができるようにしている。In addition, by the input operation of the operation device 53, when performing the input designation of guidance information for guiding the vehicle to travel according to the scheduled travel route on the map projected on the screen,
For example, as shown in FIG. 22, target points a, b, c,... Are set at main intersections and branch points in the planned traveling route on the map, and an instruction such as right or left turn is given at each of the target points. Have to be able to.

そして、信号処理装置48がその入力された誘導情報を
読み込んで、例えば車両の現在位置の表示マークM1が目
標点ａの一定の距離手前の位置Ｄにきたときに、「先方
にＹ字路あり、右方の分岐路に進め」などを指示する誘
導情報を発するようになっている。Then, the signal processing device 48 reads the input guidance information, and when, for example, the display mark M1 of the current position of the vehicle comes to the position D that is a certain distance before the target point a, "there is a Y-shaped road ahead. , Go to the right fork "and the like.

しかして、第10図に示した自動走行装置にあって、制
御スーパバイザ19は、ナビゲーション装置21から、例え
ば「先方のＹ字路を右方の分岐路に進め」なる誘導情報
が与えられると、そこでは先方のＹ字路に相当する走行
可能領域が認識されているので、そのＹ字路の右方の分
岐路に相当する領域内に目標経路を設定するようにす
る。Thus, in the automatic traveling apparatus shown in FIG. 10, when the control supervisor 19 receives guidance information such as "advance the Y-shaped road ahead to the right branch road" from the navigation device 21, Since the travelable area corresponding to the Y-shaped road ahead is recognized there, the target route is set in an area corresponding to the right branch road of the Y-shaped road.

また、ナビゲーション装置21における地図情報記憶媒
体50には、地図上における各道路の法定速度などの種々
の誘導情報が登録されており、車両が現在走行中の道路
における法定速度などの誘導情報が読み出されて制御ス
ーパバイザ19に与えられるようになっている。Various guidance information such as the legal speed of each road on the map is registered in the map information storage medium 50 of the navigation device 21, and the guidance information such as the legal speed of the road on which the vehicle is currently traveling is read. And is given to the control supervisor 19.

効果 以上、本発明による自動走行装置にあっては、車両に
取り付けられた撮像装置により車両の進行方向の領域を
撮像することによって得られる画像を画像処理すること
により車両の走行可能領域を認識する手段と、その認識
結果にもとづいて走行可能領域内における車両走行の目
標経路を設定する手段と、車両の走行状態を検出する手
段と、その検出された車両の走行状態にもとづいて車両
が目標経路上を走行するのに必要な制御目標量を求める
手段と、その求められた制御目標量にしたがって目標経
路に追従させるように車両の走行制御を行わせる手段と
を有するものにおいて、特に、制御対象を車両の舵角に
設定し、現在検出されている車両の走行状態からこれか
ら先の走行経路を予測し、その車両の予測経路と前記目
標経路との偏差から車両が目標経路上を走行するための
走行計画経路をわり出して、その走行計画経路にしたが
う舵角の目標値を求め、実際の舵角がその目標値になる
ような車両の走行制御を行わせるようにしたもので、車
両の実際の走行状態にみあった目標経路へ追従させるた
めの走行制御を最適に行わせることができるという優れ
た利点を有している。Effect As described above, in the automatic traveling apparatus according to the present invention, the travelable area of the vehicle is recognized by performing image processing on an image obtained by capturing an area in the traveling direction of the vehicle by the imaging device attached to the vehicle. Means, a means for setting a target route for vehicle travel in the travelable area based on the recognition result, means for detecting a travel state of the vehicle, and a target route based on the detected travel state of the vehicle. A means for obtaining a control target amount necessary for traveling on the vehicle, and a means for performing travel control of the vehicle so as to follow a target route according to the obtained control target amount. Is set to the steering angle of the vehicle, and a future traveling route is predicted from the traveling state of the currently detected vehicle, and a deviation between the predicted route of the vehicle and the target route is calculated. From, a travel plan route for the vehicle to travel on the target route is calculated, a target value of the steering angle according to the travel plan route is determined, and the travel control of the vehicle is performed so that the actual steering angle becomes the target value. This has an excellent advantage that it is possible to optimally perform the travel control for following the target route according to the actual traveling state of the vehicle.

【図面の簡単な説明】[Brief description of the drawings]

第１図は本発明による自動走行装置の一実施例を示すブ
ロック構成図、第２図はビデオカメラによって撮像され
た画像のデータ処理を行うことによって得られた道路の
線分を示す図、第３図は第２図の画像を射影変換するこ
とによって得られた画像を示す図、第４図はＸ−Ｙ座標
上の線分を示す図、第５図は第４図の線分をHough変換
したときのρ−θ座標上の点を示す図、第６図は道路上
に設定された目標経路の一例を示す図、第７図（ａ），
（ｂ）は車両の低速時および高速時に道路上に設定され
る目標経路をそれぞれ示す図、第８図は目標経路と車両
の予測経路との関係を示す図、第９図は車両の舵角とそ
の回転半径との関係を示す図、第10図は第１図に示した
本発明による自動走行装置のより詳細なブロック構成
図、第11図はデータ管理部の構成例を示すブロック図、
第12図はデータ管理部がデュアルポートRAMの内容を読
みいく際の処理のフローを示す図、第13図はデータ管理
部におけるデータリクエスト時の処理のフローを示す
図、第14図は異なる時刻における絶対座標Ｘ−Ｙ上にお
ける車両の位置と向きを示す特性図、第15図は画像処理
結果を要望の時刻での車両の位置関係に補正する際の処
理のフローを示す図、第16図（ａ），（ｂ）は車両のあ
る時刻における位置の相対座標上の点を車両の異なる時
刻における位置の他の相対座標上の点に変換する際の各
座標位置関係を示す図、第17図はデータ評価部における
処理のフローを示す図、第18図は経路制御部における処
理のフローを示す図、第19図は車速制御部の構成例を示
すブロック図、第20図はナビゲーション装置の構成例を
示すブロック図、第21図はナビゲーション装置の表示画
面の一例を示す図、第22図はナビゲーション装置におけ
る走行予定経路上への誘導情報の入力状態を示す図であ
る。 １…撮像部、２…画像処理部、３…走行可能領域認識
部、４…目標経路設定部、５…制御部、６…車速セン
サ、７…ヨーレートセンサ、８…舵角センサ、９…ステ
アリング制御部、10…ステアリング駆動部、11…大局的
線分抽出部、12…局所的線分追跡部、13…領域抽出部、
14…走行可能領域認識および目標経路設定部、15…デー
タ管理部、16…データ評価部、17…ローカルマップ管理
部、18…ローカルマップデータベース、19…制御スーパ
バイザ、20…レーダ装置、21…ナビゲーション装置、22
…経路予測部、23…経路制御部、24…車速制御部、AC…
予測経路、OC…目標経路FIG. 1 is a block diagram showing an embodiment of an automatic traveling apparatus according to the present invention. FIG. 2 is a view showing road segments obtained by performing data processing on an image taken by a video camera. 3 is a diagram showing an image obtained by projectively transforming the image of FIG. 2, FIG. 4 is a diagram showing a line segment on the XY coordinate, and FIG. 5 is a diagram showing a line segment of FIG. FIG. 6 is a diagram showing points on the ρ-θ coordinates when converted, FIG. 6 is a diagram showing an example of a target route set on a road, FIG.
(B) is a diagram showing a target route set on the road at low and high speeds of the vehicle, FIG. 8 is a diagram showing a relationship between the target route and a predicted route of the vehicle, and FIG. 9 is a steering angle of the vehicle. FIG. 10 is a block diagram showing a more detailed block diagram of the automatic traveling apparatus according to the present invention shown in FIG. 1, FIG. 11 is a block diagram showing a configuration example of a data management unit,
FIG. 12 is a diagram showing a processing flow when the data management unit reads the contents of the dual port RAM, FIG. 13 is a diagram showing a processing flow at the time of a data request in the data management unit, and FIG. FIG. 15 is a characteristic diagram showing the position and orientation of the vehicle on the absolute coordinates XY in FIG. 15, FIG. 15 is a diagram showing a flow of processing when correcting the image processing result to the positional relationship of the vehicle at the desired time, FIG. (A), (b) is a diagram showing a coordinate positional relationship when a point on the relative coordinates of the position of the vehicle at a certain time is converted into a point on another relative coordinate of the position of the vehicle at a different time, FIG. FIG. 18 is a diagram showing a processing flow in a data evaluation unit, FIG. 18 is a diagram showing a processing flow in a route control unit, FIG. 19 is a block diagram showing a configuration example of a vehicle speed control unit, and FIG. FIG. 21 is a block diagram showing a configuration example, and FIG. Illustrates an example of a display screen of Geshon device, FIG. 22 is a diagram showing the input state of the guidance information to the planned travel route in the navigation device. DESCRIPTION OF SYMBOLS 1 ... Image pick-up part, 2 ... Image processing part, 3 ... Drivable area recognition part, 4 ... Target route setting part, 5 ... Control part, 6 ... Vehicle speed sensor, 7 ... Yaw rate sensor, 8 ... Steering angle sensor, 9 ... Steering Control unit, 10: Steering drive unit, 11: Global line segment extraction unit, 12: Local line segment tracking unit, 13: Area extraction unit,
14: Travelable area recognition and target route setting unit, 15: Data management unit, 16: Data evaluation unit, 17: Local map management unit, 18: Local map database, 19: Control supervisor, 20: Radar device, 21: Navigation Equipment, 22
... Route prediction unit, 23 ... Route control unit, 24 ... Vehicle speed control unit, AC ...
Predicted route, OC… Target route

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G05D 1/02 ──────────────────────────────────────────────────続 き Continued on front page (58) Field surveyed (Int.Cl. ⁶ , DB name) G05D 1/02

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】車両に取り付けられた撮像装置により車両
の進行方向の領域を撮像することによって得られる画像
を画像処理することにより車両の走行可能領域を認識す
る手段と、その認識結果にもとづいて走行可能領域内に
おける車両走行の目標経路を設定する手段と、車両の走
行状態を検出する手段と、その検出された車両の走行状
態にもとづいて車両が目標経路上を走行するのに必要な
制御目標量を求める手段と、その求められた制御目標量
にしたがって目標経路に追従させるように車両の走行制
御を行わせる手段とからなる自動走行装置において、制
御対象を車両の舵角に設定し、現在検出されている車両
の走行状態からこれから先の走行経路を予測し、その車
両の予測経路と前記目標経路との偏差から車両が目標経
路上を走行するための走行計画経路をわり出して、その
走行計画経路にしたがう舵角の目標値を求め、実際の舵
角がその目標値になるような車両の走行制御を行わせる
ようにしたことを特徴とする自動走行装置。1. A means for recognizing a travelable area of a vehicle by performing image processing on an image obtained by capturing an area in a traveling direction of the vehicle by an imaging device mounted on the vehicle, and based on the recognition result. Means for setting a target route for vehicle travel in the travelable area, means for detecting the travel state of the vehicle, and control necessary for the vehicle to travel on the target route based on the detected travel state of the vehicle In an automatic traveling device including means for obtaining a target amount and means for performing traveling control of the vehicle so as to follow a target route according to the obtained control target amount, a control target is set to a steering angle of the vehicle, A future traveling route is predicted from the traveling state of the currently detected vehicle, and the vehicle travels on the target route based on a deviation between the predicted route of the vehicle and the target route. A target value of the steering angle according to the travel plan route is obtained, and the vehicle is controlled so that the actual steering angle becomes the target value. Automatic traveling device.