JP6965152B2 - Vehicle control devices, vehicle control methods, and programs - Google Patents

Vehicle control devices, vehicle control methods, and programs Download PDF

Info

Publication number
JP6965152B2
JP6965152B2 JP2017248942A JP2017248942A JP6965152B2 JP 6965152 B2 JP6965152 B2 JP 6965152B2 JP 2017248942 A JP2017248942 A JP 2017248942A JP 2017248942 A JP2017248942 A JP 2017248942A JP 6965152 B2 JP6965152 B2 JP 6965152B2
Authority
JP
Japan
Prior art keywords
vehicle
unit
curve
linear target
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017248942A
Other languages
Japanese (ja)
Other versions
JP2019112007A (en
Inventor
浩司 川邊
弘 三浦
誠 石川
成光 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017248942A priority Critical patent/JP6965152B2/en
Priority to CN201811587645.4A priority patent/CN109987082B/en
Publication of JP2019112007A publication Critical patent/JP2019112007A/en
Application granted granted Critical
Publication of JP6965152B2 publication Critical patent/JP6965152B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Description

本発明は、車両制御装置、車両制御方法、およびプログラム
に関する。 The present invention relates to vehicle control devices, vehicle control methods, and programs.

近年、車両の走行を自動的に制御すること（以下、自動運転）について研究および実用化が進められている。自動運転において、車両の走行すべき車線を認識することが、安定的な走行を実現する上で重要である。車線を認識するための有力な情報として、道路に描画された白線の位置情報がある。白線は、車載カメラなどで位置が検出される。白線の位置情報は、自動運転だけでなく、車線維持制御などの運転支援制御にも用いられる。白線がかすれて見えなくなると、これらの制御が困難になってしまう。 In recent years, research and practical application of automatic control of vehicle running (hereinafter referred to as automatic driving) have been promoted. In automatic driving, it is important to recognize the lane in which the vehicle should drive in order to realize stable driving. The position information of the white line drawn on the road is a powerful information for recognizing a lane. The position of the white line is detected by an in-vehicle camera or the like. The position information of the white line is used not only for automatic driving but also for driving support control such as lane keeping control. If the white lines are faint and invisible, these controls become difficult.

これに関連し、車載カメラで撮影された画像中の画素の輝度空間微分値を算出し、その極値を示す位置に基づいて、白線のエッジを抽出し、検出されたエッジの輝度値が近いものを白線候補としてまとめ、前記まとめられた白線候補を、それらの位置関係に基づいてグループ化し、左右別々に、１本の白線を検出することを特徴とする道路の白線検出方法の発明が知られている（特許文献１参照）。 In connection with this, the luminance space differential value of the pixel in the image taken by the in-vehicle camera is calculated, the edge of the white line is extracted based on the position showing the extreme value, and the luminance value of the detected edge is close. The invention of a road white line detection method is known, which comprises grouping things as white line candidates, grouping the summarized white line candidates based on their positional relationship, and detecting one white line separately on the left and right sides. (See Patent Document 1).

特開２００２−１７５５３４号公報Japanese Unexamined Patent Publication No. 2002-175534

しかしながら、従来の技術では、ある程度、白線が残っている場合でなければ白線を検出することができない。また、前走車両や後続車両の存在によって白線が認識できない場合にも対応することができない。 However, in the conventional technique, the white line cannot be detected unless the white line remains to some extent. In addition, it is not possible to deal with the case where the white line cannot be recognized due to the presence of the preceding vehicle or the following vehicle.

本発明は、このような事情を考慮してなされたものであり、より広い場面において道路区画線ロスト時の代替制御を行うことができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。 The present invention has been made in consideration of such circumstances, and provides a vehicle control device, a vehicle control method, and a program capable of performing alternative control when a road lane marking is lost in a wider situation. It is one of the purposes.

（１）：車両の前方または後方を撮像する撮像部（１０）と、前記撮像部により撮像された画像において、道路とは異なる高さに存在し、上空から見て前記道路に沿って延在する線状物標を認識する線状物標認識部（１３２）と、前記画像における前記線状物標の位置に基づいて、前記車両の走行を制御する運転制御部（１５０、１６０）と、を備える車両制御装置。 (1): In the image pickup unit (10) that images the front or the rear of the vehicle and the image captured by the image pickup unit, the image exists at a height different from the road and extends along the road when viewed from above. A linear target recognition unit (132) that recognizes the linear target, and an operation control unit (150, 160) that controls the running of the vehicle based on the position of the linear target in the image. Vehicle control device.

（２）：（１）において、前記運転制御部は、前記画像における前記線状物標の傾きが一定になるように、前記車両の操舵を制御するもの。 (2): In (1), the operation control unit controls the steering of the vehicle so that the inclination of the linear target in the image becomes constant.

（３）：（２）において、前記運転制御部は、前記車両の操舵角に対して、前記画像における前記線状物標の傾きを一定に維持するフィードバック制御を行うもの。 (3): In (2), the driving control unit performs feedback control for maintaining a constant inclination of the linear target in the image with respect to the steering angle of the vehicle.

（４）：（１）から（３）のうちいずれかにおいて、前記撮像部は、前記車両の前方を撮像し、前記線状物標認識部により認識された線状物標の延在態様に基づいて、前記車両の進行先に存在するカーブの存在を推定するカーブ推定部（１３４）を更に備えるもの
。 (4): In any one of (1) to (3), the imaging unit images the front of the vehicle, and the linear object is recognized by the linear object recognition unit in an extending mode. Based on this, a curve estimation unit (134) for estimating the existence of a curve existing at the destination of the vehicle is further provided.

（５）：（４）において、前記カーブ推定部は、更に、前記車両の進行先に存在するカーブの曲率を推定し、前記運転制御部は、前記カーブ推定部により推定されたカーブの曲率に基づいて前記車両の操舵を制御するもの。 (5): In (4), the curve estimation unit further estimates the curvature of the curve existing at the destination of the vehicle, and the driving control unit determines the curvature of the curve estimated by the curve estimation unit. It controls the steering of the vehicle based on the above.

（６）：（１）から（５）のうちいずれかにおいて、前記線状物標は、前記撮像部よりも上方に設置された物体であるもの。 (6): In any one of (1) to (5), the linear target is an object installed above the imaging unit.

（７）：（６）において、前記線状物標は、道路の側壁の上端部であるもの。 (7): In (6), the linear target is the upper end of the side wall of the road.

（８）：撮像部が、車両の前方または後方を撮像し、線状物標認識部が、前記撮像部により撮像された画像において、道路とは異なる高さに存在し、平面視で前記道路に沿って延在する線状物標を認識し、運転制御部が、前記画像における前記線状物標の位置に基づいて、前記車両の少なくとも操舵を制御する、車両制御方法。 (8): The image pickup unit images the front or the rear of the vehicle, and the linear object recognition unit exists at a height different from the road in the image captured by the image pickup unit, and the road is viewed in a plan view. A vehicle control method in which a driving control unit controls at least steering of the vehicle based on the position of the linear target in the image by recognizing a linear target extending along the line.

（９）：車両の前方または後方を撮像する撮像部を備える車両に搭載されるコンピュータに、前記撮像部により撮像された画像において、道路とは異なる高さに存在し、平面視で前記道路に沿って延在する線状物標を認識させ、前記画像における前記線状物標の位置に基づいて、前記車両の少なくとも操舵を制御させる、プログラム。 (9): A computer mounted on a vehicle equipped with an imaging unit that captures an image of the front or rear of the vehicle exists at a height different from that of the road in an image captured by the imaging unit, and is located on the road in a plan view. A program that recognizes a linear target extending along a line and controls at least steering of the vehicle based on the position of the linear target in the image.

（１）〜（９）によれば、より広い場面において道路区画線ロスト時の代替制御を行うことができる。 According to (1) to (9), alternative control at the time of lost road lane marking can be performed in a wider scene.

第１実施形態に係る車両制御装置を利用した車両システム１の構成図である。It is a block diagram of the vehicle system 1 using the vehicle control device which concerns on 1st Embodiment. 第１制御部１２０および第２制御部１６０の機能構成図である。It is a functional block diagram of the 1st control unit 120 and the 2nd control unit 160. カメラ１０の撮像画像ＩＭの一例を示す図である。It is a figure which shows an example of the captured image IM of a camera 10. 自車両Ｍの旋回角と側壁ＳＷの上端部ＵＥ（ＳＷ）の傾きとの関係を示す図である。It is a figure which shows the relationship between the turning angle of own vehicle M, and the inclination of the upper end UE (SW) of the side wall SW. 線状物標認識部１３２と区画線ロスト時制御部１５２とにより実行される処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the process executed by the linear object recognition unit 132, and the division line lost time control unit 152. 自車両Ｍの前方に存在するカーブと側壁ＳＷの上端部ＵＥ（ＳＷ）の関係を示す図である。It is a figure which shows the relationship between the curve existing in front of the own vehicle M, and the upper end UE (SW) of the side wall SW. 線状物標認識部１３２とカーブ推定部１３４と区画線ロスト時制御部１５２とにより実行される処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the process executed by the linear object recognition unit 132, the curve estimation unit 134, and the division line lost time control unit 152. 第２実施形態に係る運転支援装置４００の構成図である。It is a block diagram of the operation support device 400 which concerns on 2nd Embodiment. 第１実施形態の自動運転制御装置１００または第２実施形態の運転支援装置４００のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the automatic driving control device 100 of 1st Embodiment or the driving support device 400 of 2nd Embodiment.

以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。 Hereinafter, embodiments of the vehicle control device, vehicle control method, and program of the present invention will be described with reference to the drawings.

＜第１実施形態＞
［全体構成］
図１は、第１実施形態に係る車両制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機を備える場合、電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。 <First Embodiment>
[overall structure]
FIG. 1 is a configuration diagram of a vehicle system 1 using the vehicle control device according to the first embodiment. The vehicle on which the vehicle system 1 is mounted is, for example, a vehicle such as a two-wheeled vehicle, a three-wheeled vehicle, or a four-wheeled vehicle, and the drive source thereof is an internal combustion engine such as a diesel engine or a gasoline engine, an electric motor, or a combination thereof. When the electric motor is provided, the electric motor operates by using the power generated by the generator connected to the internal combustion engine or the discharge power of the secondary battery or the fuel cell.

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０と、ヘッドライト装置２５０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。 The vehicle system 1 includes, for example, a camera 10, a radar device 12, a finder 14, an object recognition device 16, a communication device 20, an HMI (Human Machine Interface) 30, a vehicle sensor 40, a navigation device 50, and the like. It includes an MPU (Map Positioning Unit) 60, a driving operator 80, an automatic driving control device 100, a traveling driving force output device 200, a braking device 210, a steering device 220, and a headlight device 250. These devices and devices are connected to each other by a multiplex communication line such as a CAN (Controller Area Network) communication line, a serial communication line, a wireless communication network, or the like. The configuration shown in FIG. 1 is merely an example, and a part of the configuration may be omitted or another configuration may be added.

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍと称する）の任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ１０は、例えば、リアバンパー付近に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。 The camera 10 is, for example, a digital camera using a solid-state image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). One or a plurality of cameras 10 are attached to an arbitrary position of a vehicle (hereinafter, referred to as own vehicle M) on which the vehicle system 1 is mounted. When photographing the front, the camera 10 is attached to the upper part of the front windshield, the back surface of the rearview mirror, and the like. When imaging the rear, the camera 10 is mounted near the rear bumper, for example. The camera 10 periodically and repeatedly images the periphery of the own vehicle M, for example. The camera 10 may be a stereo camera.

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。 The radar device 12 radiates radio waves such as millimeter waves around the own vehicle M, and detects radio waves (reflected waves) reflected by the object to detect at least the position (distance and orientation) of the object. One or a plurality of radar devices 12 may be attached to any position of the own vehicle M. The radar device 12 may detect the position and velocity of the object by the FM-CW (Frequency Modulated Continuous Wave) method.

ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。ファインダ１４は、物体検出装置の一例である。 The finder 14 is a LIDAR (Light Detection and Ranging). The finder 14 irradiates the periphery of the own vehicle M with light and measures the scattered light. The finder 14 detects the distance to the target based on the time from light emission to light reception. The emitted light is, for example, a pulsed laser beam. One or a plurality of finder 14s may be attached to any position of the own vehicle M. The finder 14 is an example of an object detection device.

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。また、物体認識装置１６は、必要に応じて、カメラ１０、レーダ装置１２、およびファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。 The object recognition device 16 performs sensor fusion processing on the detection results of a part or all of the camera 10, the radar device 12, and the finder 14, and recognizes the position, type, speed, and the like of the object. The object recognition device 16 outputs the recognition result to the automatic operation control device 100. Further, the object recognition device 16 may output the detection results of the camera 10, the radar device 12, and the finder 14 to the automatic driving control device 100 as they are, if necessary.

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。 The communication device 20 communicates with another vehicle existing in the vicinity of the own vehicle M by using, for example, a cellular network, a Wi-Fi network, Bluetooth (registered trademark), DSRC (Dedicated Short Range Communication), or wirelessly. Communicates with various server devices via the base station.

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。 The HMI 30 presents various information to the occupants of the own vehicle M and accepts input operations by the occupants. The HMI 30 includes various display devices, speakers, buzzers, touch panels, switches, keys and the like.

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。 The vehicle sensor 40 includes a vehicle speed sensor that detects the speed of the own vehicle M, an acceleration sensor that detects the acceleration, a yaw rate sensor that detects the angular velocity around the vertical axis, an orientation sensor that detects the direction of the own vehicle M, and the like.

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。経路決定部５３により決定された地図上経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。なお、ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された地図上経路を取得してもよい。 The navigation device 50 includes, for example, a GNSS (Global Navigation Satellite System) receiver 51, a navigation HMI 52, and a routing unit 53, and the first map information 54 is stored in a storage device such as an HDD (Hard Disk Drive) or a flash memory. Holds. The GNSS receiver 51 identifies the position of the own vehicle M based on the signal received from the GNSS satellite. The position of the own vehicle M may be specified or complemented by an INS (Inertial Navigation System) using the output of the vehicle sensor 40. The navigation HMI 52 includes a display device, a speaker, a touch panel, keys, and the like. The navigation HMI 52 may be partially or wholly shared with the above-mentioned HMI 30. The route determination unit 53, for example, has a route from the position of the own vehicle M (or an arbitrary position input) specified by the GNSS receiver 51 to the destination input by the occupant using the navigation HMI 52 (hereinafter,). The route on the map) is determined with reference to the first map information 54. The first map information 54 is, for example, information in which the road shape is expressed by a link indicating a road and a node connected by the link. The first map information 54 may include road curvature, POI (Point Of Interest) information, and the like. The map route determined by the route determination unit 53 is output to the MPU 60. Further, the navigation device 50 may perform route guidance using the navigation HMI 52 based on the route on the map determined by the route determination unit 53. The navigation device 50 may be realized by, for example, the function of a terminal device such as a smartphone or a tablet terminal owned by an occupant. Further, the navigation device 50 may transmit the current position and the destination to the navigation server via the communication device 20 and acquire the route on the map returned from the navigation server.

ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、経路において分岐箇所や合流箇所などが存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。 The MPU 60 functions as, for example, the recommended lane determination unit 61, and holds the second map information 62 in a storage device such as an HDD or a flash memory. The recommended lane determination unit 61 divides the route provided by the navigation device 50 into a plurality of blocks (for example, divides the route every 100 [m] with respect to the vehicle traveling direction), and refers to the second map information 62 for each block. Determine the recommended lane. The recommended lane determination unit 61 determines which lane to drive from the left. The recommended lane determination unit 61 determines the recommended lane so that the own vehicle M can travel on a reasonable route to proceed to the branch destination when there is a branch point, a merging point, or the like on the route.

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０を用いて他装置にアクセスすることにより、随時、アップデートされてよい。 The second map information 62 is more accurate map information than the first map information 54. The second map information 62 includes, for example, information on the center of the lane, information on the boundary of the lane, and the like. Further, the second map information 62 may include road information, traffic regulation information, address information (address / zip code), facility information, telephone number information, and the like. The second map information 62 may be updated at any time by accessing another device using the communication device 20.

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。 The driving controller 80 includes, for example, an accelerator pedal, a brake pedal, a shift lever, a steering wheel, a deformed steering wheel, a joystick, and other controls. A sensor for detecting the amount of operation or the presence or absence of operation is attached to the operation operator 80, and the detection result is the automatic operation control device 100, or the traveling driving force output device 200, the brake device 210, and the steering device. It is output to a part or all of 220.

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。自動運転制御装置１００は、車両制御装置の一例である。 The automatic operation control device 100 includes, for example, a first control unit 120 and a second control unit 160. The first control unit 120 and the second control unit 160 are realized by, for example, a hardware processor such as a CPU (Central Processing Unit) executing a program (software). In addition, some or all of these components are hardware (circuits) such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), and GPU (Graphics Processing Unit). It may be realized by the part; including circuitry), or it may be realized by the cooperation of software and hardware. The automatic driving control device 100 is an example of a vehicle control device.

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１５０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現される。これによって、自動運転の信頼性が担保される。 FIG. 2 is a functional configuration diagram of the first control unit 120 and the second control unit 160. The first control unit 120 includes, for example, a recognition unit 130 and an action plan generation unit 150. The first control unit 120, for example, realizes a function by AI (Artificial Intelligence) and a function by a model given in advance in parallel. For example, the function of "recognizing an intersection" is executed in parallel with the recognition of an intersection by deep learning or the like and the recognition based on a predetermined condition (there is a signal capable of pattern matching, a road sign, etc.). It is realized by scoring and comprehensively evaluating. This ensures the reliability of autonomous driving.

認識部１３０は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、自車両Ｍの周辺状況を認識する。例えば、認識部１３０は、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。認識部１３０は、カメラ１０の撮像画像に基づいて、自車両Ｍがこれから通過するカーブの形状を認識する。認識部１３０は、カーブの形状をカメラ１０の撮像画像から実平面に変換し、例えば、二次元の点列情報、或いはこれと同等なモデルを用いて表現した情報を、カーブの形状を示す情報として行動計画生成部１５０に出力する。 The recognition unit 130 recognizes the surrounding situation of the own vehicle M based on the information input from the camera 10, the radar device 12, and the finder 14 via the object recognition device 16. For example, the recognition unit 130 recognizes the position, speed, acceleration, and other states of an object around the own vehicle M. The position of the object is recognized as, for example, a position on absolute coordinates with the representative point (center of gravity, center of drive axis, etc.) of the own vehicle M as the origin, and is used for control. The position of the object may be represented by a representative point such as the center of gravity or a corner of the object, or may be represented by a represented area. The "state" of an object may include the object's acceleration or jerk, or "behavioral state" (eg, whether it is changing lanes or is about to change lanes). The recognition unit 130 recognizes the shape of the curve that the own vehicle M is about to pass based on the image captured by the camera 10. The recognition unit 130 converts the shape of the curve from the image captured by the camera 10 into a real plane, and for example, two-dimensional point sequence information or information expressed using a model equivalent thereto is information indicating the shape of the curve. Is output to the action plan generation unit 150.

認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。 The recognition unit 130 recognizes, for example, the lane (traveling lane) in which the own vehicle M is traveling. For example, the recognition unit 130 has a road marking line pattern (for example, an arrangement of a solid line and a broken line) obtained from the second map information 62 and a road marking line around the own vehicle M recognized from the image captured by the camera 10. By comparing with the pattern of, the driving lane is recognized. In this recognition, the position of the own vehicle M acquired from the navigation device 50 and the processing result by the INS may be added. The recognition unit 130 also recognizes stop lines, obstacles, red lights, tollhouses, and other road events.

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。 When recognizing the traveling lane, the recognition unit 130 recognizes the position and posture of the own vehicle M with respect to the traveling lane. The recognition unit 130 determines, for example, the deviation of the reference point of the own vehicle M from the center of the lane and the angle formed by the center of the lane in the traveling direction of the own vehicle M with respect to the relative position of the own vehicle M with respect to the traveling lane. And may be recognized as a posture. Instead, the recognition unit 130 recognizes the position of the reference point of the own vehicle M with respect to any side end portion (road division line or road boundary) of the traveling lane as the relative position of the own vehicle M with respect to the traveling lane. You may.

認識部１３０は、上記の認識処理において、認識精度を導出し、認識精度情報として行動計画生成部１５０に出力してもよい。例えば、認識部１３０は、一定期間において、道路区画線を認識できた頻度に基づいて、認識精度情報を生成する。 In the above recognition process, the recognition unit 130 may derive the recognition accuracy and output it to the action plan generation unit 150 as the recognition accuracy information. For example, the recognition unit 130 generates recognition accuracy information based on the frequency with which the road lane marking can be recognized in a certain period of time.

認識部１３０は、例えば、線状物標認識部１３２と、カーブ推定部１３４とを備える。これらについては後述する。 The recognition unit 130 includes, for example, a linear target recognition unit 132 and a curve estimation unit 134. These will be described later.

行動計画生成部１５０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自動運転において順次実行されるイベントを決定する。行動計画生成部１５０は、起動したイベントに応じて、自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、例えば、複数の軌道点と、速度要素とを含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。 In principle, the action plan generation unit 150 travels in the recommended lane determined by the recommended lane determination unit 61, and further determines events to be sequentially executed in automatic driving so as to be able to respond to the surrounding conditions of the own vehicle M. do. The action plan generation unit 150 generates a target trajectory on which the own vehicle M will travel in the future in response to the activated event. The target trajectory includes, for example, a plurality of trajectory points and a velocity element. For example, the target track is expressed as a sequence of points (track points) to be reached by the own vehicle M. The track point is a point to be reached by the own vehicle M for each predetermined mileage (for example, about several [m]) along the road, and separately, for a predetermined sampling time (for example, about 0 comma number [sec]). ) Target velocity and target acceleration are generated as part of the target trajectory. Further, the track point may be a position to be reached by the own vehicle M at the sampling time for each predetermined sampling time. In this case, the information of the target velocity and the target acceleration is expressed by the interval of the orbital points.

行動計画生成部１５０は、例えば、区画線ロスト時制御部１５２を備える。これについては後述する。 The action plan generation unit 150 includes, for example, a lane marking lost time control unit 152. This will be described later.

第２制御部１６０は、行動計画生成部１５０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。行動計画生成部１５０と第２制御部１６０を合わせたものが、「運転制御部」の一例である。 The second control unit 160 sets the traveling driving force output device 200, the braking device 210, and the steering device 220 so that the own vehicle M passes the target trajectory generated by the action plan generation unit 150 at the scheduled time. Control. A combination of the action plan generation unit 150 and the second control unit 160 is an example of the “operation control unit”.

第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１５０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。 The second control unit 160 includes, for example, an acquisition unit 162, a speed control unit 164, and a steering control unit 166. The acquisition unit 162 acquires the information of the target trajectory (orbit point) generated by the action plan generation unit 150 and stores it in a memory (not shown). The speed control unit 164 controls the traveling driving force output device 200 or the braking device 210 based on the speed element associated with the target trajectory stored in the memory. The steering control unit 166 controls the steering device 220 according to the degree of bending of the target trajectory stored in the memory. The processing of the speed control unit 164 and the steering control unit 166 is realized by, for example, a combination of feedforward control and feedback control. As an example, the steering control unit 166 executes a combination of feedforward control according to the curvature of the road in front of the own vehicle M and feedback control based on the deviation from the target trajectory.

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵとを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。 The traveling driving force output device 200 outputs a traveling driving force (torque) for traveling the vehicle to the drive wheels. The traveling driving force output device 200 includes, for example, a combination of an internal combustion engine, an electric motor, a transmission, and the like, and an ECU that controls them. The ECU controls the above configuration according to the information input from the second control unit 160 or the information input from the operation operator 80.

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。 The brake device 210 includes, for example, a brake caliper, a cylinder that transmits flood pressure to the brake caliper, an electric motor that generates flood pressure in the cylinder, and a brake ECU. The brake ECU controls the electric motor according to the information input from the second control unit 160 or the information input from the operation operator 80 so that the brake torque corresponding to the braking operation is output to each wheel. The brake device 210 may include, as a backup, a mechanism for transmitting the oil pressure generated by the operation of the brake pedal included in the operation operator 80 to the cylinder via the master cylinder. The brake device 210 is not limited to the configuration described above, and is an electronically controlled hydraulic brake device that controls an actuator according to information input from the second control unit 160 to transmit the oil pressure of the master cylinder to the cylinder. May be good.

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。 The steering device 220 includes, for example, a steering ECU and an electric motor. The electric motor, for example, applies a force to the rack and pinion mechanism to change the direction of the steering wheel. The steering ECU drives the electric motor according to the information input from the second control unit 160 or the information input from the operation controller 80, and changes the direction of the steering wheel.

［区画線ロスト時制御］
以下、認識部１３０の線状物標認識部１３２と、行動計画生成部１５０の区画線ロスト時制御部１５２とにより実行される処理の内容について説明する。 [Control when lane marking is lost]
Hereinafter, the contents of the processing executed by the linear target recognition unit 132 of the recognition unit 130 and the division line lost control unit 152 of the action plan generation unit 150 will be described.

前述したように、認識部１３０は、主にカメラ１０により撮像された画像における道路区画線の位置に基づいて走行車線を認識する。図３は、カメラ１０の撮像画像ＩＭの一例を示す図である。本図は、自車両Ｍが高速道路を走行している場面を示している。図示する撮像画像ＩＭには、自車両Ｍの走行している車線Ｌ１を区画する道路区画線ＬＭ１およびＬＭ２、隣接車線Ｌ２を区画する道路区画線ＬＭ２およびＬＭ３、ガードレールＧＲ、側壁ＳＷなどが写っている。これらの画像要素は、直線状ないし曲線状となっており、且つ輪郭部分における周辺画像とのコントラスト（輝度差）が大きいため、画像認識によって比較的容易に位置が認識可能なものである。例えば、水平エッジ（横方向の隣接画素とのコントラストが大きい画素）を連ねることで道路区画線の輪郭を認識することができ、垂直エッジ（縦方向の隣接画素とのコントラストが大きい画素）を連ねることでガードレールの上端ＵＥ（ＧＲ）、および側壁の上端ＵＥ（ＳＷ）を認識することができる。原則的に、認識部１３０は、道路区画線のうち撮像画像ＩＭにおける所定範囲内にあるものを、自車線を区画する道路区画線とみなし、それらで区画される領域を走行車線として認識する。 As described above, the recognition unit 130 recognizes the traveling lane mainly based on the position of the road lane marking in the image captured by the camera 10. FIG. 3 is a diagram showing an example of the captured image IM of the camera 10. This figure shows a scene in which the own vehicle M is traveling on a highway. In the illustrated image IM, the road marking lines LM1 and LM2 that partition the lane L1 in which the own vehicle M is traveling, the road marking lines LM2 and LM3 that partition the adjacent lane L2, the guardrail GR, the side wall SW, and the like are shown. There is. Since these image elements are linear or curved and have a large contrast (luminance difference) with the peripheral image in the contour portion, the position can be recognized relatively easily by image recognition. For example, the outline of a road marking line can be recognized by connecting horizontal edges (pixels having a high contrast with adjacent pixels in the horizontal direction), and vertical edges (pixels having a high contrast with adjacent pixels in the vertical direction) can be connected. As a result, the upper end UE (GR) of the guard rail and the upper end UE (SW) of the side wall can be recognized. In principle, the recognition unit 130 regards the road lane markings within a predetermined range in the captured image IM as the road lane markings that partition the own lane, and recognizes the area partitioned by them as the traveling lane.

そして、行動計画生成部１５０は、原則的に走行車線を逸脱しないように目標軌道を生成する（車線変更や分岐、合流の場合は、途中で走行車線が切り替わる）。このため、沿う車線が認識できていることは、自動運転の制御において重要な要素となる。 Then, the action plan generation unit 150 generates a target track so as not to deviate from the traveling lane in principle (in the case of a lane change, branching, or merging, the traveling lane is switched in the middle). Therefore, being able to recognize the lane along the vehicle is an important factor in controlling autonomous driving.

ここで、認識部１３０は、常時、鮮明に道路区画線を認識できるとは限らない。例えば、白線や黄線で道路に描画されたタイプの道路区画線は、経年劣化でかすれを生じる場合がある。また、道路工事中であったり、料金所の周辺であるといった事情で、道路区画線が無い道路も存在し得る。更に、自車両Ｍの周辺に存在する他車両などによって道路区画線がカメラ１０によって撮像できない場面も生じ得る。以下、このような各種場面を「区画線ロスト時」と称する。区画線ロスト時においても、自車両Ｍは道路に沿って走行する必要があるため、何らかの代替処理が行われることが好ましい。 Here, the recognition unit 130 may not always be able to clearly recognize the road marking line. For example, a type of road marking line drawn on a road with a white line or a yellow line may be blurred due to aging. In addition, there may be roads without road lane markings due to circumstances such as road construction being underway or around tollhouses. Further, there may be a situation where the road marking line cannot be imaged by the camera 10 due to other vehicles existing around the own vehicle M. Hereinafter, such various scenes will be referred to as "at the time of lane marking lost". Even when the lane marking is lost, the own vehicle M needs to travel along the road, so it is preferable that some alternative processing is performed.

こうした事情に鑑み、線状物標認識部１３２は、道路とは異なる高さに存在し、上空から見て前記道路に沿って延在する線状物標を認識する。図３の例では、ガードレールの上端ＵＥ（ＧＲ）、および側壁の上端ＵＥ（ＳＷ）が線状物標に該当する。また、線状物標とカメラ１０の間に他車両などが入り込むと認識が困難になるため、線状物標は、カメラ１０よりも上方に設置された物体であることが好ましい。これに該当するのは、例えば、側壁ＳＷの上端部ＵＥ（ＳＷ）である。以下、線状物標認識部１３２は、側壁ＳＷの上端部ＵＥ（ＳＷ）の撮像画像ＩＭ上の位置を認識するものとして説明する。 In view of these circumstances, the linear object recognition unit 132 exists at a height different from that of the road, and recognizes the linear object that extends along the road when viewed from above. In the example of FIG. 3, the upper end UE (GR) of the guardrail and the upper end UE (SW) of the side wall correspond to the linear target. Further, if another vehicle or the like enters between the linear object and the camera 10, it becomes difficult to recognize the linear object. Therefore, the linear object is preferably an object installed above the camera 10. This corresponds to, for example, the upper end UE (SW) of the side wall SW. Hereinafter, the linear object recognition unit 132 will be described as recognizing the position of the upper end UE (SW) of the side wall SW on the captured image IM.

線状物標認識部１３２は、例えば、側壁ＳＷの上端部ＵＥ（ＳＷ）を構成する複数の画素の位置を認識する。そして、線状物標認識部１３２は、複数の画素の位置を直線に近似し、画像平面における直線として認識する。これに対して、区画線ロスト時制御部１５２は、直線の傾きを一定にするように、自車両Ｍの操舵角をフィードバック制御する。 The linear target recognition unit 132 recognizes, for example, the positions of a plurality of pixels constituting the upper end UE (SW) of the side wall SW. Then, the linear target recognition unit 132 approximates the positions of the plurality of pixels to a straight line and recognizes them as a straight line on the image plane. On the other hand, the lane marking lost control unit 152 feedback-controls the steering angle of the own vehicle M so that the inclination of the straight line is constant.

図４は、自車両Ｍの旋回角と側壁ＳＷの上端部ＵＥ（ＳＷ）の傾きとの関係を示す図である。図示するように、自車両Ｍが左方向に旋回すると、側壁ＳＷの上端部ＵＥ（ＳＷ）の画像の横方向に対する傾きは大きくなり（急峻になり）、自車両Ｍが右方向に旋回すると、側壁ＳＷの上端部ＵＥ（ＳＷ）の画像の横方向に対する傾きは小さくなる（なだらかになる）。これを利用して、区画線ロスト時制御部１５２は、式（１）で示すようなフィードバック制御を行う。式中、θは操舵角であり、Δθは操舵角変更量であり、φは、例えば画像における基準方向に対して側壁ＳＷの上端部ＵＥ（ＳＷ）がなす角度であり、φ０は、区画線ロスト時の初期時点における上記なす角度である。また、ＫＰは比例ゲイン、ＫＩは積分ゲイン、ＫＤは微分ゲインである。式（１）ではＰＩＤ制御の例を示したが、区画線ロスト時制御部１５２は、Ｐ制御、ＰＩ制御、或いはこれに類する任意のフィードバック制御を行ってよい。 FIG. 4 is a diagram showing the relationship between the turning angle of the own vehicle M and the inclination of the upper end UE (SW) of the side wall SW. As shown in the figure, when the own vehicle M turns to the left, the inclination of the image of the upper end UE (SW) of the side wall SW with respect to the lateral direction becomes large (steep), and when the own vehicle M turns to the right, The inclination of the upper end UE (SW) of the side wall SW with respect to the lateral direction becomes small (becomes gentle). Utilizing this, the lane marking lost time control unit 152 performs feedback control as shown in the equation (1). In the equation, θ is the steering angle, Δθ is the steering angle change amount, φ is the angle formed by the upper end UE (SW) of the side wall SW with respect to the reference direction in the image, and φ 0 is the partition. It is the above-mentioned angle at the initial time when the line is lost. Further, KP is a proportional gain, KI is an integral gain, and KD is a differential gain. Although the example of PID control is shown in the equation (1), the lane marking lost time control unit 152 may perform P control, PI control, or any feedback control similar thereto.

Δθ＝ＫＰ・（φ−φ０）＋ＫＩ・∫（φ−φ０）・ｄｔ＋ＫＤ・｛ｄ（φ−φ０）／ｄｔ｝ …（１） Δθ = KP ・ (φ−φ 0 ) ＋ KI ・ ∫ (φ−φ 0 ) ・ dt + KD ・ {d (φ−φ 0 ) / dt}… (1)

図５は、線状物標認識部１３２と区画線ロスト時制御部１５２とにより実行される処理の流れの一例を示すフローチャートである。 FIG. 5 is a flowchart showing an example of the flow of processing executed by the linear target recognition unit 132 and the division line lost control unit 152.

まず、線状物標認識部１３２は、認識部１３０が道路区画線をロストした（認識できなくなった）か否かを判定する（ステップＳ１００）。認識部１３０が道路区画線をロストした場合、線状物標認識部１３２は、線状物標を認識し、撮像画像ＩＭに対する傾きをメモリに保存する（ステップＳ１０２）。この傾きは、前述したφ０として扱われる。 First, the linear target recognition unit 132 determines whether or not the recognition unit 130 has lost (cannot recognize) the road marking line (step S100). When the recognition unit 130 loses the road marking line, the linear object recognition unit 132 recognizes the linear object and stores the inclination with respect to the captured image IM in the memory (step S102). This inclination is treated as φ 0 described above.

次に、区画線ロスト時制御部１５２は、自車両Ｍの操舵角θを、線状物標の画像に対してなす角度φをφ０に近づけるようにフィードバック制御する（ステップＳ１０４）。ステップＳ１０４の処理は、認識部１３０により道路区画線が再度認識されるまで実行される（ステップＳ１０６）。 Next, the lane marking lost control unit 152 feedback-controls the steering angle θ of the own vehicle M so that the angle φ formed with respect to the image of the linear target approaches φ 0 (step S104). The process of step S104 is executed until the road marking line is recognized again by the recognition unit 130 (step S106).

［カーブ推定］
以下、認識部１３０の線状物標認識部１３２およびカーブ推定部１３４と、行動計画生成部１５０の区画線ロスト時制御部１５２とにより実行される処理の内容について説明する。 [Curve estimation]
Hereinafter, the contents of the processing executed by the linear target recognition unit 132 and the curve estimation unit 134 of the recognition unit 130 and the division line lost control unit 152 of the action plan generation unit 150 will be described.

カーブ推定部１３４は、線状物標認識部１３２により認識された線状物標の位置に基づいて、自車両Ｍの前方に存在するカーブを推定する。図６は、自車両Ｍの前方に存在するカーブと側壁ＳＷの上端部ＵＥ（ＳＷ）の関係を示す図である。図示するように、自車両Ｍの前方に右カーブが存在する場合、側壁ＳＷの上端部ＵＥ（ＳＷ）は、下に凸形状の曲線となり、且つ自車両Ｍの前方にカーブが存在しない場合に比して画像の横方向に対する傾きが小さくなる（なだらかになる）。また、自車両Ｍの前方に左カーブが存在する場合、側壁ＳＷの上端部ＵＥ（ＳＷ）は、上に凸形状の曲線となり、且つ自車両Ｍの前方にカーブが存在しない場合に比して画像の横方向に対する傾きが大きくなる（急峻になる）。 The curve estimation unit 134 estimates the curve existing in front of the own vehicle M based on the position of the linear target recognized by the linear target recognition unit 132. FIG. 6 is a diagram showing the relationship between the curve existing in front of the own vehicle M and the upper end UE (SW) of the side wall SW. As shown in the figure, when there is a right curve in front of the own vehicle M, the upper end UE (SW) of the side wall SW has a downwardly convex curve, and there is no curve in front of the own vehicle M. In comparison, the tilt of the image in the horizontal direction becomes smaller (becomes gentle). Further, when the left curve exists in front of the own vehicle M, the upper end UE (SW) of the side wall SW has an upwardly convex curve, and the curve does not exist in front of the own vehicle M as compared with the case where there is no curve in front of the own vehicle M. The inclination of the image with respect to the horizontal direction becomes large (becomes steep).

カーブ推定部１３４は、線状物標認識部１３２により認識された線状物標を構成する画素の配列を、三次曲線などの曲線に近似し、曲線のパラメータに基づいて、カーブの開始地点や曲率などを推定する。例えば、カーブ推定部１３４は、予め用意されたマップにパラメータを当てはめることで、カーブの開始地点や曲率などを推定する。 The curve estimation unit 134 approximates the array of pixels constituting the linear target recognized by the linear target recognition unit 132 to a curve such as a cubic curve, and based on the parameters of the curve, the start point of the curve and the starting point of the curve Estimate the curvature and so on. For example, the curve estimation unit 134 estimates the start point and curvature of a curve by applying parameters to a map prepared in advance.

区画線ロスト時制御部１５２は、自車両Ｍがカーブ推定部１３４により推定されたカーブの開始地点に到達し、且つその時点で認識部１３０が道路区画線をロストしている場合、カーブ推定部１３４により推定されたカーブの曲率に基づく操舵角θの制御を行う。 When the own vehicle M reaches the start point of the curve estimated by the curve estimation unit 134 and the recognition unit 130 has lost the road lane marking at that time, the lane marking unit 152 has a curve estimation unit. The steering angle θ is controlled based on the curvature of the curve estimated by 134.

例えば、区画線ロスト時制御部１５２は、フィードフォワード操舵角θｆｆを、式（２）に基づいて導出する。式中、Ｃはカーブの曲率である。
θｆｆ＝ｆ（Ｃ） …（２） For example, the lane marking lost control unit 152 derives the feedforward steering angle θ ff based on the equation (2). In the formula, C is the curvature of the curve.
θ ff = f (C)… (2)

また、区画線ロスト時制御部１５２は、側壁ＳＷの上端部ＵＥ（ＳＷ）の画像端部における高さ位置（図６におけるｈ）に基づいて、フィードバック操舵角θｆｂを求めてもよい。フィードバック操舵角θｆｂは、式（３）で表される。
Δθｆｂ＝ＫＰ・（ｈ−ｈ０）＋ＫＩ・∫（ｈ−ｈ０）・ｄｔ＋ＫＤ・｛ｄ（ｈ−ｈ０）／ｄｔ｝ …（３） Further, the division line lost control unit 152 may obtain the feedback steering angle θ fb based on the height position (h in FIG. 6) of the upper end UE (SW) of the side wall SW at the image end. The feedback steering angle θ fb is expressed by the equation (3).
Δθ fb = KP · (h−h 0 ) + KI · ∫ (h−h 0 ) · dt + KD · {d (h−h 0 ) / dt}… (3)

そして、区画線ロスト時制御部１５２は、式（４）に示すように、フィードフォワード操舵角θｆｆとフィードバック操舵角θｆｂとの加重和を求めることで、自車両Ｍの操舵角θを決定してよい。例えば、α＋β＝１である。
θ＝α×θｆｆ＋β×θｆｂ …（４） Then, as shown in the equation (4), the lane marking lost control unit 152 determines the steering angle θ of the own vehicle M by obtaining the weighted sum of the feedforward steering angle θ ff and the feedback steering angle θ fb. You can do it. For example, α + β = 1.
θ = α × θ ff + β × θ fb … (4)

図７は、線状物標認識部１３２とカーブ推定部１３４と区画線ロスト時制御部１５２とにより実行される処理の流れの一例を示すフローチャートである。図７のフローチャートの処理は、図５のフローチャートの処理と並行して実行されてもよいし、図５と図７のフローチャートの処理のうち、いずれか一方のみが実行されてもよい。 FIG. 7 is a flowchart showing an example of a processing flow executed by the linear target recognition unit 132, the curve estimation unit 134, and the lane marking lost time control unit 152. The processing of the flowchart of FIG. 7 may be executed in parallel with the processing of the flowchart of FIG. 5, or only one of the processing of the flowcharts of FIGS. 5 and 7 may be executed.

まず、線状物標認識部１３２が、線状物標を認識する（ステップＳ２００）。次に、カーブ推定部１３４が、線状物標の延在態様が変化したか否かを判定する（ステップＳ２０２）。カーブ推定部１３４は、図６で説明したように、線状物標の傾きや曲りの方向および程度に基づいて、線状物標の延在態様が変化したか否かを判定する。 First, the linear target recognition unit 132 recognizes the linear target (step S200). Next, the curve estimation unit 134 determines whether or not the extension mode of the linear target has changed (step S202). As described with reference to FIG. 6, the curve estimation unit 134 determines whether or not the extension mode of the linear target has changed based on the inclination of the linear target and the direction and degree of bending.

線状物標の延在態様が変化したと判定した場合、カーブ推定部１３４は、カーブの存在、開始地点、曲率などを推定し、それらの情報をメモリに保存する（ステップＳ２０４）。次に、区画線ロスト時制御部１５２は、認識部１３０が道路区画線をロストした（認識できなくなった）か否かを判定する（ステップＳ２０６）。認識部１３０が道路区画線をロストしていない場合、ステップＳ２００に処理が戻される。 When it is determined that the extension mode of the linear target has changed, the curve estimation unit 134 estimates the existence, starting point, curvature, etc. of the curve, and stores the information in the memory (step S204). Next, the lane marking lost control unit 152 determines whether or not the recognition unit 130 has lost (cannot recognize) the road lane marking (step S206). If the recognition unit 130 has not lost the road marking line, the process is returned to step S200.

認識部１３０が道路区画線をロストした場合、区画線ロスト時制御部１５２は、メモリ保存された曲率に基づいてフィードフォワード操舵角を求め（ステップＳ２０８）、自車両Ｍがカーブ開始地点に到達するまで待機する（ステップＳ２１０）。自車両Ｍがカーブ開始地点に到達すると、区画線ロスト時制御部１５２は、前述したようにフィードフォワードおよびフィードバックによって自車両Ｍの操舵角を制御する（ステップＳ２１２）。ステップＳ２１２の処理は、認識部１３０により道路区画線が再度認識されるまで実行される（ステップＳ２１４）。なお、ステップＳ２０８、Ｓ２１０を実行中に、認識部１３０により道路区画線が再度認識された場合も、このフローチャートの処理を抜けるようにしてよい。 When the recognition unit 130 loses the road lane marking, the lane marking lost control unit 152 obtains the feedforward steering angle based on the curvature stored in the memory (step S208), and the own vehicle M reaches the curve start point. Wait until (step S210). When the own vehicle M reaches the curve start point, the lane marking lost control unit 152 controls the steering angle of the own vehicle M by feedforward and feedback as described above (step S212). The process of step S212 is executed until the road marking line is recognized again by the recognition unit 130 (step S214). Even if the road marking line is recognized again by the recognition unit 130 during the execution of steps S208 and S210, the processing of this flowchart may be omitted.

以上説明した第１実施形態の車両制御装置によれば、車両の前方または後方を撮像する撮像部（１０）と、撮像部により撮像された画像において、道路とは異なる高さに存在し、上空から見て前記道路に沿って延在する線状物標を認識する線状物標認識部（１３２）と、画像における状物標の位置に基づいて、前記車両の走行を制御する運転制御部（１５０、１６０）と、を備えることにより、より広い場面において道路区画線ロスト時の代替制御を行うことができる。 According to the vehicle control device of the first embodiment described above, the image pickup unit (10) that images the front or the rear of the vehicle and the image captured by the image pickup unit are present at different heights from the road and are in the sky. A linear target recognition unit (132) that recognizes a linear target extending along the road when viewed from the side, and an operation control unit that controls the running of the vehicle based on the position of the linear target in the image. By providing (150, 160), alternative control at the time of lost road lane marking can be performed in a wider scene.

図４の説明において、カメラ１０は自車両Ｍの前方を撮像することを前提として説明したが、カメラ１０は自車両Ｍの後方を撮像するものであってもよい。その場合、旋回角と傾きの関係は図４で説明したものとは異なる関係を示す。なお、カーブ推定は、カメラ１０が自車両Ｍの前方を撮像していなければ困難である。 In the description of FIG. 4, the camera 10 has been described on the premise that the front of the own vehicle M is imaged, but the camera 10 may be the one that images the rear of the own vehicle M. In that case, the relationship between the turning angle and the inclination is different from that described in FIG. It should be noted that curve estimation is difficult unless the camera 10 images the front of the own vehicle M.

＜第２実施形態＞
第２実施形態では、車両制御装置が車線維持制御などの運転支援を行う運転支援装置に適用された例について説明する。運転支援装置は、例えば、第１実施形態のような自動運転車両ではなく、主に手動運転が行われる車両に搭載されてもよいし、自動運転と、手動運転プラス運転支援とが選択的に行われる車両に搭載されてもよい。 <Second Embodiment>
In the second embodiment, an example in which the vehicle control device is applied to a driving support device that provides driving support such as lane keeping control will be described. The driving support device may be mounted on a vehicle in which manual driving is mainly performed, instead of the automatic driving vehicle as in the first embodiment, and automatic driving and manual driving plus driving support are selectively selected. It may be mounted on the vehicle to be performed.

図８は、第２実施形態に係る運転支援装置４００の構成図である。運転支援装置４００は、例えば、車線維持制御部４２０と、線状物標認識部４３２と、カーブ推定部４３４と、区画線ロスト時制御部４５２とを備える。これらの構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。 FIG. 8 is a configuration diagram of the driving support device 400 according to the second embodiment. The driving support device 400 includes, for example, a lane keeping control unit 420, a linear target recognition unit 432, a curve estimation unit 434, and a lane marking lost time control unit 452. These components are realized, for example, by a hardware processor such as a CPU executing a program (software). Further, some or all of these components may be realized by hardware such as LSI, ASIC, FPGA, GPU (including circuit section; circuitry), or realized by collaboration between software and hardware. May be done.

車線維持制御部４２０は、第１実施形態に係る認識部１３０と同様に道路区画線や走行車線を認識し、自車両Ｍが走行車線を逸脱しないように、ステアリング反力をステアリングホイールに付与したり、逸脱方向と逆方向に操舵角を制御したりする。 The lane keeping control unit 420 recognizes the road marking line and the traveling lane as in the recognition unit 130 according to the first embodiment, and applies a steering reaction force to the steering wheel so that the own vehicle M does not deviate from the traveling lane. Or, the steering angle is controlled in the direction opposite to the deviation direction.

線状物標認識部４３２、カーブ推定部４３４、および区画線ロスト時制御部４５２は、それぞれ、第１実施形態に係る線状物標認識部１３２、カーブ推定部１３４、および区画線ロスト時制御部１５２と同様の機能を有する。これによって、第２実施形態の運転支援装置４００は、第１実施形態と同様に、車線維持制御部４２０が道路区画線をロストした場合に、線状物標の位置に基づいて代替的に車線を維持するための制御を行う。なお、運転支援は手動運転を前提としているため、一定時間、代替的に車線を維持するための制御を行うと、乗員に通知の上、運転支援を停止するようにしてもよい。 The linear target recognition unit 432, the curve estimation unit 434, and the lane marking lost time control unit 452 are the linear target recognizing unit 132, the curve estimation unit 134, and the lane marking lost time control according to the first embodiment, respectively. It has the same function as the unit 152. As a result, the driving support device 400 of the second embodiment substitutes for the lane based on the position of the linear target when the lane keeping control unit 420 loses the road lane marking, as in the first embodiment. Control to maintain. Since the driving support is premised on manual driving, if the control for maintaining the lane is performed instead for a certain period of time, the driving support may be stopped after notifying the occupant.

以上説明した第２実施形態によれば、第１実施形態と同様の効果を奏することができる。 According to the second embodiment described above, the same effect as that of the first embodiment can be obtained.

＜ハードウェア構成＞
図９は、第１実施形態の自動運転制御装置１００または第２実施形態の運転支援装置４００（以下、自動運転制御装置１００等）のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００等は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、自動運転制御装置１００等以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、認識部１３０および行動計画生成部１５０のうち一方または双方、或いは線状物標認識部４３２、カーブ推定部４３４、および区画線ロスト時制御部４５２のうち一部または全部が実現される。 <Hardware configuration>
FIG. 9 is a diagram showing an example of the hardware configuration of the automatic driving control device 100 of the first embodiment or the driving support device 400 of the second embodiment (hereinafter, automatic driving control device 100 and the like). As shown in the figure, the automatic operation control device 100 and the like include a communication controller 100-1, a CPU 100-2, a RAM (Random Access Memory) 100-3 used as a working memory, a ROM (Read Only Memory) for storing a boot program, and the like. ) 100-4, storage devices 100-5 such as flash memory and HDD (Hard Disk Drive), drive devices 100-6, etc. are connected to each other by an internal bus or a dedicated communication line. The communication controller 100-1 communicates with components other than the automatic operation control device 100 and the like. The storage device 100-5 stores a program 100-5a executed by the CPU 100-2. This program is expanded to RAM 100-3 by a DMA (Direct Memory Access) controller (not shown) or the like, and is executed by CPU 100-2. As a result, one or both of the recognition unit 130 and the action plan generation unit 150, or a part or all of the linear target recognition unit 432, the curve estimation unit 434, and the lane marking lost time control unit 452 are realized. ..

上記説明した実施形態は、以下のように表現することができる。
車両の前方または後方を撮像する撮像部と、
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記プログラムを実行することにより、
前記撮像部により撮像された画像において、道路とは異なる高さに存在し、上空から見て前記道路に沿って延在する線状物標を認識し、
前記画像における前記線状物標の位置に基づいて、前記車両の走行を制御する、
ように構成されている、車両制御装置。 The embodiment described above can be expressed as follows.
An imaging unit that captures the front or rear of the vehicle,
A storage device that stores programs and
With a hardware processor,
When the hardware processor executes the program,
In the image captured by the imaging unit, a linear target existing at a height different from the road and extending along the road when viewed from above is recognized.
Controlling the running of the vehicle based on the position of the linear target in the image.
A vehicle control device that is configured to.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 Although the embodiments for carrying out the present invention have been described above using the embodiments, the present invention is not limited to these embodiments, and various modifications and substitutions are made without departing from the gist of the present invention. Can be added.

１０ カメラ
１２ レーダ装置
１４ ファインダ
１６ 物体認識装置
５０ ナビゲーション装置
６０ ＭＰＵ
８０ 運転操作子
１００ 自動運転制御装置
１２０ 第１制御部
１３０ 認識部
１３２ 線状物標認識部
１３４ カーブ推定部
１５０ 行動計画生成部
１５２ 区画線ロスト時制御部
１６０ 第２制御部
１６２ 取得部
１６４ 速度制御部
１６６ 操舵制御部
２００ 走行駆動力出力装置
２１０ ブレーキ装置
２２０ ステアリング装置
４００ 運転支援装置
４２０ 車線維持制御部
４３２ 線状物標認識部
４３４ カーブ推定部
４５２ 区画線ロスト時制御部 10 Camera 12 Radar device 14 Finder 16 Object recognition device 50 Navigation device 60 MPU
80 Operation operator 100 Automatic operation control device 120 1st control unit 130 Recognition unit 132 Linear target recognition unit 134 Curve estimation unit 150 Action plan generation unit 152 Section line lost control unit 160 2nd control unit 162 Acquisition unit 164 Speed Control unit 166 Steering control unit 200 Driving drive force output device 210 Brake device 220 Steering device 400 Driving support device 420 Lane maintenance control unit 432 Linear target recognition unit 434 Curve estimation unit 452 Compartment line lost control unit

Claims (5)

車両の前方または後方を撮像する撮像部と、
前記車両周辺の状況を認識する周辺状況認識部と、
前記撮像部により撮像された画像において、道路とは異なる高さに存在する物標であって上空から見て前記道路に沿って延在する線状物標を認識する線状物標認識部と、
前記画像における前記線状物標の位置に基づいて、前記車両の走行を制御する運転制御部と、
前記線状物標認識部により認識された線状物標の延在態様に基づいて、前記車両の進行先に存在するカーブおよびその曲率を推定するカーブ推定部と、
を備え、
前記運転制御部は、前記車両の操舵角に対して、前記画像における前記線状物標の傾きを一定に維持するフィードバック制御を行うとともに、
前記運転制御部は、前記車両が推定された前記カーブの開始地点に到達し、且つその時点において前記周辺状況認識部が道路区画線を認識していない場合、前記カーブ推定部により推定されたカーブの曲率に基づいて前記車両の操舵角を制御する、
車両制御装置。 An imaging unit that captures the front or rear of the vehicle,
A peripheral situational awareness unit that recognizes the situation around the vehicle and
In the image captured by the imaging unit, a linear target recognizing unit that recognizes a linear target that exists at a height different from the road and extends along the road when viewed from above. ,
A driving control unit that controls the running of the vehicle based on the position of the linear target in the image.
A curve estimation unit that estimates a curve existing at the destination of the vehicle and its curvature based on the extension mode of the linear target recognized by the linear target recognition unit, and a curve estimation unit.
With
The operation control unit may, with respect to the steering angle of the vehicle, performs feedback control for maintaining the inclination of the linear target object in the image to be constant,
When the vehicle reaches the estimated start point of the curve and the peripheral situational awareness unit does not recognize the road marking line at that time, the operation control unit determines the curve estimated by the curve estimation unit. Control the steering angle of the vehicle based on the curvature of
Vehicle control device. 前記線状物標は、前記撮像部よりも上方に設置された物体である、
請求項１に記載の車両制御装置。 The linear target is an object installed above the imaging unit.
The vehicle control device according to claim 1. 前記線状物標は、道路の側壁の上端部である、
請求項２に記載の車両制御装置。 The linear marker is the upper end of the side wall of the road.
The vehicle control device according to claim 2. 撮像部が、車両の前方または後方を撮像し、
周辺状況認識部が、前記車両周辺の状況を認識し、
線状物標認識部が、前記撮像部により撮像された画像において、道路とは異なる高さに存在する物標であって上空から見て前記道路に沿って延在する線状物標を認識し、
運転制御部が、前記画像における前記線状物標の位置に基づいて、前記車両の走行を制御し、
カーブ推定部が、前記線状物標認識部により認識された線状物標の延在態様に基づいて、前記車両の進行先に存在するカーブおよびその曲率を推定する、
車両制御方法であって、
前記運転制御部が、前記車両の操舵角に対して、前記画像における前記線状物標の傾きを一定に維持するフィードバック制御を行うとともに、
前記運転制御部が、前記車両が推定された前記カーブの開始地点に到達し、且つその時点において前記周辺状況認識部が道路区画線を認識していない場合、前記カーブ推定部により推定されたカーブの曲率に基づいて前記車両の操舵角を制御する、
車両制御方法。 The imaging unit captures the front or rear of the vehicle.
The surrounding situation awareness unit recognizes the situation around the vehicle and
In the image captured by the imaging unit, the linear target recognition unit recognizes a linear target that exists at a height different from that of the road and extends along the road when viewed from above. death,
Operation control unit, based on the position of the linear target object in the image, and controls the traveling of the vehicle,
The curve estimation unit estimates the curve existing at the destination of the vehicle and its curvature based on the extension mode of the linear target recognized by the linear target recognition unit.
It ’s a vehicle control method.
The operation control unit, with respect to the steering angle of the vehicle, performs feedback control for maintaining the inclination of the linear target object in the image to be constant,
When the driving control unit reaches the starting point of the estimated curve and the surrounding situational awareness unit does not recognize the road marking line at that time, the curve estimated by the curve estimation unit. Control the steering angle of the vehicle based on the curvature of
Vehicle control method. 車両の前方または後方を撮像する撮像部と、前記車両周辺の状況を認識する車両状況認識部とを備える車両に搭載されるコンピュータに、
前記撮像部により撮像された画像において、道路とは異なる高さに存在する物標であって上空から見て前記道路に沿って延在する線状物標を認識させ、
前記画像における前記線状物標の位置に基づいて、前記車両の走行制御を実行させ、
認識された前記線状物標の延在態様に基づいて、前記車両の進行先に存在するカーブおよびその曲率を推定させる、
プログラムであって、
前記走行制御では、前記車両の操舵角に対して、前記画像における前記線状物標の傾きを一定に維持するフィードバック制御を行わせるとともに、
前記車両が推定された前記カーブの開始地点に到達し、且つその時点において前記周辺状況認識部が道路区画線を認識していない場合、前記カーブ推定部により推定されたカーブの曲率に基づいて前記車両の操舵角を制御する、
プログラム。 A computer mounted on a vehicle including an imaging unit that captures an image of the front or rear of the vehicle and a vehicle situational awareness unit that recognizes the situation around the vehicle.
In the image captured by the imaging unit, a linear target that exists at a height different from that of the road and extends along the road when viewed from above is recognized.
Based on the position of the linear target in the image, the traveling control of the vehicle is executed.
Based on the recognized extension mode of the linear target, the curve existing at the destination of the vehicle and its curvature are estimated.
It ’s a program
Wherein the travel control, with respect to the steering angle of the vehicle, along with to perform feedback control for maintaining the inclination of the linear target object in the image to be constant,
When the vehicle reaches the estimated start point of the curve and the surrounding situational awareness unit does not recognize the road marking line at that time, the vehicle is said to be based on the curvature of the curve estimated by the curve estimation unit. Control the steering angle of the vehicle,
program.
JP2017248942A 2017-12-26 2017-12-26 Vehicle control devices, vehicle control methods, and programs Active JP6965152B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017248942A JP6965152B2 (en) 2017-12-26 2017-12-26 Vehicle control devices, vehicle control methods, and programs
CN201811587645.4A CN109987082B (en) 2017-12-26 2018-12-24 Vehicle control device, vehicle control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017248942A JP6965152B2 (en) 2017-12-26 2017-12-26 Vehicle control devices, vehicle control methods, and programs

Publications (2)

Publication Number Publication Date
JP2019112007A JP2019112007A (en) 2019-07-11
JP6965152B2 true JP6965152B2 (en) 2021-11-10

Family

ID=67129154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017248942A Active JP6965152B2 (en) 2017-12-26 2017-12-26 Vehicle control devices, vehicle control methods, and programs

Country Status (2)

Country Link
JP (1) JP6965152B2 (en)
CN (1) CN109987082B (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11352010B2 (en) * 2019-09-30 2022-06-07 Baidu Usa Llc Obstacle perception calibration system for autonomous driving vehicles
JP7325296B2 (en) 2019-10-25 2023-08-14 日産自動車株式会社 Object recognition method and object recognition system
JP7304379B2 (en) * 2021-03-30 2023-07-06 本田技研工業株式会社 DRIVER ASSISTANCE SYSTEM, DRIVER ASSISTANCE METHOD, AND PROGRAM
CN115000469B (en) * 2022-07-11 2022-11-08 佛山市清极能源科技有限公司 Power control method of fuel cell system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07125563A (en) * 1993-11-01 1995-05-16 Mitsubishi Motors Corp Travel controller of automobile
JP5007840B2 (en) * 2009-05-22 2012-08-22 トヨタ自動車株式会社 Driving assistance device
CN202271993U (en) * 2011-07-29 2012-06-13 富士重工业株式会社 Vehicle drive-assistant device
JP2014019262A (en) * 2012-07-17 2014-02-03 Fuji Heavy Ind Ltd Vehicular drive support device
JP6456761B2 (en) * 2015-04-21 2019-01-23 本田技研工業株式会社 Road environment recognition device, vehicle control device, and vehicle control method
JP2017220056A (en) * 2016-06-08 2017-12-14 株式会社デンソー Information processing device

Also Published As

Publication number Publication date
JP2019112007A (en) 2019-07-11
CN109987082B (en) 2022-09-09
CN109987082A (en) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109484404B (en) Vehicle control device, vehicle control method, and storage medium
JP7071173B2 (en) Vehicle control devices, vehicle control methods, and programs
JP6782370B2 (en) Vehicle control device, vehicle control method, and program
JP7101001B2 (en) Vehicle controls, vehicle control methods, and programs
CN109835344B (en) Vehicle control device, vehicle control method, and storage medium
JP6859239B2 (en) Vehicle control devices, vehicle control methods, and programs
JP6965152B2 (en) Vehicle control devices, vehicle control methods, and programs
JP7071250B2 (en) Vehicle control devices, vehicle control methods, and programs
JP6827026B2 (en) Vehicle control devices, vehicle control methods, and programs
JP7345349B2 (en) Vehicle control device, vehicle control method, and program
JP7000202B2 (en) Vehicle control systems, vehicle control methods, and programs
JP2020147139A (en) Vehicle control device, vehicle control method, and program
JP2021068015A (en) Vehicle control device, vehicle control method, and program
US20190286137A1 (en) Vehicle control device, vehicle control method and storage medium
JP6894354B2 (en) Vehicle control devices, vehicle control methods, and programs
JPWO2019167247A1 (en) Vehicle control devices, vehicle control methods, and programs
JP7080091B2 (en) Vehicle control devices, vehicle control methods, and programs
JP6648384B2 (en) Vehicle control device, vehicle control method, and program
JP2021068014A (en) Vehicle controller, vehicle control method and program
JP6839642B2 (en) Vehicle control devices, vehicle control methods, and programs
JP2023111162A (en) Movable body control device, movable body control method, and program
JP7028838B2 (en) Peripheral recognition device, peripheral recognition method, and program
JP7166988B2 (en) VEHICLE CONTROL DEVICE, VEHICLE CONTROL METHOD, AND PROGRAM
JP2021160399A (en) Vehicle control device, vehicle control method, and program
JP7450436B2 (en) Vehicle control device, vehicle control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211020

R150 Certificate of patent or registration of utility model

Ref document number: 6965152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150