JP6965152B2 - 車両制御装置、車両制御方法、およびプログラム - Google Patents

Description

本発明は、車両制御装置、車両制御方法、およびプログラム
に関する。

近年、車両の走行を自動的に制御すること（以下、自動運転）について研究および実用化が進められている。自動運転において、車両の走行すべき車線を認識することが、安定的な走行を実現する上で重要である。車線を認識するための有力な情報として、道路に描画された白線の位置情報がある。白線は、車載カメラなどで位置が検出される。白線の位置情報は、自動運転だけでなく、車線維持制御などの運転支援制御にも用いられる。白線がかすれて見えなくなると、これらの制御が困難になってしまう。

これに関連し、車載カメラで撮影された画像中の画素の輝度空間微分値を算出し、その極値を示す位置に基づいて、白線のエッジを抽出し、検出されたエッジの輝度値が近いものを白線候補としてまとめ、前記まとめられた白線候補を、それらの位置関係に基づいてグループ化し、左右別々に、１本の白線を検出することを特徴とする道路の白線検出方法の発明が知られている（特許文献１参照）。

特開２００２−１７５５３４号公報

しかしながら、従来の技術では、ある程度、白線が残っている場合でなければ白線を検出することができない。また、前走車両や後続車両の存在によって白線が認識できない場合にも対応することができない。

本発明は、このような事情を考慮してなされたものであり、より広い場面において道路区画線ロスト時の代替制御を行うことができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。

（１）：車両の前方または後方を撮像する撮像部（１０）と、前記撮像部により撮像された画像において、道路とは異なる高さに存在し、上空から見て前記道路に沿って延在する線状物標を認識する線状物標認識部（１３２）と、前記画像における前記線状物標の位置に基づいて、前記車両の走行を制御する運転制御部（１５０、１６０）と、を備える車両制御装置。

（２）：（１）において、前記運転制御部は、前記画像における前記線状物標の傾きが一定になるように、前記車両の操舵を制御するもの。

（３）：（２）において、前記運転制御部は、前記車両の操舵角に対して、前記画像における前記線状物標の傾きを一定に維持するフィードバック制御を行うもの。

（４）：（１）から（３）のうちいずれかにおいて、前記撮像部は、前記車両の前方を撮像し、前記線状物標認識部により認識された線状物標の延在態様に基づいて、前記車両の進行先に存在するカーブの存在を推定するカーブ推定部（１３４）を更に備えるもの
。

（５）：（４）において、前記カーブ推定部は、更に、前記車両の進行先に存在するカーブの曲率を推定し、前記運転制御部は、前記カーブ推定部により推定されたカーブの曲率に基づいて前記車両の操舵を制御するもの。

（６）：（１）から（５）のうちいずれかにおいて、前記線状物標は、前記撮像部よりも上方に設置された物体であるもの。

（７）：（６）において、前記線状物標は、道路の側壁の上端部であるもの。

（８）：撮像部が、車両の前方または後方を撮像し、線状物標認識部が、前記撮像部により撮像された画像において、道路とは異なる高さに存在し、平面視で前記道路に沿って延在する線状物標を認識し、運転制御部が、前記画像における前記線状物標の位置に基づいて、前記車両の少なくとも操舵を制御する、車両制御方法。

（９）：車両の前方または後方を撮像する撮像部を備える車両に搭載されるコンピュータに、前記撮像部により撮像された画像において、道路とは異なる高さに存在し、平面視で前記道路に沿って延在する線状物標を認識させ、前記画像における前記線状物標の位置に基づいて、前記車両の少なくとも操舵を制御させる、プログラム。

（１）〜（９）によれば、より広い場面において道路区画線ロスト時の代替制御を行うことができる。

第１実施形態に係る車両制御装置を利用した車両システム１の構成図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 カメラ１０の撮像画像ＩＭの一例を示す図である。 自車両Ｍの旋回角と側壁ＳＷの上端部ＵＥ（ＳＷ）の傾きとの関係を示す図である。 線状物標認識部１３２と区画線ロスト時制御部１５２とにより実行される処理の流れの一例を示すフローチャートである。 自車両Ｍの前方に存在するカーブと側壁ＳＷの上端部ＵＥ（ＳＷ）の関係を示す図である。 線状物標認識部１３２とカーブ推定部１３４と区画線ロスト時制御部１５２とにより実行される処理の流れの一例を示すフローチャートである。 第２実施形態に係る運転支援装置４００の構成図である。 第１実施形態の自動運転制御装置１００または第２実施形態の運転支援装置４００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。

＜第１実施形態＞
［全体構成］
図１は、第１実施形態に係る車両制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機を備える場合、電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０と、ヘッドライト装置２５０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍと称する）の任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ１０は、例えば、リアバンパー付近に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。ファインダ１４は、物体検出装置の一例である。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。また、物体認識装置１６は、必要に応じて、カメラ１０、レーダ装置１２、およびファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。経路決定部５３により決定された地図上経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。なお、ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された地図上経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、経路において分岐箇所や合流箇所などが存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０を用いて他装置にアクセスすることにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。自動運転制御装置１００は、車両制御装置の一例である。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１５０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現される。これによって、自動運転の信頼性が担保される。

認識部１３０は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、自車両Ｍの周辺状況を認識する。例えば、認識部１３０は、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。認識部１３０は、カメラ１０の撮像画像に基づいて、自車両Ｍがこれから通過するカーブの形状を認識する。認識部１３０は、カーブの形状をカメラ１０の撮像画像から実平面に変換し、例えば、二次元の点列情報、或いはこれと同等なモデルを用いて表現した情報を、カーブの形状を示す情報として行動計画生成部１５０に出力する。

認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

認識部１３０は、上記の認識処理において、認識精度を導出し、認識精度情報として行動計画生成部１５０に出力してもよい。例えば、認識部１３０は、一定期間において、道路区画線を認識できた頻度に基づいて、認識精度情報を生成する。

認識部１３０は、例えば、線状物標認識部１３２と、カーブ推定部１３４とを備える。これらについては後述する。

行動計画生成部１５０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自動運転において順次実行されるイベントを決定する。行動計画生成部１５０は、起動したイベントに応じて、自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、例えば、複数の軌道点と、速度要素とを含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１５０は、例えば、区画線ロスト時制御部１５２を備える。これについては後述する。

第２制御部１６０は、行動計画生成部１５０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。行動計画生成部１５０と第２制御部１６０を合わせたものが、「運転制御部」の一例である。

第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１５０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵとを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［区画線ロスト時制御］
以下、認識部１３０の線状物標認識部１３２と、行動計画生成部１５０の区画線ロスト時制御部１５２とにより実行される処理の内容について説明する。

前述したように、認識部１３０は、主にカメラ１０により撮像された画像における道路区画線の位置に基づいて走行車線を認識する。図３は、カメラ１０の撮像画像ＩＭの一例を示す図である。本図は、自車両Ｍが高速道路を走行している場面を示している。図示する撮像画像ＩＭには、自車両Ｍの走行している車線Ｌ１を区画する道路区画線ＬＭ１およびＬＭ２、隣接車線Ｌ２を区画する道路区画線ＬＭ２およびＬＭ３、ガードレールＧＲ、側壁ＳＷなどが写っている。これらの画像要素は、直線状ないし曲線状となっており、且つ輪郭部分における周辺画像とのコントラスト（輝度差）が大きいため、画像認識によって比較的容易に位置が認識可能なものである。例えば、水平エッジ（横方向の隣接画素とのコントラストが大きい画素）を連ねることで道路区画線の輪郭を認識することができ、垂直エッジ（縦方向の隣接画素とのコントラストが大きい画素）を連ねることでガードレールの上端ＵＥ（ＧＲ）、および側壁の上端ＵＥ（ＳＷ）を認識することができる。原則的に、認識部１３０は、道路区画線のうち撮像画像ＩＭにおける所定範囲内にあるものを、自車線を区画する道路区画線とみなし、それらで区画される領域を走行車線として認識する。

そして、行動計画生成部１５０は、原則的に走行車線を逸脱しないように目標軌道を生成する（車線変更や分岐、合流の場合は、途中で走行車線が切り替わる）。このため、沿う車線が認識できていることは、自動運転の制御において重要な要素となる。

ここで、認識部１３０は、常時、鮮明に道路区画線を認識できるとは限らない。例えば、白線や黄線で道路に描画されたタイプの道路区画線は、経年劣化でかすれを生じる場合がある。また、道路工事中であったり、料金所の周辺であるといった事情で、道路区画線が無い道路も存在し得る。更に、自車両Ｍの周辺に存在する他車両などによって道路区画線がカメラ１０によって撮像できない場面も生じ得る。以下、このような各種場面を「区画線ロスト時」と称する。区画線ロスト時においても、自車両Ｍは道路に沿って走行する必要があるため、何らかの代替処理が行われることが好ましい。

こうした事情に鑑み、線状物標認識部１３２は、道路とは異なる高さに存在し、上空から見て前記道路に沿って延在する線状物標を認識する。図３の例では、ガードレールの上端ＵＥ（ＧＲ）、および側壁の上端ＵＥ（ＳＷ）が線状物標に該当する。また、線状物標とカメラ１０の間に他車両などが入り込むと認識が困難になるため、線状物標は、カメラ１０よりも上方に設置された物体であることが好ましい。これに該当するのは、例えば、側壁ＳＷの上端部ＵＥ（ＳＷ）である。以下、線状物標認識部１３２は、側壁ＳＷの上端部ＵＥ（ＳＷ）の撮像画像ＩＭ上の位置を認識するものとして説明する。

線状物標認識部１３２は、例えば、側壁ＳＷの上端部ＵＥ（ＳＷ）を構成する複数の画素の位置を認識する。そして、線状物標認識部１３２は、複数の画素の位置を直線に近似し、画像平面における直線として認識する。これに対して、区画線ロスト時制御部１５２は、直線の傾きを一定にするように、自車両Ｍの操舵角をフィードバック制御する。

図４は、自車両Ｍの旋回角と側壁ＳＷの上端部ＵＥ（ＳＷ）の傾きとの関係を示す図である。図示するように、自車両Ｍが左方向に旋回すると、側壁ＳＷの上端部ＵＥ（ＳＷ）の画像の横方向に対する傾きは大きくなり（急峻になり）、自車両Ｍが右方向に旋回すると、側壁ＳＷの上端部ＵＥ（ＳＷ）の画像の横方向に対する傾きは小さくなる（なだらかになる）。これを利用して、区画線ロスト時制御部１５２は、式（１）で示すようなフィードバック制御を行う。式中、θは操舵角であり、Δθは操舵角変更量であり、φは、例えば画像における基準方向に対して側壁ＳＷの上端部ＵＥ（ＳＷ）がなす角度であり、φ_０は、区画線ロスト時の初期時点における上記なす角度である。また、ＫＰは比例ゲイン、ＫＩは積分ゲイン、ＫＤは微分ゲインである。式（１）ではＰＩＤ制御の例を示したが、区画線ロスト時制御部１５２は、Ｐ制御、ＰＩ制御、或いはこれに類する任意のフィードバック制御を行ってよい。

Δθ＝ＫＰ・（φ−φ_０）＋ＫＩ・∫（φ−φ_０）・ｄｔ＋ＫＤ・｛ｄ（φ−φ_０）／ｄｔ｝ …（１）

図５は、線状物標認識部１３２と区画線ロスト時制御部１５２とにより実行される処理の流れの一例を示すフローチャートである。

まず、線状物標認識部１３２は、認識部１３０が道路区画線をロストした（認識できなくなった）か否かを判定する（ステップＳ１００）。認識部１３０が道路区画線をロストした場合、線状物標認識部１３２は、線状物標を認識し、撮像画像ＩＭに対する傾きをメモリに保存する（ステップＳ１０２）。この傾きは、前述したφ_０として扱われる。

次に、区画線ロスト時制御部１５２は、自車両Ｍの操舵角θを、線状物標の画像に対してなす角度φをφ_０に近づけるようにフィードバック制御する（ステップＳ１０４）。ステップＳ１０４の処理は、認識部１３０により道路区画線が再度認識されるまで実行される（ステップＳ１０６）。

［カーブ推定］
以下、認識部１３０の線状物標認識部１３２およびカーブ推定部１３４と、行動計画生成部１５０の区画線ロスト時制御部１５２とにより実行される処理の内容について説明する。

カーブ推定部１３４は、線状物標認識部１３２により認識された線状物標の位置に基づいて、自車両Ｍの前方に存在するカーブを推定する。図６は、自車両Ｍの前方に存在するカーブと側壁ＳＷの上端部ＵＥ（ＳＷ）の関係を示す図である。図示するように、自車両Ｍの前方に右カーブが存在する場合、側壁ＳＷの上端部ＵＥ（ＳＷ）は、下に凸形状の曲線となり、且つ自車両Ｍの前方にカーブが存在しない場合に比して画像の横方向に対する傾きが小さくなる（なだらかになる）。また、自車両Ｍの前方に左カーブが存在する場合、側壁ＳＷの上端部ＵＥ（ＳＷ）は、上に凸形状の曲線となり、且つ自車両Ｍの前方にカーブが存在しない場合に比して画像の横方向に対する傾きが大きくなる（急峻になる）。

カーブ推定部１３４は、線状物標認識部１３２により認識された線状物標を構成する画素の配列を、三次曲線などの曲線に近似し、曲線のパラメータに基づいて、カーブの開始地点や曲率などを推定する。例えば、カーブ推定部１３４は、予め用意されたマップにパラメータを当てはめることで、カーブの開始地点や曲率などを推定する。

区画線ロスト時制御部１５２は、自車両Ｍがカーブ推定部１３４により推定されたカーブの開始地点に到達し、且つその時点で認識部１３０が道路区画線をロストしている場合、カーブ推定部１３４により推定されたカーブの曲率に基づく操舵角θの制御を行う。

例えば、区画線ロスト時制御部１５２は、フィードフォワード操舵角θ_ｆｆを、式（２）に基づいて導出する。式中、Ｃはカーブの曲率である。
θ_ｆｆ＝ｆ（Ｃ） …（２）

また、区画線ロスト時制御部１５２は、側壁ＳＷの上端部ＵＥ（ＳＷ）の画像端部における高さ位置（図６におけるｈ）に基づいて、フィードバック操舵角θ_ｆｂを求めてもよい。フィードバック操舵角θ_ｆｂは、式（３）で表される。
Δθ_ｆｂ＝ＫＰ・（ｈ−ｈ_０）＋ＫＩ・∫（ｈ−ｈ_０）・ｄｔ＋ＫＤ・｛ｄ（ｈ−ｈ_０）／ｄｔ｝ …（３）

そして、区画線ロスト時制御部１５２は、式（４）に示すように、フィードフォワード操舵角θ_ｆｆとフィードバック操舵角θ_ｆｂとの加重和を求めることで、自車両Ｍの操舵角θを決定してよい。例えば、α＋β＝１である。
θ＝α×θ_ｆｆ＋β×θ_ｆｂ …（４）

図７は、線状物標認識部１３２とカーブ推定部１３４と区画線ロスト時制御部１５２とにより実行される処理の流れの一例を示すフローチャートである。図７のフローチャートの処理は、図５のフローチャートの処理と並行して実行されてもよいし、図５と図７のフローチャートの処理のうち、いずれか一方のみが実行されてもよい。

まず、線状物標認識部１３２が、線状物標を認識する（ステップＳ２００）。次に、カーブ推定部１３４が、線状物標の延在態様が変化したか否かを判定する（ステップＳ２０２）。カーブ推定部１３４は、図６で説明したように、線状物標の傾きや曲りの方向および程度に基づいて、線状物標の延在態様が変化したか否かを判定する。

線状物標の延在態様が変化したと判定した場合、カーブ推定部１３４は、カーブの存在、開始地点、曲率などを推定し、それらの情報をメモリに保存する（ステップＳ２０４）。次に、区画線ロスト時制御部１５２は、認識部１３０が道路区画線をロストした（認識できなくなった）か否かを判定する（ステップＳ２０６）。認識部１３０が道路区画線をロストしていない場合、ステップＳ２００に処理が戻される。

認識部１３０が道路区画線をロストした場合、区画線ロスト時制御部１５２は、メモリ保存された曲率に基づいてフィードフォワード操舵角を求め（ステップＳ２０８）、自車両Ｍがカーブ開始地点に到達するまで待機する（ステップＳ２１０）。自車両Ｍがカーブ開始地点に到達すると、区画線ロスト時制御部１５２は、前述したようにフィードフォワードおよびフィードバックによって自車両Ｍの操舵角を制御する（ステップＳ２１２）。ステップＳ２１２の処理は、認識部１３０により道路区画線が再度認識されるまで実行される（ステップＳ２１４）。なお、ステップＳ２０８、Ｓ２１０を実行中に、認識部１３０により道路区画線が再度認識された場合も、このフローチャートの処理を抜けるようにしてよい。

以上説明した第１実施形態の車両制御装置によれば、車両の前方または後方を撮像する撮像部（１０）と、撮像部により撮像された画像において、道路とは異なる高さに存在し、上空から見て前記道路に沿って延在する線状物標を認識する線状物標認識部（１３２）と、画像における状物標の位置に基づいて、前記車両の走行を制御する運転制御部（１５０、１６０）と、を備えることにより、より広い場面において道路区画線ロスト時の代替制御を行うことができる。

図４の説明において、カメラ１０は自車両Ｍの前方を撮像することを前提として説明したが、カメラ１０は自車両Ｍの後方を撮像するものであってもよい。その場合、旋回角と傾きの関係は図４で説明したものとは異なる関係を示す。なお、カーブ推定は、カメラ１０が自車両Ｍの前方を撮像していなければ困難である。

＜第２実施形態＞
第２実施形態では、車両制御装置が車線維持制御などの運転支援を行う運転支援装置に適用された例について説明する。運転支援装置は、例えば、第１実施形態のような自動運転車両ではなく、主に手動運転が行われる車両に搭載されてもよいし、自動運転と、手動運転プラス運転支援とが選択的に行われる車両に搭載されてもよい。

図８は、第２実施形態に係る運転支援装置４００の構成図である。運転支援装置４００は、例えば、車線維持制御部４２０と、線状物標認識部４３２と、カーブ推定部４３４と、区画線ロスト時制御部４５２とを備える。これらの構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

車線維持制御部４２０は、第１実施形態に係る認識部１３０と同様に道路区画線や走行車線を認識し、自車両Ｍが走行車線を逸脱しないように、ステアリング反力をステアリングホイールに付与したり、逸脱方向と逆方向に操舵角を制御したりする。

線状物標認識部４３２、カーブ推定部４３４、および区画線ロスト時制御部４５２は、それぞれ、第１実施形態に係る線状物標認識部１３２、カーブ推定部１３４、および区画線ロスト時制御部１５２と同様の機能を有する。これによって、第２実施形態の運転支援装置４００は、第１実施形態と同様に、車線維持制御部４２０が道路区画線をロストした場合に、線状物標の位置に基づいて代替的に車線を維持するための制御を行う。なお、運転支援は手動運転を前提としているため、一定時間、代替的に車線を維持するための制御を行うと、乗員に通知の上、運転支援を停止するようにしてもよい。

以上説明した第２実施形態によれば、第１実施形態と同様の効果を奏することができる。

＜ハードウェア構成＞
図９は、第１実施形態の自動運転制御装置１００または第２実施形態の運転支援装置４００（以下、自動運転制御装置１００等）のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００等は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、自動運転制御装置１００等以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、認識部１３０および行動計画生成部１５０のうち一方または双方、或いは線状物標認識部４３２、カーブ推定部４３４、および区画線ロスト時制御部４５２のうち一部または全部が実現される。

上記説明した実施形態は、以下のように表現することができる。
車両の前方または後方を撮像する撮像部と、
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記プログラムを実行することにより、
前記撮像部により撮像された画像において、道路とは異なる高さに存在し、上空から見て前記道路に沿って延在する線状物標を認識し、
前記画像における前記線状物標の位置に基づいて、前記車両の走行を制御する、
ように構成されている、車両制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ カメラ
１２ レーダ装置
１４ ファインダ
１６ 物体認識装置
５０ ナビゲーション装置
６０ ＭＰＵ
８０ 運転操作子
１００ 自動運転制御装置
１２０ 第１制御部
１３０ 認識部
１３２ 線状物標認識部
１３４ カーブ推定部
１５０ 行動計画生成部
１５２ 区画線ロスト時制御部
１６０ 第２制御部
１６２ 取得部
１６４ 速度制御部
１６６ 操舵制御部
２００ 走行駆動力出力装置
２１０ ブレーキ装置
２２０ ステアリング装置
４００ 運転支援装置
４２０ 車線維持制御部
４３２ 線状物標認識部
４３４ カーブ推定部
４５２ 区画線ロスト時制御部

Claims (5)

1. 車両の前方または後方を撮像する撮像部と、
   前記車両周辺の状況を認識する周辺状況認識部と、
   前記撮像部により撮像された画像において、道路とは異なる高さに存在する物標であって上空から見て前記道路に沿って延在する線状物標を認識する線状物標認識部と、
   前記画像における前記線状物標の位置に基づいて、前記車両の走行を制御する運転制御部と、
   前記線状物標認識部により認識された線状物標の延在態様に基づいて、前記車両の進行先に存在するカーブおよびその曲率を推定するカーブ推定部と、
   を備え、
   前記運転制御部は、前記車両の操舵角に対して、前記画像における前記線状物標の傾きを一定に維持するフィードバック制御を行うとともに、
   前記運転制御部は、前記車両が推定された前記カーブの開始地点に到達し、且つその時点において前記周辺状況認識部が道路区画線を認識していない場合、前記カーブ推定部により推定されたカーブの曲率に基づいて前記車両の操舵角を制御する、
   車両制御装置。
2. 前記線状物標は、前記撮像部よりも上方に設置された物体である、
   請求項１に記載の車両制御装置。
3. 前記線状物標は、道路の側壁の上端部である、
   請求項２に記載の車両制御装置。
4. 撮像部が、車両の前方または後方を撮像し、
   周辺状況認識部が、前記車両周辺の状況を認識し、
   線状物標認識部が、前記撮像部により撮像された画像において、道路とは異なる高さに存在する物標であって上空から見て前記道路に沿って延在する線状物標を認識し、
   運転制御部が、前記画像における前記線状物標の位置に基づいて、前記車両の走行を制御し、
   カーブ推定部が、前記線状物標認識部により認識された線状物標の延在態様に基づいて、前記車両の進行先に存在するカーブおよびその曲率を推定する、
   車両制御方法であって、
   前記運転制御部が、前記車両の操舵角に対して、前記画像における前記線状物標の傾きを一定に維持するフィードバック制御を行うとともに、
   前記運転制御部が、前記車両が推定された前記カーブの開始地点に到達し、且つその時点において前記周辺状況認識部が道路区画線を認識していない場合、前記カーブ推定部により推定されたカーブの曲率に基づいて前記車両の操舵角を制御する、
   車両制御方法。
5. 車両の前方または後方を撮像する撮像部と、前記車両周辺の状況を認識する車両状況認識部とを備える車両に搭載されるコンピュータに、
   前記撮像部により撮像された画像において、道路とは異なる高さに存在する物標であって上空から見て前記道路に沿って延在する線状物標を認識させ、
   前記画像における前記線状物標の位置に基づいて、前記車両の走行制御を実行させ、
   認識された前記線状物標の延在態様に基づいて、前記車両の進行先に存在するカーブおよびその曲率を推定させる、
   プログラムであって、
   前記走行制御では、前記車両の操舵角に対して、前記画像における前記線状物標の傾きを一定に維持するフィードバック制御を行わせるとともに、
   前記車両が推定された前記カーブの開始地点に到達し、且つその時点において前記周辺状況認識部が道路区画線を認識していない場合、前記カーブ推定部により推定されたカーブの曲率に基づいて前記車両の操舵角を制御する、
   プログラム。

Images