JP2016091468A - 目標軌跡算出装置及びプログラム - Google Patents

目標軌跡算出装置及びプログラム Download PDF

Info

Publication number
JP2016091468A
JP2016091468A JP2014228326A JP2014228326A JP2016091468A JP 2016091468 A JP2016091468 A JP 2016091468A JP 2014228326 A JP2014228326 A JP 2014228326A JP 2014228326 A JP2014228326 A JP 2014228326A JP 2016091468 A JP2016091468 A JP 2016091468A
Authority
JP
Japan
Prior art keywords
vehicle
edge line
target trajectory
time
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014228326A
Other languages
English (en)
Other versions
JP6372314B2 (ja
Inventor
皓之 石田
Hiroyuki Ishida
皓之 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2014228326A priority Critical patent/JP6372314B2/ja
Publication of JP2016091468A publication Critical patent/JP2016091468A/ja
Application granted granted Critical
Publication of JP6372314B2 publication Critical patent/JP6372314B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】レーンマークが存在しない場合であっても、車両の目標軌跡を算出することができるようにする。【解決手段】画像情報取得部16によって、車両の前方画像を取得する。エッジ検出部18によって、取得された車両の前方画像から、複数のエッジ線分を検出する。そして、座標変換部20によって、検出された複数のエッジ線分の各々について、当該エッジ線分を、車両の位置を基準とする車両座標系におけるエッジ線分の位置を計算する。そして、目標軌跡算出部22によって、座標変換部20によって複数のエッジ線分の各々について計算された車両座標系におけるエッジ線分の位置に基づいて、複数のエッジ線分の各々についての、車両の左右方向への平行移動量を自由変数としたエッジ線分と、車両の目標軌跡との差分を最小化するように、複数のエッジ線分の各々の平行移動量、及び車両の目標軌跡を表す多項式のパラメータである目標軌跡パラメータを算出する。【選択図】図1

Description

本発明は、目標軌跡算出装置及びプログラムに関する。
従来より、レーンマークがない道路でも、道路鋲やポストコーンなどの複数種類の検出手段を用い、レーン形状の認識に適した情報を選択することで、レーンキープのためのパラメータを算出する走行レーン認識装置が知られている(特許文献1)。
また、白線もしくは道路鋲といったレーンマークの種類を区別せずに、エッジ点として利用し、消失点に向かって伸びるエッジ点を統合することでレーン形状を認識するレーンマーク認識装置が知られている(特許文献2)。
また、車線の右端及び左端位置のエッジ線分(レーンマークや段差の変化する点による)を検出し、路面モデルを当てはめることで路面形状を認識する路面形状認識装置が知られている(特許文献3)。
特開2003−123058号公報 特開2007−299414号公報 特開2011−128844号公報
しかし、上記の特許文献1に記載の技術では、レーン検出に用いる対象物ごとに検出手段を備える必要があり、演算量が多くなるという問題がある。
また、上記の特許文献2に記載の技術では、任意のエッジをレーン検出に利用できるが、消失点に向かってエッジが延びていることを想定しているため、曲線形状の道路に対応できない。
また、上記の特許文献3に記載の技術では、任意のエッジを路面形状検出に利用できるが、エッジは車線の右端又は左端のそれぞれについて、遠方まで連続して分布していることが必要になる。したがって、断片的な線分は路面形状検出に適さない。
このように、従来技術の多くは、車両付近から消失点付近まで連続して分布するエッジを利用して、車線の境界を求めることを想定している。しかし整備された道路以外では、上記の条件を満たすことは難しい。
本発明は、上記の問題点を解決するためになされたもので、レーンマークが存在しない場合であっても、車両の目標軌跡を算出することができる目標軌跡算出装置及びプログラムを提供することを目的とする。
上記の目的を達成するために本発明に係る目標軌跡算出装置は、車両の前方画像を取得する画像情報取得手段と、前記画像情報取得手段によって取得された前記車両の前方画像から、複数のエッジ線分を検出するエッジ検出手段と、前記エッジ検出手段によって検出された前記複数のエッジ線分の各々について、前記エッジ線分を、前記車両の位置を基準とする車両座標系における前記エッジ線分の位置を計算する座標変換手段と、前記座標変換手段によって前記複数のエッジ線分の各々について計算された前記車両座標系における前記エッジ線分の位置に基づいて、前記複数のエッジ線分の各々についての、前記車両の左右方向への平行移動量を自由変数とした前記エッジ線分と、前記車両の目標軌跡との差分を最小化するように、前記複数のエッジ線分の各々の前記平行移動量、及び前記車両の目標軌跡を表す多項式のパラメータである目標軌跡パラメータを算出する目標軌跡算出手段と、を含んで構成されている。
本発明に係るプログラムは、コンピュータを、車両の前方画像を取得する画像情報取得手段、前記画像情報取得手段によって取得された前記車両の前方画像から、複数のエッジ線分を検出するエッジ検出手段、前記エッジ検出手段によって検出された前記複数のエッジ線分の各々について、前記エッジ線分を、前記車両の位置を基準とする車両座標系における前記エッジ線分の位置を計算する座標変換手段、及び前記座標変換手段によって前記複数のエッジ線分の各々について計算された前記車両座標系における前記エッジ線分の位置に基づいて、前記複数のエッジ線分の各々についての、前記車両の左右方向への平行移動量を自由変数とした前記エッジ線分と、前記車両の目標軌跡との差分を最小化するように、前記複数のエッジ線分の各々の前記平行移動量、及び前記車両の目標軌跡を表す多項式のパラメータである目標軌跡パラメータを算出する目標軌跡算出手段として機能させるためのプログラムである。
本発明によれば、画像情報取得手段によって、車両の前方画像を取得する。エッジ検出手段によって、画像情報取得手段によって取得された車両の前方画像から、複数のエッジ線分を検出する。
そして、座標変換手段によって、エッジ検出手段によって検出された複数のエッジ線分の各々について、当該エッジ線分を、車両の位置を基準とする車両座標系におけるエッジ線分の位置を計算する。
そして、目標軌跡算出手段によって、座標変換手段によって複数のエッジ線分の各々について計算された車両座標系におけるエッジ線分の位置に基づいて、複数のエッジ線分の各々についての、車両の左右方向への平行移動量を自由変数としたエッジ線分と、車両の目標軌跡との差分を最小化するように、複数のエッジ線分の各々の平行移動量、及び車両の目標軌跡を表す多項式のパラメータである目標軌跡パラメータを算出する。
このように、車両の前方画像から検出された複数のエッジ線分の各々について、車両の位置を基準とする車両座標系における当該エッジ線分の位置を計算し、車両座標系におけるエッジ線分の位置に基づいて、複数のエッジ線分の各々についての、車両の左右方向への平行移動量を自由変数としたエッジ線分と、車両の目標軌跡との差分を最小化するように、複数のエッジ線分の各々の平行移動量、及び車両の目標軌跡を表す多項式のパラメータである目標軌跡パラメータを算出することにより、レーンマークが存在しない場合であっても、車両の目標軌跡を算出することができる。
本発明に係る前記画像情報取得手段は、車両の前方画像を各時刻tについて取得し、前記エッジ検出手段は、各時刻tについて、前記画像情報取得手段によって取得された時刻tの前記車両の前方画像から、時刻tの複数のエッジ線分を検出し、前記座標変換手段は、各時刻tについて、前記エッジ検出手段によって検出された時刻tの前記複数のエッジ線分の各々について、前記エッジ線分を、時刻tの前記車両の位置を基準とする車両座標系における前記エッジ線分の位置を計算し、前記目標軌跡算出手段は、各時刻tについて、前記座標変換手段によって前記複数のエッジ線分の各々について計算された前記車両座標系における前記エッジ線分の位置に基づいて、時刻tの前記複数のエッジ線分の各々についての、前記車両の左右方向への平行移動量を自由変数とした前記エッジ線分と、時刻tの前記車両の目標軌跡との差分、及び時刻t−1の前記車両の目標軌跡と時刻tの前記車両の目標軌跡との差分を最小化するように、前記複数のエッジ線分の各々の前記平行移動量、及び前記目標軌跡パラメータを算出するようにすることができる。
本発明は、前記目標軌跡算出手段によって算出された時刻tの前記目標軌跡パラメータと、時刻t−1までの前記目標軌跡パラメータとに基づいて、時刻tの前記目標軌跡パラメータを算出する平滑化手段を更に含むようにすることができる。
本発明に係る前記平滑化手段は、時刻t−1の前記目標軌跡パラメータに基づいて、前記目標軌跡パラメータを表すパーティクルを複数生成し、算出された時刻tの前記目標軌跡パラメータに基づいて、前記複数のパーティクルの各々に対する尤度を算出し、算出された前記複数のパーティクルの各々に対する前記尤度を用いて、前記複数のパーティクルの各々が表す前記目標軌跡パラメータの重み付け和を、時刻tの前記目標軌跡パラメータとして算出するようにすることができる。
本発明に係る前記平滑化手段は、算出された時刻tの前記目標軌跡パラメータの候補と、時刻t−1の前記目標軌跡パラメータと、予め定められた重みとに基づいて、時刻tの前記目標軌跡パラメータの候補と時刻t−1の前記目標軌跡パラメータとの重み付け和を、時刻tの前記目標軌跡パラメータとして算出するようにすることができる。
本発明は、算出された前記目標軌跡パラメータに基づいて、前記目標軌跡パラメータを用いた多項式で表わされる前記車両の目標軌跡上から、前記車両の目標位置を検出する目標点検出手段を更に含むようにすることができる。
以上説明したように、本発明の目標軌跡算出装置及びプログラムによれば、車両の前方画像から検出された複数のエッジ線分の各々について、車両の位置を基準とする車両座標系における当該エッジ線分の位置を計算し、車両座標系におけるエッジ線分の位置に基づいて、複数のエッジ線分の各々についての、車両の左右方向への平行移動量を自由変数としたエッジ線分と、車両の目標軌跡との差分を最小化するように、複数のエッジ線分の各々の平行移動量、及び車両の目標軌跡を表す多項式のパラメータである目標軌跡パラメータを算出することにより、レーンマークが存在しない場合であっても、車両の目標軌跡を算出することができる、という効果が得られる。
本発明の実施の形態に係る目標軌跡算出装置を示すブロック図である。 車両座標系を示すイメージ図である。 パーティクルフィルタの動作例を示すイメージ図である。 本発明の実施の形態に係る目標軌跡算出装置における制御パラメータ算出処理ルーチンの内容を示すフローチャートである。 本発明の実施の形態に係る目標軌跡算出装置における平滑化処理ルーチンの内容を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
[第1の実施の形態]
本発明の実施の形態では、自車両の目標軌跡を算出する目標軌跡算出装置に本発明を適用させた場合を例に説明する。
自車両前方の道路上の線分を抽出すると、それらの多くは進行方向に沿った線分となっている。したがって、それらの線分を左右に平行移動すれば、自車両が進むべく目標軌跡の上に乗ると考えられる。したがって、線分の平行移動を許すように自由なパラメータを設定したうえで、最小二乗法により軌跡推定をすれば、目標軌跡が求められる。
図1に示すように、本発明の第1の実施の形態に係る目標軌跡算出装置10は、道路領域を含む自車両前方を撮像して画像を出力する撮像装置12と、撮像装置12から得られる画像に基づいて、自車両を制御するための制御パラメータを算出する処理を実行するコンピュータ14と、コンピュータ14によって算出された制御パラメータに基づいて、自車両を制御する車両制御装置30とを含んで構成されている。
撮像装置12は、車両に搭載され、道路領域を含む自車両前方を逐次撮像して、自車両の前方画像を出力する。撮像装置12は、自車両前方を撮像し、画像の画像信号を生成する2つの撮像部(図示省略)と、2つの撮像部で生成された画像信号をA/D変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)とを備えている。
コンピュータ14は、CPUと、RAMと、後述する各処理ルーチンを実行するためのプログラムを記憶したROMと、これらを接続するバスとを含んで構成されている。このコンピュータ14をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、画像情報取得部16と、エッジ検出部18と、座標変換部20と、目標軌跡算出部22と、平滑化部24と、目標点検出部26と、制御パラメータ算出部28と、を含んだ構成で表すことができる。
画像情報取得部16は、撮像装置12によって各時刻tについて撮像された自車両の前方画像を取得する。
エッジ検出部18は、各時刻tについて、画像情報取得部16によって取得された時刻tの自車両の前方画像から、複数のエッジ線分を検出する。具体的には、エッジ検出部18は、時刻tの自車両の前方画像から、Hough変換等の手段を用いて画像中のエッジを検出する。そして、エッジ検出部18は、Hough変換により求められた直線の中で、エッジ上にある区間のみを時刻tのエッジ線分として抽出する。
座標変換部20は、各時刻tについて、エッジ検出部18によって検出された時刻tの複数のエッジ線分の各々について、時刻tの自車両の位置を基準とする車両座標系における当該エッジ線分の位置を計算する。
図2に、自車両の位置を基準とする車両座標系の一例を示す。座標変換部20は、エッジ検出部18により求められたエッジ線分を、図2に示されるように、自車両の位置を中心とする車両座標系に変換する。なお、車両座標系におけるx軸は、車両の左右方向の位置を表す。また、車両座標系におけるz軸は、車両の前後方向の位置を表す。なお、車両の左右方向とは、車両を正面から見た場合の車両幅方向を表す。
ここで、自車両の前方画像の画像サイズを(w,h)[pixel]、撮像装置12の地面からの高さをy[m]、撮像装置12の焦点距離をf[pixel]、ピッチ角(上向きが正)をα[rad]とする(簡単化のため、ピッチ角は固定とみなす)。また、自車両の前方画像の歪み補正が前もって行われているものとすると、以下の式(1)により画像上のエッジ線分のエッジ端点(u,v)[pixel]を、車両座標系の座標(x,z)[m]へと変換することができる。
目標軌跡算出部22は、各時刻tについて、座標変換部20によって複数のエッジ線分の各々について計算された車両座標系における当該エッジ線分の位置に基づいて、時刻tの複数のエッジ線分の各々についての、自車両の左右方向への平行移動量を自由変数としたエッジ線分と、時刻tの自車両の目標軌跡との差分を最小化するように、目標軌跡パラメータの候補を算出する。本実施の形態では、後述する目標軌跡を表す多項式f(z)の係数f,…,fを目標軌跡パラメータとする。
本実施の形態では、目標軌跡を多項式モデル(次元数d=1,2,3)により表現し、最小二乗法を用いてエッジ線分群に目標軌跡を当てはめる。
エッジは道路全域に分布するため、分布しているエッジを統合して目標軌跡を求める必要がある。そのため、上記図2に示されるように、エッジ線分については車両の左右方向(x軸方向)の平行移動を許しながら、エッジ線分に最もあてはまる目標軌跡を求める。
ここで、エッジ線分を一般化して多項式で表現した式をs(z)(n=1,...,N;Nは線分数)、目標軌跡(エッジ線分のあてはめ結果)の多項式をf(z)と表す。次元数をdとすると、エッジ線分の多項式と、目標軌跡を表す多項式とは以下の式(2)により表される。
上記式(2)のsn,0が、車両の左右方向のオフセット量となる。s(z)は線分であるため、2次以上の係数は0となる(sn,2=sn,3=0)。また、zn,1は自車両に近い方のエッジ端点、zn,2は自車から遠い方のエッジ端点であり、線分が定義されるzはこの範囲内となる。範囲[zn,1,zn,2]内でこれら多項式間の距離を最小化することで、エッジ線分に沿うような目標軌跡が求められる。
この場合、未知変数は目標軌跡を表す多項式f(z)の目標軌跡パラメータf,…,f(d+1個)と、エッジ線分の左右方向の平行移動量(0次の係数)s1,0,…,sN,0を求める必要がある。したがって、未知変数の数はd+N+1となり、以下の連立方程式(3)を解くことで最小二乗法の解が求められる。
ここで、J(f,s)及びJは、目標軌跡とエッジ線分との距離(単独および総和)であり、以下の式(4)となる。
上記式(4)については、実際は、エッジ線分の統合後の多項式についての左右方向の位置が不定(∂J/∂f=0と∂J(f,s)/∂sn,0=0とが従属)であるため、上記式(3)及び(4)を解くことはできない。そのため、追加の条件として、左右方向の位置を固定した多項式s(z)を定義し、多項式s(z)と目標軌跡を表す多項式f(z)との距離を最小化する式∂J(f,s)/∂f=0を与える。
この多項式s(z)としては、例えば、後述する平滑化部24によって前回算出された時刻t−1の目標軌跡パラメータを用いた目標軌跡を表す多項式f(z)(前時刻の当てはめ結果)を用いることができる。ここで、Δ (i)=zn,2 −zn,1 とおくと、これらを統合した最小二乗法の解は以下の方程式(5)を解くことにより求められる。なお、Δ (i)=zn,2 −zn,1 における右辺のiは乗数を表し、左辺の(i)は添え字を表す。
従って、目標軌跡算出部22は、自車両の左右方向への平行移動量を自由変数としたエッジ線分と、時刻tの自車両の目標軌跡との差分、及び時刻t−1の自車両の目標軌跡と時刻tの自車両の目標軌跡との差分を最小化するように、目標軌跡パラメータの候補を算出する。
平滑化部24は、目標軌跡算出部22によって算出された時刻tの目標軌跡パラメータの候補と、時刻t−1の目標軌跡パラメータとに基づいて、時刻tの目標軌跡パラメータを算出する。
平滑化部24は、各時刻tの自車両の前方画像について、画像フレーム間の連続性を考慮し、パーティクルフィルタ(例えば、参考文献(M. Isard and A. Blake,“Condensation-conditional density propagation for visual tracking.”International Journal of Computer Vision,Vol.29,No.1,pp.5-28,1998)を参照。)を用いて、時刻tの目標軌跡パラメータを算出する。
パーティクルフィルタは、前状態から現状態のパラメータを推定する手法であり、物体追跡等に利用されている。本実施の形態では、時刻t−1を前状態とし、時刻tを現状態とする。
具体的には、平滑化部24は、目標軌跡算出部22によって前回計算された時刻t−1の目標軌跡パラメータに基づいて、時刻t−1の目標軌跡パラメータを分布中心としてパーティクル(粒子)を拡散させて、目標軌跡パラメータを表すパーティクルを複数生成し、時刻tの目標軌跡パラメータの候補に基づいて、複数のパーティクルの各々に対する尤度を算出する。そして、平滑化部24は、算出された複数のパーティクルの各々に対する尤度を用いて、複数のパーティクルが表す目標軌跡パラメータの重み付け和を、時刻tの目標軌跡パラメータとして算出する。
本実施の形態では、目標軌跡を表す多項式の目標軌跡パラメータ、すなわち上記式(2)の[f … fをパラメータとする。
算出対象のパラメータの次元数が1の場合の動作例を図3に示す。図3に示されるσは拡散時のパーティクルの広がりを表すパラメータである。σの値が大きいほど状態変動に早く順応できる一方、外れ値によるばらつき、振動の影響を受けやすい。σの値は係数の次元に応じて異なる値を用いることができる。一般に、ばらつきを抑えるため高次の係数ほど小さなσの値を用いる(本実施の形態では0〜3次の係数をそれぞれ[0.1 0.01 0.001 0.0001]とする)。
ここで、尤度は、前状態(過去のフレーム)のパラメータから粒子拡散させたパラメータと、新たに算出した目標軌跡(次元数d=1,2,3)の距離から定義する。拡散させた目標軌跡パラメータの多項式をf ̄(z)、次元数dの目標軌跡を表す多項式をf(d)(z)(d次以上の係数は0)とする。これらの多項式間の距離を、自車両から所定距離zまでの範囲内で累積し、以下の式(6)で尤度を求める。
上記式(6)では、d=1,2,3いずれかの次元の多項式との距離が小さい場合に、尤度は大きな値をとる。なお、zとして、目標点のz位置(自車両からの距離)を用いると有効である。
また、次元数dをあらかじめ指定し、以下の式(6’)によって尤度を推定することもできる。
このようにして求めた尤度Lを重みとして粒子拡散させたパラメータを平均することで、各次元を統合した目標軌跡を表す多項式が求められる。
目標点検出部26は、平滑化部24によって算出された目標軌跡パラメータに基づいて、当該目標軌跡パラメータを用いた多項式で表わされる自車両の目標軌跡上から、自車両の目標位置を検出する。具体的には、目標点検出部26は、平滑化部24によって算出された目標軌跡パラメータを用いた上記式(2)に、目標点z座標(主に数秒後の自車両の前後方向位置)を代入することで、目標点位置を検出する。
制御パラメータ算出部28は、目標点検出部26によって算出された自車両の目標位置に基づいて、自車両の軌跡を制御するための制御パラメータを算出する。例えば、目標点に向かう軌道を、以下の参考文献2の方法を用いて生成することで、ふらつきの少ない車両制御が可能となる。
参考文献2(浅井彰司、天野真輝、服部義和、小野英一、「コウモリの飛行モデルに基づく車線追従制御の改良と実車検証」、自動車技術会論文集、vol. 43、no. 1、p.33-38、2012.)
車両制御装置30は、例えば、電動パワーステアリングによって構成される。車両制御装置30は、制御パラメータ算出部28によって算出された制御パラメータに従って、車輪の操舵角を制御する。
<目標軌跡算出装置10の作用>
次に、本発明の実施の形態に係る目標軌跡算出装置10の作用について説明する。まず、撮像装置12によって、自車両前方の撮像が開始されると、コンピュータ14において、図4に示す制御パラメータ算出処理ルーチンが繰り返し実行される。
ステップS100において、画像情報取得部16によって、撮像装置12によって撮像された時刻tの自車両の前方画像を取得する。
ステップS102において、エッジ検出部18によって、上記ステップS100で取得された時刻tの自車両の前方画像から、複数のエッジ線分を検出する。
ステップS104において、座標変換部20によって、上記ステップS102で検出された時刻tの複数のエッジ線分の各々について、時刻tの自車両の位置を基準とする車両座標系における当該エッジ線分の位置を計算する。
ステップS106において、目標軌跡算出部22によって、上記ステップS104で複数のエッジ線分の各々について計算された車両座標系における当該エッジ線分の位置に基づいて、時刻tの複数のエッジ線分の各々についての、自車両の左右方向への平行移動量を自由変数としたエッジ線分と、時刻tの自車両の目標軌跡との差分、及び時刻t−1の自車両の目標軌跡と時刻tの自車両の目標軌跡との差分を最小化するように、目標軌跡パラメータの候補を算出する。
そして、ステップS108において、時刻t−1の目標軌跡パラメータと、上記ステップS106で算出された目標軌跡パラメータの候補に基づいて、平滑化処理を行う。ステップS108は、図5に示す平滑化処理ルーチンによって実現される。
<平滑化処理ルーチン>
ステップS200において、平滑化部24によって、前回のステップS206で算出された時刻t−1の目標軌跡パラメータに基づいて、時刻t−1の目標軌跡パラメータを分布中心としてパーティクル(粒子)を拡散させて、目標軌跡パラメータを表すパーティクルを複数生成する。
ステップS202において、平滑化部24によって、上記ステップS106で算出された目標軌跡パラメータの候補に基づいて、上記ステップS200で拡散された複数のパーティクルの各々に対する尤度を算出する。
ステップS204において、平滑化部24によって、上記ステップS202で算出された複数のパーティクルの各々に対する尤度を用いて、複数のパーティクルが表す目標軌跡パラメータの重み付け和を、時刻tの目標軌跡パラメータとして算出する。
ステップS206において、平滑化部24によって、上記ステップS204で算出された時刻tの目標軌跡パラメータを結果として出力して、平滑化処理ルーチンを終了する。
次に、制御パラメータ算出処理ルーチンに戻り、ステップS110において、上記ステップS108で算出された目標軌跡パラメータに基づいて、当該目標軌跡パラメータを用いた多項式で表わされる自車両の目標軌跡上から、自車両の目標位置を検出する。
ステップS112において、制御パラメータ算出部28によって、上記ステップS108で算出された自車両の目標位置に基づいて、自車両の軌跡を制御するための制御パラメータを算出する。
ステップS114において、上記ステップS112で算出された制御パラメータを結果として出力し、制御パラメータ算出処理ルーチンを終了する。
制御パラメータ算出処理ルーチンによって算出された制御パラメータは、車両制御装置30によって自車両の制御に用いられる。
以上説明したように、本発明の実施の形態の目標軌跡算出装置によれば、車両の前方画像から検出された複数のエッジ線分の各々について、車両の位置を基準とする車両座標系における当該エッジ線分の位置を計算し、車両座標系におけるエッジ線分の位置に基づいて、複数のエッジ線分の各々についての、車両の左右方向への平行移動量を自由変数としたエッジ線分と、車両の目標軌跡との差分を最小化するように、複数のエッジ線分の各々の平行移動量、及び車両の目標軌跡を表す多項式のパラメータである目標軌跡パラメータを算出することにより、レーンマークが存在しない場合であっても、車両の前方画像から検出された複数のエッジ線分から、車両の目標軌跡を算出することができる。
また、レーンマークの存在しない道路や、レーンマークの検出できない道路であっても、周囲の線分情報を利用して目標点を検出することで、レーンマーク検出に基づく車線維持支援装置と同様の機能が実現可能となる。
また、所定時刻後の自車の目標点が定まれば、制御パラメータ推定可能であることを利用し、必ずしも連続していない散在するエッジ線から目標点検出が可能である。
また、道路上の断片的なエッジ線分を用いて目標軌跡を設定することができる。
また、目標点位置を安定化させるための平滑化処理を備えているため、フレームごとに結果がばらつくことを抑えることができる。
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
第2の実施の形態では、パーティクルフィルタによる平滑化によって目標軌跡パラメータを算出する処理に替えて、算出された時刻tの目標軌跡パラメータの候補と、時刻t−1までの目標軌跡パラメータとの平均を計算して、時刻tの目標軌跡パラメータとする点が、第1の実施の形態と異なっている。
第2の実施の形態の平滑化部24は、目標軌跡算出部22によって算出された時刻tの目標軌跡パラメータの候補と、時刻t−1までの目標軌跡パラメータとの平均を計算し、時刻tの目標軌跡パラメータとする。
具体的には、平滑化部24は、最近Mフレームの目標軌跡パラメータを、以下の式(7)に示すように平均化する。なお、以下の式(7)におけるf[t]を現在(時刻t)フレームの目標軌跡パラメータの候補とし、f[t−m]を前(時刻t−m)フレームの目標軌跡パラメータとし、f’[t]を時刻tの目標軌跡パラメータとする。
なお、第2の実施の形態に係る目標軌跡算出装置の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
なお、上記の第2の形態では、算出された時刻tの目標軌跡パラメータの候補と、時刻t−1までの目標軌跡パラメータとの平均を計算して、時刻tの目標軌跡パラメータとする場合を例に説明したが、これに限定されるものではない。例えば、以下の式(8)に示すように、算出された時刻tの目標軌跡パラメータの候補と、時刻t−1の目標軌跡パラメータとの重み付き平均を計算し、時刻tの目標軌跡パラメータとしてもよい。なお、以下の式(8)におけるf[t]を現在(時刻t)フレームの目標軌跡パラメータの候補とし、f[t−1]を前(時刻t−1)フレームの目標軌跡パラメータとし、f’[t]を時刻tの目標軌跡パラメータとする。また、減衰率αは予め定められた1以下のパラメータとする。
また、上記実施の形態の目標軌跡算出部22において、多項式s(z)としては、例えば、後述する平滑化部24によって前回算出された時刻t−1の目標軌跡パラメータを用いた目標軌跡を表す多項式f(z)を用いる場合を例に説明したが、これに限定されるものではない。例えば、平滑化部24によって前回算出された時刻t−1の目標軌跡パラメータを用いた目標軌跡を表す多項式f(z)にz=0を代入した値f(0)を、多項式s(z)として用いても良い。
または、平滑化部24によって前回算出された時刻t−1の目標軌跡パラメータを用いた目標軌跡を表す多項式f(z)にz=0を代入した値f(0)と、前回算出された時刻t−1の目標軌跡パラメータを用いた目標軌跡を表す多項式f(z)との重み付け和を、多項式s(z)として用いても良い。
また、上記の実施の形態では、目標軌跡算出部22が目標軌跡パラメータの候補を算出し、平滑化部24が目標軌跡パラメータの候補に基づいて、目標軌跡パラメータを算出する場合を例に説明したが、これに限定されるものではない。例えば、目標軌跡算出部22によって算出された目標軌跡パラメータの候補を、目標軌跡パラメータとしてもよい。
本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。
10 目標軌跡算出装置
12 撮像装置
14 コンピュータ
16 画像情報取得部
18 エッジ検出部
20 座標変換部
22 目標軌跡算出部
24 平滑化部
26 目標点検出部
28 制御パラメータ算出部
30 車両制御装置

Claims (7)

  1. 車両の前方画像を取得する画像情報取得手段と、
    前記画像情報取得手段によって取得された前記車両の前方画像から、複数のエッジ線分を検出するエッジ検出手段と、
    前記エッジ検出手段によって検出された前記複数のエッジ線分の各々について、前記エッジ線分を、前記車両の位置を基準とする車両座標系における前記エッジ線分の位置を計算する座標変換手段と、
    前記座標変換手段によって前記複数のエッジ線分の各々について計算された前記車両座標系における前記エッジ線分の位置に基づいて、前記複数のエッジ線分の各々についての、前記車両の左右方向への平行移動量を自由変数とした前記エッジ線分と、前記車両の目標軌跡との差分を最小化するように、前記複数のエッジ線分の各々の前記平行移動量、及び前記車両の目標軌跡を表す多項式のパラメータである目標軌跡パラメータを算出する目標軌跡算出手段と、
    を含む目標軌跡算出装置。
  2. 前記画像情報取得手段は、車両の前方画像を各時刻tについて取得し、
    前記エッジ検出手段は、各時刻tについて、前記画像情報取得手段によって取得された時刻tの前記車両の前方画像から、時刻tの複数のエッジ線分を検出し、
    前記座標変換手段は、各時刻tについて、前記エッジ検出手段によって検出された時刻tの前記複数のエッジ線分の各々について、前記エッジ線分を、時刻tの前記車両の位置を基準とする車両座標系における前記エッジ線分の位置を計算し、
    前記目標軌跡算出手段は、各時刻tについて、前記座標変換手段によって前記複数のエッジ線分の各々について計算された前記車両座標系における前記エッジ線分の位置に基づいて、時刻tの前記複数のエッジ線分の各々についての、前記車両の左右方向への平行移動量を自由変数とした前記エッジ線分と、時刻tの前記車両の目標軌跡との差分、及び時刻t−1の前記車両の目標軌跡と時刻tの前記車両の目標軌跡との差分を最小化するように、前記複数のエッジ線分の各々の前記平行移動量、及び前記目標軌跡パラメータを算出する
    請求項1に記載の目標軌跡算出装置。
  3. 前記目標軌跡算出手段によって算出された時刻tの前記目標軌跡パラメータと、時刻t−1までの前記目標軌跡パラメータとに基づいて、時刻tの前記目標軌跡パラメータを算出する平滑化手段を更に含む、
    請求項2に記載の目標軌跡算出装置。
  4. 前記平滑化手段は、時刻t−1の前記目標軌跡パラメータに基づいて、前記目標軌跡パラメータを表すパーティクルを複数生成し、算出された時刻tの前記目標軌跡パラメータに基づいて、前記複数のパーティクルの各々に対する尤度を算出し、算出された前記複数のパーティクルの各々に対する前記尤度を用いて、前記複数のパーティクルの各々が表す前記目標軌跡パラメータの重み付け和を、時刻tの前記目標軌跡パラメータとして算出する
    請求項3に記載の目標軌跡算出装置。
  5. 前記平滑化手段は、算出された時刻tの前記目標軌跡パラメータの候補と、時刻t−1の前記目標軌跡パラメータと、予め定められた重みとに基づいて、時刻tの前記目標軌跡パラメータの候補と時刻t−1の前記目標軌跡パラメータとの重み付け和を、時刻tの前記目標軌跡パラメータとして算出する
    請求項3に記載の目標軌跡算出装置。
  6. 算出された前記目標軌跡パラメータに基づいて、前記目標軌跡パラメータを用いた多項式で表わされる前記車両の目標軌跡上から、前記車両の目標位置を検出する目標点検出手段を更に含む、
    請求項1〜請求項5の何れか1項記載の目標軌跡算出装置。
  7. コンピュータを、
    車両の前方画像を取得する画像情報取得手段、
    前記画像情報取得手段によって取得された前記車両の前方画像から、複数のエッジ線分を検出するエッジ検出手段、
    前記エッジ検出手段によって検出された前記複数のエッジ線分の各々について、前記エッジ線分を、前記車両の位置を基準とする車両座標系における前記エッジ線分の位置を計算する座標変換手段、及び
    前記座標変換手段によって前記複数のエッジ線分の各々について計算された前記車両座標系における前記エッジ線分の位置に基づいて、前記複数のエッジ線分の各々についての、前記車両の左右方向への平行移動量を自由変数とした前記エッジ線分と、前記車両の目標軌跡との差分を最小化するように、前記複数のエッジ線分の各々の前記平行移動量、及び前記車両の目標軌跡を表す多項式のパラメータである目標軌跡パラメータを算出する目標軌跡算出手段
    として機能させるためのプログラム。
JP2014228326A 2014-11-10 2014-11-10 目標軌跡算出装置及びプログラム Expired - Fee Related JP6372314B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014228326A JP6372314B2 (ja) 2014-11-10 2014-11-10 目標軌跡算出装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014228326A JP6372314B2 (ja) 2014-11-10 2014-11-10 目標軌跡算出装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2016091468A true JP2016091468A (ja) 2016-05-23
JP6372314B2 JP6372314B2 (ja) 2018-08-15

Family

ID=56018742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014228326A Expired - Fee Related JP6372314B2 (ja) 2014-11-10 2014-11-10 目標軌跡算出装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6372314B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111670456A (zh) * 2018-02-08 2020-09-15 三菱电机株式会社 信息处理装置、追踪方法和追踪程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000211542A (ja) * 1999-01-26 2000-08-02 Mazda Motor Corp 車両の運転支援装置
JP2002175535A (ja) * 2000-09-29 2002-06-21 Nissan Motor Co Ltd 道路白線認識装置
JP2006172225A (ja) * 2004-12-16 2006-06-29 Toyota Motor Corp 画像認識装置及び画像認識方法
JP2012058984A (ja) * 2010-09-08 2012-03-22 Fuji Heavy Ind Ltd 車線推定装置
JP2012185134A (ja) * 2011-03-08 2012-09-27 Toyota Central R&D Labs Inc 走路推定装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000211542A (ja) * 1999-01-26 2000-08-02 Mazda Motor Corp 車両の運転支援装置
JP2002175535A (ja) * 2000-09-29 2002-06-21 Nissan Motor Co Ltd 道路白線認識装置
JP2006172225A (ja) * 2004-12-16 2006-06-29 Toyota Motor Corp 画像認識装置及び画像認識方法
JP2012058984A (ja) * 2010-09-08 2012-03-22 Fuji Heavy Ind Ltd 車線推定装置
JP2012185134A (ja) * 2011-03-08 2012-09-27 Toyota Central R&D Labs Inc 走路推定装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
堀江 宏仁、小澤 慎治: ""連続道路画像を用いた車両前方監視"", 電気学会論文誌C, vol. 117, no. 5, JPN6018022416, 20 April 1997 (1997-04-20), JP, pages 648 - 657, ISSN: 0003818010 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111670456A (zh) * 2018-02-08 2020-09-15 三菱电机株式会社 信息处理装置、追踪方法和追踪程序
CN111670456B (zh) * 2018-02-08 2023-09-15 三菱电机株式会社 信息处理装置、追踪方法和记录介质

Also Published As

Publication number Publication date
JP6372314B2 (ja) 2018-08-15

Similar Documents

Publication Publication Date Title
US9987898B2 (en) Predictive suspension control for a vehicle using a stereo camera sensor
JP4858574B2 (ja) 物体検出装置
JP6536064B2 (ja) 走行軌跡選定装置、走行軌跡選定方法
JP3780922B2 (ja) 道路白線認識装置
US20170124725A1 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
US20180268229A1 (en) Image processing apparatus, imaging apparatus, and device control system
JP6950170B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
JP6412460B2 (ja) 走行路推定装置
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
JP2018060326A (ja) トラッキング装置及びプログラム
KR102507248B1 (ko) 에고모션 추정 시스템 및 방법
JP6769477B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6711395B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN107787496B (zh) 消失点修正装置及方法
JP6733302B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2008027046A (ja) 車線認識装置
US20200193184A1 (en) Image processing device and image processing method
JP5082955B2 (ja) 車両検出装置および方法、並びに、プログラム
JP2004013400A (ja) 対象物認識装置および対象物認識方法
JP6372314B2 (ja) 目標軌跡算出装置及びプログラム
JP6763198B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
KR101910256B1 (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
JP2008293446A (ja) 移動体識別装置、移動体識別プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180702

R150 Certificate of patent or registration of utility model

Ref document number: 6372314

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees