JP7145770B2 - 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム - Google Patents

車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム Download PDF

Info

Publication number
JP7145770B2
JP7145770B2 JP2019010808A JP2019010808A JP7145770B2 JP 7145770 B2 JP7145770 B2 JP 7145770B2 JP 2019010808 A JP2019010808 A JP 2019010808A JP 2019010808 A JP2019010808 A JP 2019010808A JP 7145770 B2 JP7145770 B2 JP 7145770B2
Authority
JP
Japan
Prior art keywords
vehicle
inter
error
camera
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019010808A
Other languages
English (en)
Other versions
JP2020118575A (ja
Inventor
哲平 鈴木
育郎 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2019010808A priority Critical patent/JP7145770B2/ja
Publication of JP2020118575A publication Critical patent/JP2020118575A/ja
Application granted granted Critical
Publication of JP7145770B2 publication Critical patent/JP7145770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、車間距離測定装置、誤差モデル生成装置および学習モデル生成装置等に関する。
Adaptive Cruise Control(以下、「ACC」)による運転支援機能は現在多くの車に搭載されており、重要なシステムとなっている。ACCの要素技術として先行車両までの距離推定システムが挙げられ、距離センサやステレオカメラを用いた測距方法が使われている(非特許文献1)。近年では、コスト等の面から単眼カメラにおける距離推定技術が注目されており、自車両から先行車両までの路面を平面と仮定することで三角測量により先行車両までの距離を推定するSteinらが提案した手法などがある(非特許文献2)。また、Deep Neural Networks (以下、「DNN」)を利用した学習に基づく距離推定手法も提案されており(非特許文献3)、従来の幾何学的アプローチと比較して良好な結果を示している。
特開2015-79388号公報
Saneyoshi, K. (1996, September)「Drive assist system using stereo image recognition」In Intelligent Vehicles Symposium, 1996., Proceedings of the 1996 IEEE (pp. 230-235). IEEE. Stein, G. P., Mano, O., & Shashua, A. (2003, June)「Vision-based ACC with a single camera: bounds on range and range rate accuracy」 In Intelligent vehicles symposium, 2003. Proceedings. IEEE (pp. 120125). IEEE. Laina, Iro, et al. 「Deeper depth prediction with fully convolutional residual networks.」3D Vision (3DV), 2016 Fourth International Conference on. IEEE, 2016.
距離センサやステレオカメラを使った方法は、コストが高いという産業的なデメリットが存在する。そのため、現在、単眼カメラによる距離推定器の需要が広がっている。非特許文献2等のように、幾何学的な拘束に基づく単眼カメラを用いた距離推定手法は、多くの仮定の元で成り立っているため、走行環境に依存して推定精度が変化する。例えば、道路形状を平面と仮定しているため、曲率を持った路面に対しては正確な推定ができない。
また、機械学習手法を使った学習に基づく方法は、道路の勾配や周辺の環境に依存しない推定を行うことができる可能性を持つ。しかし、学習に基づく推定器は、学習データに存在するバイアスなどの影響を受け、学習データと異なる環境では推定精度が下がることが知られている。さらに、誤差の解析や推定結果の安定性などの評価を行うことは難しいという側面もある。
本発明者らは、特許文献1にて、単眼カメラにて車間距離を推定する方法を提案した。特許文献1で提案した手法では、路面の形状に依存しない距離推定が可能であるが、路面の形状復元に用いるVisual Odometryの精度が距離の推定精度に依存する。
本発明は、上記背景に鑑み、先行車両との車間距離と共にその誤差をも推定できる車間距離測定装置を提供することを目的とする。
本発明の車間距離測定装置は、車両に搭載されたカメラと、前記車両の位置情報を検出する位置情報検出部と、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別すると共に前記カメラの光学中心と前記下端とを結ぶ直線を求め、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部と、前記誤差モデル記憶部に記憶された誤差のスケールのモデルを参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出する誤差スケール算出部と、前記車間距離および誤差のスケールを出力する出力部とを備える。この構成により、車間距離だけでなく、その誤差のスケールを求めることができる。誤差のスケールを求めることにより、例えば、車間距離を用いたアプリケーションにおいて、適切な処理を行える。
本発明の車間距離測定装置において、前記誤差モデル記憶部には、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに、前記車間距離の誤差のスケールを関連付けたルックアップテーブルの形式で、前記誤差のスケールのモデルを記憶しておいてもよい。この構成により、誤差のスケールの計算負荷を軽減することができる。
本発明の車間距離測定装置は、車両に搭載されたカメラと、前記車両の位置情報を検出する位置情報検出部と、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別すると共に前記カメラの光学中心と前記下端とを結ぶ直線を求め、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出する誤差スケール算出部と、前記車間距離および誤差のスケールを出力する出力部とを備える。この構成により、車間距離だけでなく、その誤差のスケールを求めることができる。誤差のスケールを求めることにより、例えば、車間距離を用いたアプリケーションにおいて、適切な処理を行える。
本発明の誤差モデル生成装置は、車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別すると共に前記カメラの光学中心と前記下端とを結ぶ直線を求め、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める車間距離測定装置において、当該車間距離の誤差を推定するための誤差モデルの生成装置であって、道路の構造情報を入力する道路構造情報入力部と、前記第1の位置と先行車両の位置をランダムに決定し、前記道路の構造情報を用いて、先行車両までの車間距離の真値を計算すると共に、前記道路構造によって定まるカメラの回転角、車両の位置の真値に対して、ランダムに発生させた誤差を逐次付加して、前記第2の位置を求めることにより車間距離を計算すると共に、計算された車間距離の真値に対する誤差を計算するシミュレーション部と、前記カメラの光学中心から先行車両の下端までの前記画像内での長さと前記カメラのピッチ角の変位とを変数として、前記車間距離の誤差のスケールを解析する誤差解析部とを備える。
本発明らの研究により、車間距離の誤差のスケールは、複数の変数のうち、カメラの光学中心から先行車両の下端までの画像内での長さとカメラのピッチ角の変位との相関が強いことが分かった。本発明の構成により、シミュレーションによって、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとピッチ角の変位とに基づいて誤差のスケールを求める誤差モデルを生成することができる。
本発明の学習モデル生成装置は、カメラにて撮影した画像から車間距離を推定する学習モデルを生成する生成装置であって、先行車両が映る映像と当該映像の各フレームに対応する車両の位置情報を入力する入力部と、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別すると共に前記カメラの光学中心と前記下端とを結ぶ直線を求め、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部と、前記誤差モデル記憶部に記憶された誤差のスケールのモデルを参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出する誤差スケール算出部と、複数の前記画像について求めた車間距離および誤差のスケールを教師データとして、画像から車間距離を求める学習モデルを生成するモデル生成部とを備える。
本発明の学習モデル生成装置は、カメラにて撮影した画像から車間距離を推定する学習モデルを生成する生成装置であって、先行車両が映る映像と当該映像の各フレームに対応する車両の位置情報を入力する入力部と、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別すると共に前記カメラの光学中心と前記下端とを結ぶ直線を求め、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出する誤差スケール算出部と、複数の前記画像について求めた車間距離および誤差のスケールを教師データとして、画像から車間距離を求める学習モデルを生成するモデル生成部とを備える。
本発明によれば、先行車両が映る映像と対応する位置情報から教師データを生成するので、大量の教師データを容易に準備できる。また、車間距離と誤差のスケールとを教師データとして学習を行うので、誤差のスケールに応じて学習モデルの学習の強さを変えることができ、適切な学習モデルを生成することができる。一つの態様として、前記モデル生成部は、前記誤差のスケールが大きいほど、損失関数に与える影響を小さくして学習を行ってもよい。
本発明の車間距離測定方法は、車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定する方法であって、車間距離測定装置に前記カメラにて撮影された画像を入力するステップと、前記車間距離測定装置に前記車両の位置情報を検出するステップと、前記車間距離測定装置が、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、前記車間距離測定装置が、前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部を参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出するステップと、前記車間距離測定装置が、前記車間距離および誤差のスケールを出力するステップとを備える。また、誤差のスケールを算出するステップは、誤差モデル記憶部のデータを参照する方法に代えて、前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出してもよい。
本発明の誤差モデル生成方法は、車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める車間距離測定装置において、当該車間距離の誤差を推定するための誤差モデルの生成方法であって、誤差モデル生成装置に道路の構造情報を入力するステップと、前記誤差モデル生成装置が、前記第1の位置と先行車両の位置をランダムに決定し、前記道路の構造情報を用いて、先行車両までの車間距離の真値を計算すると共に、前記道路構造によって定まるカメラの回転角、車両の位置の真値に対して、ランダムに発生させた誤差を逐次付加して、前記第2の位置を求めることにより車間距離を計算すると共に、計算された車間距離の真値に対する誤差を計算するステップと、前記誤差モデル生成装置が、前記カメラのピッチ角の変位と前記カメラの光学中心から先行車両の下端までの前記画像内での長さを変数として、前記車間距離の誤差のスケールを解析するステップとを備える。
本発明の車間距離測定のプログラムは、車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定するためのプログラムであって、コンピュータに、前記カメラにて撮影された画像を入力するステップと、前記車両の位置情報を入力するステップと、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部を参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出するステップと、前記車間距離および誤差のスケールを出力するステップとを実行させる。また、誤差のスケールを算出するステップは、誤差モデル記憶部のデータを参照する方法に代えて、前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出してもよい。
本発明の誤差モデル生成のプログラムは、車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める車間距離測定装置において、当該車間距離の誤差を推定するための誤差モデルを生成するためのプログラムであって、コンピュータに、道路の構造情報を入力するステップと、前記第1の位置と先行車両の位置をランダムに決定し、前記道路の構造情報を用いて、先行車両までの車間距離の真値を計算すると共に、前記道路構造によって定まるカメラの回転角、車両の位置の真値に対して、ランダムに発生させた誤差を逐次付加して、前記第2の位置を求めることにより車間距離を計算すると共に、計算された車間距離の真値に対する誤差を計算するステップと、前記カメラのピッチ角の変位と前記カメラの光学中心から先行車両の下端までの前記画像内での長さを変数として、前記車間距離の誤差のスケールを解析するステップと、を実行させる。
本発明によれば、車間距離だけでなく、その誤差のスケールを求めることができる。
第1の実施の形態の車間距離測定装置の構成を示す図である。 カメラの設置位置を示す図である。 自車両の軌跡と地面点の軌跡を示す図である。 (a)カメラの光学中心と先行車両の下端とを結ぶ直線Lを示す図である。(b)カメラの光学中心と先行車両の下端とを結ぶ直線Lを示す図である。 (a)地面点の軌跡、および直線Lを、世界座標系にプロットした図である。(b)地面点の軌跡、および直線Lを、世界座標系にプロットした図である。 第1の実施の形態の車間距離測定方法の動作を示すフローチャートである。 画像から検出された車両の左端、右端、下端の座標の算出例を示す図である。 車間距離測定装置で用いる誤差モデルを生成する誤差モデル生成装置の構成を示す図である。 車間距離Dを求める際に用いる主なセンサ値を示す図である。 誤差モデル生成装置の動作を示すフローチャートである。 第2の実施の形態の車間距離測定装置の構成を示す図である。 第2の実施の形態において先行車両の下端を求める原理を示す図である。 第3の実施の形態の学習モデル生成装置の構成を示す図である。 第3の実施の形態の学習モデル生成装置の動作を示すフローチャートである。
以下、本発明の実施の形態に係る車間距離測定装置について図面を参照しながら詳細に説明する。
(第1の実施の形態)
[車間距離測定装置の構成]
図1は、第1の実施の形態の車間距離測定装置1の構成を示す図である。車間距離測定装置1は、車両に搭載されたカメラ10と、車両の現在位置を検出して位置情報を取得するGPS/IMU11と、カメラ10にて撮影した画像とGPS/IMU11からの位置情報とに基づいて先行車両までの車間距離を推定する距離算出部12と、距離算出部12にて推定した車間距離の誤差のスケールを算出する誤差スケール算出部13と、誤差スケールの算出に用いられる誤差モデルを記憶した誤差モデル記憶部14と、求めた車間距離および誤差のスケールを出力する出力部15とを備えている。カメラ10は、例えば、CCDカメラ10である。
図2は、カメラ10の設置位置を示す図である。カメラ10は、車両の先端(フロントバンパー)に設置される。カメラ10の地面からの高さをHとし、本書では、カメラ10の光学中心の鉛直下方向の地面を地面点という。
カメラ10の車両への設置に際して、カメラ10の光軸(Z軸)が車両の進行方向と一致し、カメラ10によって撮影された画像の横軸(X軸)が地面と平行になるように、カメラ10の設置角度等が調整される。この結果、画像の縦軸(Y軸)は、地面に垂直な方向に一致する。このカメラ10は、車両が走行している間に画像を撮影して、その撮影した画像を距離算出部12に入力する。
距離算出部12は、GPS/IMU11から入力された車両の位置情報に基づいて、車両の移動軌跡を求める。これにより、車両が通過した道路の起伏が求まる。
図3は、自車両の軌跡と地面点の軌跡を示す図である。図3においては、初期の時刻におけるカメラ10の位置を原点、光軸方向をZ軸、地面方向をY軸とし、X軸は右手座標系によって定めている(世界座標系)。YZ平面上で記述された地面点の軌跡は、地面の起伏を示しており、これにより、車両が通過した道路の起伏が分かる。
また、距離算出部12は、カメラ10にて撮影した画像から、先行車両の下端を識別し、その画像座標を求める。画像座標の原点は、カメラの光学中心である。この画像座標を用いて、図4(a)に示すように、カメラ10の光学中心と先行車両の下端とを結ぶ直線Lを求める。この直線Lは世界座標系における直線である。
続いて、カメラ10にて撮影した次のフレームの画像から、同様に、カメラ10の光学中心と先行車両の下端とを結ぶ直線Lを求める。図4(b)に示すように、自車両および先行車両が前方に進んでいるので、先に求めた直線Lとは異なる直線が求まる。
図5(a)及び図5(b)は、地面点の軌跡、および直線Lを、世界座標系にプロットした図である。図5(a)に示す状態では、先行車両の下端がある方向は分かるものの、何m先の位置に先行車両があるのかを確定することはできない。
図5(b)に示すように、時刻t1までに記述された地面点の軌跡と、過去の時刻t0における直線Lとが交差したとすると、この交点は、時刻t0で観測された先行車両の下端があった位置であることが分かる。したがって、距離算出部12は、時刻t1に求められた交点の位置と、時刻t0におけるカメラ10の光学中心の位置とに基づいて車間距離を求めることができる。
図5(b)から分かるように、本実施の形態の車間距離測定の原理は、地面を「測量」しつつ進むことで、過去の(時刻t0における)車間距離を測定するというものである。時刻t0に先行車両を撮影したときの自車両の位置を「第1の位置」、時刻t1に求まった直線と地面点の軌跡との交点を「第2の位置」という。
なお、車間距離を求める処理は、車両が直線区間を走行している間に行うことが好ましい。直線区間においては、道路の起伏を「測量」する方向と、先行車両の下端を臨む方向が一致するためである。
誤差スケール算出部13は、誤差モデル記憶部14に記憶された誤差モデルを参照して、距離算出部12にて求めた車間距離の誤差を算出する機能を有する。誤差モデル記憶部14に記憶された誤差モデルは、画像に映る先行車両の下端までの長さ(光学中心を原点とすると下端のy座標値)とカメラ10のピッチ角の変位とに車間距離の誤差スケールを関連付けたルックアップテーブルである。誤差モデル記憶部14に記憶される誤差モデルの生成の仕方については、後述する。
誤差スケール算出部13は、(i)第1の位置にて撮影した画像内に映る先行車両の下端座標、(ii)第1の位置と第2の位置との間でのカメラ10のピッチ角の変位、に対応する誤差のスケールをルックアップテーブルから読み出し、誤差のスケールを求める。
出力部15は、距離算出部12にて求めた先行車両との車間距離と、誤差スケール算出部13にて求めた誤差スケールのデータを出力する機能を有する。出力部15は、例えば、ユーザに対して車間距離のデータを表示するモニタであってもよいし、他の車載機器に対して車間距離のデータを出力する通信インターフェースであってもよい。
以上、実施の形態の車間距離測定装置1について説明したが、車間距離測定装置1は、図示しないCPU、ROM、RAM等からなるマイクロコンピュータによって構成される。車間距離測定装置1は、例えば、ROMに記憶されているプログラムに従って、カメラ10にて撮影された画像に基づき、先行車両との車間距離を算出する。このようなプログラムも本発明の範囲に含まれる。
[車間距離測定装置の動作]
図6は、本実施の形態の車間距離測定装置の動作を示すフローチャートである。
車間距離測定装置1は、カメラ10にて進行方向の画像を撮影し、その画像を距離算出部12に入力する(S10)。同時に、車間距離測定部は、GPS/IMU11にて自車両の位置情報を取得し、距離算出部12に入力する(S11)。
車間距離測定装置1は、入力された画像から先行車両を識別する。例えば、画像からHOG特徴を抽出し、得られた特徴量に対してサポートベクトルマシンなどのパターン識別器を適応する。HOG特徴は、N. Dalal and B. Triggs「Histograms of oriented gradients for human detection」CVPR 2005.に詳しく紹介されている。
次に、図7に示すように、画像から検出された車両の左端のx座標、右端のx座標、下端のy座標を算出する(S12)。画像座標は、横方向をx、縦方向をy、単位をピクセル、原点を光軸の通過点とする。左端の求め方は、例えば、識別器を当てた窓の左の端の近傍のうち、輝度勾配の変化の最も大きな箇所としてよい。または、前のフレームと現在のフレームの間の、先行車両の画像平面上の移動量(オプティカルフロー)を求めることにより、前のフレームの左端の座標を現在のフレームに移動させてもよい。車間距離測定装置1は、世界座標系において第1の位置におけるカメラ10の光学中心から先行車両の下端までの直線Lを算出する(S13)。
車両の左端および右端を検出することにより先行車両の実車幅が分かるので、車幅を確定した後は、画像に映る先行車両の車幅と実車幅とに基づいて車間距離を直ちに求めることができるようになる。なお、このような処理を行わない場合には、車両の左右端を検出しなくてもよい。
車間距離測定装置1は、車両の進行とともにGPS/IMU11にて逐次検出される位置情報に基づいて道路の起伏のデータを求め(S14)、求めたデータを用いて直線Lと道路とが交差したか否かを判定する(S15)。道路が直線Lと交差していない場合には(S15でNO)、車間距離測定装置1は、GPS/IMU11にて検出した位置情報を用いて道路の起伏のデータを求める処理を行う。
直線Lと道路とが交差した場合には、交差した位置と最初に先行車両を識別したとき(自車両が第1の位置にあるとき)のカメラ10の位置に基づいて、先行車両との車間距離を求める(S16)。本実施の形態では、最初に先行車両を検知した位置(第1の位置)を世界座標の原点としているので、直線Lと道路とが交差した位置のZ座標値を車間距離とする(図5(b)参照)。
また、車間距離測定装置1は、第1の位置にて検出した先行車両の下端位置Lyと、第1の位置と第2の位置との間でのカメラ10のピッチ角Opitchの変位に対応する誤差スケールを誤差モデル記憶部14に記憶されたルックアップテーブルから読み出し、誤差スケールを算出する(S17)。車間距離測定装置1は、算出した車間距離と誤差スケールとを出力する(S18)。
[誤差モデル生成装置]
図8は、車間距離測定装置1で用いる誤差モデルを生成する誤差モデル生成装置20の構成を示す図である。まず、誤差モデル生成装置20の概要について説明する。図9は、車間距離Dを求める際に用いる主なセンサ値を示す図である。自車両の位置(X,Y,Z)と、カメラ10のピッチ角φと、画像に映る先行車両の下端の位置座標yがある。なお、fは焦点距離、Hはカメラ10の高さである。
上記した車間距離の測定に対する誤差要因としては、自車両位置(X,Y,Z)の誤差(Mx,My,Mz)、自車両のロール角、ピッチ角、ヨー角の誤差(Oroll,Opitch,Oyaw)、先行車両の下端検出位置(x,y)の誤差(Lx,Ly)の8要素の誤差が考えられる。誤差モデル生成装置20は、モンテカルロシミュレーションによって、それぞれの誤差、路面の曲率、自車速度等を擬似的に与えて誤差推定を繰り返し、得られた誤差の推定結果に基づいて、誤差解析を行う。
本発明者らは、これらの8要素のうち、車間距離に対する誤差の支配項は、自車両のピッチ角Opitchと下端検出位置Lyの誤差であることを見出した。そこで、誤差解析を行う際には、ピッチ角Opitchと先行車両の下端検出位置Lyを変数として誤差解析を行う。これにより、誤差のスケールをピッチ角Opitchと先行車両の下端検出位置Lyによってモデル化する。以下、誤差モデル生成装置20の構成について具体的に説明する。
図8に示すように、誤差モデル生成装置20は、道路構造の情報を入力する道路構造情報入力部21と、入力された道路構造上に自車両と先行車両をランダムに配置してその車間距離と誤差のシミュレーションを行うシミュレーション部22と、シミュレーションによって求めた車間距離と誤差のデータを用いて誤差解析を行う誤差解析部28と、誤差解析部28による解析結果に基づいて生成した誤差モデルを記憶する記憶部29とを有している。
シミュレーション部22は、車両配置部23と、真値計算部24と、誤差設定部25と、距離算出部26と、誤差スケール算出部27とを有している。車両配置部23は、道路構造上に自車両と先行車両をランダムに配置する機能を有する。真値計算部24は、ランダムに配置された自車両と先行車両の車間距離の真値を計算する機能を有する。距離算出部26は、車間距離測定装置1の距離算出部12と同様に自車両を先行車両の位置にまで移動させるシミュレーションを行い、自車両と先行車両との車間距離を計算する機能を有する。
距離算出部26は、車間距離の計算において自車両が先行車両の位置まで移動する間の自車両位置(X,Y,Z)、自車両の姿勢(Oroll,Opitch,Oyaw)、先行車両の下端検出位置(Lx,Ly)の真値に対してランダムな誤差を設定し、誤差が付加された値を用いて車間距離を算出する。誤差設定部25は、ランダムな誤差を発生し、距離算出部12に入力する機能を有する。車間距離を自車両の速度と車間時間とに基づいて決定する場合には、誤差設定部25は、各センサ値の誤差だけでなく、自車両の速度、車間時間もランダムに設定してもよい。
誤差スケール算出部27は、距離算出部26にて算出された車間距離と真値との差によって誤差を算出する機能を有する。シミュレーション部22は、付加する誤差を変えて、距離算出部26により車間距離の算出を繰り返し行って、多数のシミュレーション結果を得る。また、車両配置部23にて車両の位置をランダムに変えて多数のシミュレーション結果を得る。
誤差解析部28は、車間距離とそれに対する誤差のシミュレーション結果に基づいて、誤差モデルを生成する機能を有する。誤差解析部28は、得られたシミュレーション結果に対し、自車両のピッチ角Opitchの変位と下端の検出位置Lyを入力変数として、次式に示すように、誤差の分散の回帰問題から誤差の分散をモデル化する。
Figure 0007145770000001
図10は、誤差モデル生成装置20の動作を示すフローチャートである。誤差モデル生成装置20は、まず、シミュレーションを行う道路構造の情報の入力を受け付ける(S20)。道路構造の情報としては、道路構造令の規定に準拠した構造の情報を入力する。誤差モデル生成装置20は、自車両及び先行車両の位置をランダムに決定し(S21)、その車間距離の真値を計算する(S22)。
次に、誤差モデル生成装置20は、自車両の位置から先行車両の位置まで移動させるシミュレーションを行って車間距離を算出する。具体的には、自車両の位置から先行車両の位置まで移動する間における各センサ値の真値に対して、ランダムに発生した誤差を付加して車間距離を算出し、算出した車間距離の真値からの誤差を算出する(S23)。
誤差モデル生成装置20は、車両配置部23にてランダムに設定した配置でのシミュレーションを終了するか否かを判定する(S24)。設定された配置でのシミュレーションを終了しない場合には(S24でNO)、誤差モデル生成装置20は、ランダムな誤差を設定して車間距離及び誤差の計算を繰り返し行う。設定された配置でのシミュレーションを終了する場合には(S24でYES)、自車両及び先行車両を別の位置に設定して計算を行うか否かを判定する(S25)。
別の配置でのシミュレーションを行う場合には(S25でYES)、誤差モデル生成装置20は、自車両及び先行車両の位置をランダムに決定し(S21)、上記したシミュレーションを行って車間距離及び誤差のデータを求める(S22~S24)。別の配置でのシミュレーションを行わない場合には、別の道路構造でシミュレーションを行うか否かを判定する(S26)。別の道路構造でシミュレーションを行う場合には(S26でYES)、道路の構造情報の入力(S20)に戻って、新たな道路構造情報の入力を受け付け、上記したシミュレーションを行う(S21~S25)。別の道路構造でのシミュレーションを行わない場合には(S26でNO)、シミュレーションによって求めた車間距離及び誤差を解析して誤差モデルを生成し、生成した誤差モデルを記憶する(S27)。
ここで、一例として、誤差モデルの多項式回帰の例を示す。
Figure 0007145770000002
上述したように車間距離測定装置1では、誤差モデル記憶部14は、画像に映る先行車両の下端位置とカメラ10のピッチ角の変位とに車間距離の誤差のスケールを関連付けたルックアップテーブルの形式の誤差モデルを記憶している。それに合わせて、誤差モデル生成装置20は、誤差モデルをルックアップテーブルに加工してもよい。以上、第1の実施の形態の車間距離測定装置1および車間距離測定装置1で用いられる誤差モデルを生成する誤差モデル生成装置20とそれらの動作について説明した。
第1の実施の形態の車間距離測定装置1は、先行車両との車間距離だけでなく、その誤差のスケールを求めることができる。誤差のスケールは、車間距離の信頼度を示すものであり、距離推定を行う上での補助的な情報を得ることが可能となる。例えば、測定された車間距離をカルマンフィルタに適用する際に、誤差のスケールを入力することにより、信頼度の低い測定結果はカルマンフィルタの更新に用いないという処理をすることができる。
誤差モデル生成装置20では、シミュレーションによる擬似的な距離推定を繰り返して車間距離の測定結果のサンプルを収集することで、各サンプルと解析的に特定された誤差の支配項を使った多項式回帰による誤差のモデリングが可能である。
(第2の実施の形態)
図11は、第2の実施の形態の車間距離測定装置2の構成を示す図である。第2の実施の形態の基本的な構成は、第1の実施の形態の車間距離測定装置1と同じであり、車間距離とその誤差スケールを求める。第2の実施の形態の車間距離測定装置2による車間距離の測定の仕方は第1の実施の形態の車間距離測定装置1と同じである。第2の実施の形態の車間距離測定装置2では、誤差スケール算出部16が誤差スケール算出式を用いて誤差のスケールを算出する点が異なる。
最初に、第2の実施の形態における誤差スケール算出の考え方を説明する。自車両と先行車両との間の路面が曲率を有する場合であっても、自車両および先行車両が載っている路面は局所的にみれば平面である。本発明者らは、車間距離の誤差は、自車両が載っている路面から見た先行車両が載っている路面の傾きに依存することに着目した。
図12は、第2の実施の形態において先行車両の下端を求める原理を示す図である。自車両が載っている平面に対する先行車両が載っている平面の傾きは「a」である。先行車両の下端は、(i)自車両のカメラの光学中心と下端とを結ぶ直線と、(ii)先行車両が載っている路面との交点である。(i)自車両のカメラの光学中心と下端とを結ぶ直線は、カメラの焦点距離をfとすると次式(1)で表され、(ii)路面は次式(2)で表される。
Figure 0007145770000003
これをZについて解くと、
Figure 0007145770000004
となる。先行車両の下端の観測誤差を
Figure 0007145770000005
とすれば、1次のテイラー展開により、車間距離の誤差のスケールは、次式(4)で表される。
Figure 0007145770000006
第2の実施の形態の車間距離測定装置2は、式(4)で示される誤差スケールの算式を記憶部17に記憶している。誤差スケール算出部16は、記憶部17から誤差スケールの算式を読み出し、誤差スケールを計算する。
第2の実施の形態の車間距離測定装置2において、カメラ画像及びGPS/IMU11からの位置情報に基づいて先行車両との車間距離を算出する距離算出部12の構成、および、車間距離と誤差スケールを出力する出力部15の構成は、第1の実施の形態の車間距離測定装置1と同じである。
第2の実施の形態の車間距離測定装置2は、第1の実施の形態の車間距離測定装置1と同様に、先行車両との車間距離だけでなく、その誤差のスケールを求めることができる。また、シミュレーションを行って誤差モデルを生成することなく誤差スケールを計算できるので、車間距離測定装置2を容易に構成することができる。
なお、本実施の形態では、ピンホールカメラモデルを採用した例を挙げて説明したが、ピンホールカメラ以外のカメラにおいても上記と同様に誤差のスケールを求めることが可能である。
(第3の実施の形態)
第3の実施の形態では、カメラで撮影した画像から車間距離を推定する装置で用いられる学習モデルを生成する学習モデル生成装置3について説明する。学習モデルを生成するためには、教師データとして、カメラ画像とそのカメラ画像に映る先行車両までの車間距離の正解データのセットが必要であるが、一般的に、大量の教師データを準備することは容易なことではない。第3の実施の形態の学習モデル生成装置3では、道路を走行した際に前方を撮影した映像と当該映像の各フレームに対応する自車両の位置情報とを用いて、学習モデルを生成する。
図13は、第3の実施の形態の学習モデル生成装置3の構成を示す図である。学習モデル生成装置3は、入力部30と、距離算出部31と、誤差スケール算出部32と、誤差モデル記憶部33と、モデル生成部34と、学習モデル記憶部35とを有している。入力部30は、道路を走行した際に前方を撮影した映像と当該映像の各フレームに対応する自車両の位置情報の入力を受け付ける。距離算出部31および誤差スケール算出部32は、第1の実施の形態の車両測定装置で説明した距離算出部31および誤差スケール算出部32と同じ構成を有し、動画の各フレームに映る先行車両までの車間距離を求める。これにより、動画の各フレームの画像と、車間距離及びその誤差スケールとをセットにした教師データを生成する。
モデル生成部34は、先行車両が映る画像と、車間距離及びその誤差スケールとを教師データとして学習モデルを生成し、生成した学習モデルを学習モデル記憶部35に記憶する。学習パラメータθを持つ推定器を関数fθ(・)で表し、入力変数をxとし、車間距離のターゲット値をZとすれば、回帰問題として以下の定式化が可能である。
Figure 0007145770000007
距離算出部31で算出した車間距離を正解として扱うが、上述したとおり距離算出部31にて求めた車間距離には誤差が含まれる。モデル生成部34は、誤差のスケールが大きいほど、損失関数に与える影響を小さくして学習を行う。具体的には、本実施の形態では、誤差スケールの大きい車間距離は重要視しないように、次式を用いて学習を行う。
Figure 0007145770000008
図14は、第3の実施の形態の学習モデル生成装置3の動作を示すフローチャートである。学習モデル生成装置3は、車両が走行して撮影した動画と各フレームでの位置情報の入力を受け付ける(S30)。学習モデル生成装置3は、各フレームにおいて先行車両を識別し、先行車両までの車間距離および誤差スケールを算出する(S31)。この処理は、第1の実施の形態の車間距離測定装置1における車間距離の測定の動作(図6参照)と同じである。これにより、学習モデル生成装置3は、教師データを生成する。学習モデル生成装置3は、生成された教師データを用いて学習モデルを生成する(S32)。
第3の実施の形態の学習モデル生成装置3は、走行中の映像とそれに対応する位置情報を用いて、画像に対応する車間距離を計算して教師データとして用いるので、教師データの作成にかかるコストを大幅に下げることができる。
また、車間距離のデータだけでなく、その誤差のスケールを用いて学習を行うので、精度の良い学習モデルを生成することができる。このようにして生成された学習モデルを用いることにより、車間距離を推定する際には、先行車両が映った画像から直ちに車間距離を推定することができる。
なお、第3の実施の形態では、車間距離および誤差スケールの算出に、第1の実施の形態の車間距離測定装置1で説明した方法を採用する例を説明したが、第2の実施の形態の車間距離測定装置2で説明した方法を採用することももちろん可能である。
以上、本発明の車間距離測定装置、誤差モデル生成装置および学習モデル生成装置について説明したが、本発明は上記した実施の形態に限定されるものではない。
上記した実施の形態においては、GPS/IMUから車両の位置情報を取得する例について説明したが、車両の位置情報は、特許文献1で説明したように、Visual Odometryによって計測することとしてもよい。
本発明は、先行車両との車間距離を測定する車間距離測定装置として有用である。
1,2 車間距離測定装置
3 学習モデル生成装置
10 カメラ
11 GPS/IMU
12 距離算出部
13,16 誤差スケール算出部
14,17 誤差モデル記憶部
15 出力部
20 誤差モデル生成装置
21 道路構造情報入力部
22 シミュレーション部
23 車両配置部
24 真値計算部
25 誤差設定部
26 距離算出部
27 誤差スケール算出部
28 誤差解析部
29 誤差モデル記憶部
30 入力部
31 距離算出部
32 誤差スケール算出部
33 誤差モデル記憶部
34 モデル生成部
35 学習モデル記憶部

Claims (13)

  1. 車両に搭載されたカメラと、
    前記車両の位置情報を検出する位置情報検出部と、
    前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、
    前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部と、
    前記誤差モデル記憶部に記憶された誤差のスケールのモデルを参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出する誤差スケール算出部と、
    前記車間距離および誤差のスケールを出力する出力部と、
    を備える車間距離測定装置。
  2. 前記誤差モデル記憶部には、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに、前記車間距離の誤差のスケールを関連付けたルックアップテーブルの形式で、前記誤差のスケールのモデルが記憶されている請求項1に記載の車間距離測定装置。
  3. 車両に搭載されたカメラと、
    前記車両の位置情報を検出する位置情報検出部と、
    前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、
    前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出する誤差スケール算出部と、
    前記車間距離および誤差のスケールを出力する出力部と、
    を備える車間距離測定装置。
  4. 車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める車間距離測定装置において、当該車間距離の誤差を推定するための誤差モデルの生成装置であって、
    道路の構造情報を入力する道路構造情報入力部と、
    前記第1の位置と先行車両の位置をランダムに決定し、前記道路の構造情報を用いて、先行車両までの車間距離の真値を計算すると共に、前記道路構造によって定まるカメラの回転角、車両の位置の真値に対して、ランダムに発生させた誤差を逐次付加して、前記第2の位置を求めることにより車間距離を計算すると共に、計算された車間距離の真値に対する誤差を計算するシミュレーション部と、
    前記カメラの光学中心から先行車両の下端までの前記画像内での長さと前記カメラのピッチ角の変位とを変数として、前記車間距離の誤差のスケールを解析する誤差解析部と、
    を備える誤差モデル生成装置。
  5. カメラにて撮影した画像から車間距離を推定する学習モデルを生成する生成装置であって、
    先行車両が映る映像と当該映像の各フレームに対応する車両の位置情報を入力する入力部と、
    前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系における前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、
    前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部と、
    前記誤差モデル記憶部に記憶された誤差のスケールのモデルを参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出する誤差スケール算出部と、
    複数の前記画像について求めた車間距離および誤差のスケールを教師データとして、画像から車間距離を求める学習モデルを生成するモデル生成部と、
    を備える学習モデル生成装置。
  6. カメラにて撮影した画像から車間距離を推定する学習モデルを生成する生成装置であって、
    先行車両が映る映像と当該映像の各フレームに対応する車両の位置情報を入力する入力部と、
    前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系における前記カメラの光学中心と前記下端とを結ぶ直線を求め、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、
    前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出する誤差スケール算出部と、
    複数の前記画像について求めた車間距離および誤差のスケールを教師データとして、画像から車間距離を求める学習モデルを生成するモデル生成部と、
    を備える学習モデル生成装置。
  7. 前記モデル生成部は、前記誤差のスケールが大きいほど、損失関数に与える影響を小さくして学習を行う請求項5または6に記載の学習モデル生成装置。
  8. 車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定する方法であって、
    車間距離測定装置に前記カメラにて撮影された画像を入力するステップと、
    前記車間距離測定装置に前記車両の位置情報を検出するステップと、
    前記車間距離測定装置が、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、
    前記車間距離測定装置が、前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部を参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出するステップと、
    前記車間距離測定装置が、前記車間距離および誤差のスケールを出力するステップと、
    を備える車間距離測定方法。
  9. 車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定する方法であって、
    車間距離測定装置に前記カメラにて撮影された画像を入力するステップと、
    前記車間距離測定装置に前記車両の位置情報を検出するステップと、
    前記車間距離測定装置が、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、
    前記車間距離測定装置が、前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出するステップと、
    前記車間距離測定装置が、前記車間距離および誤差のスケールを出力するステップと、
    を備える車間距離測定方法。
  10. 車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める車間距離測定装置において、当該車間距離の誤差を推定するための誤差モデルの生成方法であって、
    誤差モデル生成装置に道路の構造情報を入力するステップと、
    前記誤差モデル生成装置が、前記第1の位置と先行車両の位置をランダムに決定し、前記道路の構造情報を用いて、先行車両までの車間距離の真値を計算すると共に、前記道路構造によって定まるカメラの回転角、車両の位置の真値に対して、ランダムに発生させた誤差を逐次付加して、前記第2の位置を求めることにより車間距離を計算すると共に、計算された車間距離の真値に対する誤差を計算するステップと、
    前記誤差モデル生成装置が、前記カメラのピッチ角の変位と前記カメラの光学中心から先行車両の下端までの前記画像内での長さを変数として、前記車間距離の誤差のスケールを解析するステップと、
    を備える誤差モデル生成方法。
  11. 車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定するためのプログラムであって、コンピュータに、
    前記カメラにて撮影された画像を入力するステップと、
    前記車両の位置情報を入力するステップと、
    前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、
    前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部を参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出するステップと、
    前記車間距離および誤差のスケールを出力するステップと、
    を実行させるプログラム。
  12. 車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定するためのプログラムであって、コンピュータに、
    前記カメラにて撮影された画像を入力するステップと、
    前記車両の位置情報を入力するステップと、
    前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、
    前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出するステップと、
    前記車間距離および誤差のスケールを出力するステップと、
    を実行させるプログラム。
  13. 車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める車間距離測定装置において、当該車間距離の誤差を推定するための誤差モデルを生成するためのプログラムであって、コンピュータに、
    道路の構造情報を入力するステップと、
    前記第1の位置と先行車両の位置をランダムに決定し、前記道路の構造情報を用いて、先行車両までの車間距離の真値を計算すると共に、前記道路構造によって定まるカメラの回転角、車両の位置の真値に対して、ランダムに発生させた誤差を逐次付加して、前記第2の位置を求めることにより車間距離を計算すると共に、計算された車間距離の真値に対する誤差を計算するステップと、
    前記カメラのピッチ角の変位と前記カメラの光学中心から先行車両の下端までの前記画像内での長さを変数として、前記車間距離の誤差のスケールを解析するステップと、
    を実行させるプログラム。
JP2019010808A 2019-01-25 2019-01-25 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム Active JP7145770B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019010808A JP7145770B2 (ja) 2019-01-25 2019-01-25 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019010808A JP7145770B2 (ja) 2019-01-25 2019-01-25 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020118575A JP2020118575A (ja) 2020-08-06
JP7145770B2 true JP7145770B2 (ja) 2022-10-03

Family

ID=71891977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019010808A Active JP7145770B2 (ja) 2019-01-25 2019-01-25 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7145770B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899525A (zh) * 2020-08-18 2020-11-06 重庆紫光华山智安科技有限公司 距离测量方法、装置、电子设备及存储介质
CN113227708B (zh) * 2021-03-30 2023-03-24 深圳市锐明技术股份有限公司 确定俯仰角的方法、装置及终端设备
KR102365554B1 (ko) * 2021-10-18 2022-02-18 김창원 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003237509A (ja) 2002-02-13 2003-08-27 Nissan Motor Co Ltd 車両用外界認識装置
JP2013109455A (ja) 2011-11-18 2013-06-06 Clarion Co Ltd 画像処理装置、車両システム、及び、画像処理方法
JP2015079388A (ja) 2013-10-17 2015-04-23 株式会社デンソーアイティーラボラトリ 車間距離測定装置、車間距離測定方法、およびプログラム
JP2016050832A (ja) 2014-08-29 2016-04-11 株式会社デンソー 光飛行型測距装置
JP2018190045A (ja) 2017-04-28 2018-11-29 日立オートモティブシステムズ株式会社 車両電子制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003237509A (ja) 2002-02-13 2003-08-27 Nissan Motor Co Ltd 車両用外界認識装置
JP2013109455A (ja) 2011-11-18 2013-06-06 Clarion Co Ltd 画像処理装置、車両システム、及び、画像処理方法
JP2015079388A (ja) 2013-10-17 2015-04-23 株式会社デンソーアイティーラボラトリ 車間距離測定装置、車間距離測定方法、およびプログラム
JP2016050832A (ja) 2014-08-29 2016-04-11 株式会社デンソー 光飛行型測距装置
JP2018190045A (ja) 2017-04-28 2018-11-29 日立オートモティブシステムズ株式会社 車両電子制御装置

Also Published As

Publication number Publication date
JP2020118575A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
US10268201B2 (en) Vehicle automated parking system and method
EP2858008B1 (en) Target detecting method and system
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
JP5804185B2 (ja) 移動物***置姿勢推定装置及び移動物***置姿勢推定方法
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN112907678B (zh) 车载相机外参姿态动态估计方法、装置、计算机设备
JP5023186B2 (ja) 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP2007263669A (ja) 3次元座標取得装置
CN105335955A (zh) 对象检测方法和对象检测装置
JP2010085240A (ja) 車両用画像処理装置
CN108645375B (zh) 一种用于车载双目***快速车辆测距优化方法
JP2009198445A (ja) 対象物検出装置及び方法
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2009139325A (ja) 車両用走行路面検出装置
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
US11461928B2 (en) Location estimation apparatus
JP6668740B2 (ja) 道路面推定装置
JP7223587B2 (ja) 物体運動推定方法及び物体運動推定装置
JP2004038760A (ja) 車両用走行路認識装置
KR20160020620A (ko) 무인 단말기 제어 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7145770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150