JP2017116363A - Vehicle position estimation system, method, and program - Google Patents
Vehicle position estimation system, method, and program Download PDFInfo
- Publication number
- JP2017116363A JP2017116363A JP2015250964A JP2015250964A JP2017116363A JP 2017116363 A JP2017116363 A JP 2017116363A JP 2015250964 A JP2015250964 A JP 2015250964A JP 2015250964 A JP2015250964 A JP 2015250964A JP 2017116363 A JP2017116363 A JP 2017116363A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- estimated
- estimated position
- camera
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、車両位置推定システム、方法およびプログラムに関する。 The present invention relates to a vehicle position estimation system, method, and program.
カメラで撮像した画像に基づいてカメラの位置や姿勢を算出する技術が知られている（特許文献１、参照）。特許文献１の技術を車両に適用することにより、車両（カメラ）の位置も推定することができる。 A technique for calculating the position and orientation of a camera based on an image captured by the camera is known (see Patent Document 1). By applying the technique of Patent Document 1 to a vehicle, the position of the vehicle (camera) can also be estimated.
しかしながら、車両は様々な方向や速度で移動するため、車両に搭載されたカメラの光軸方向が必ずしも位置や姿勢の算出に適した方向となっているとは限らないという問題があった。すなわち、車両の移動状態によっては、カメラで撮像した画像に基づいて精度よく車両の位置を推定できないという問題があった。
本発明は、前記課題にかんがみてなされたもので、画像による車両の位置推定の精度を向上できる技術を提供することを目的とする。
However, since the vehicle moves in various directions and speeds, there has been a problem that the optical axis direction of the camera mounted on the vehicle is not necessarily a direction suitable for calculating the position and orientation. That is, there is a problem that the position of the vehicle cannot be accurately estimated based on the image captured by the camera depending on the moving state of the vehicle.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of improving the accuracy of vehicle position estimation using images.
前記の目的を達成するため、本発明の車両位置推定システムは、第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得部と、第１推定位置と第２推定位置、および、第１推定位置の信頼度と第２推定位置の信頼度に基づいて導出した車両の位置である導出位置を取得する導出位置取得部と、を備える。 In order to achieve the above object, a vehicle position estimation system according to the present invention includes a first estimated position that is a position of a vehicle estimated based on image recognition of a first image captured by a first in-vehicle camera, and a first An estimated position acquisition unit for each camera that acquires a second estimated position that is a position of a vehicle estimated based on image recognition of a second image captured by a second in-vehicle camera having a different optical axis direction from the in-vehicle camera; A first estimated position, a second estimated position, and a derived position acquisition unit that acquires a derived position that is a position of the vehicle derived based on the reliability of the first estimated position and the reliability of the second estimated position.
前記の目的を達成するため、本発明の車両位置推定方法は、第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得工程と、第１推定位置と第２推定位置、および、第１推定位置の信頼度と第２推定位置の信頼度に基づいて導出した車両の位置である導出位置を取得する導出位置取得工程と、を含む。 In order to achieve the above object, a vehicle position estimation method of the present invention includes a first estimated position that is a position of a vehicle estimated based on image recognition of a first image captured by a first in-vehicle camera, and a first A camera-specific estimated position acquisition step for acquiring a second estimated position that is a position of the vehicle estimated based on image recognition of a second image captured by a second in-vehicle camera having a different optical axis direction from the in-vehicle camera; And a derived position obtaining step of obtaining a derived position that is a position of the vehicle derived based on the first estimated position and the second estimated position, and the reliability of the first estimated position and the reliability of the second estimated position.
前記の目的を達成するため、本発明の車両位置推定プログラムは、第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得機能と、第１推定位置と第２推定位置、および、第１推定位置の信頼度と第２推定位置の信頼度に基づいて導出した車両の位置である導出位置を取得する導出位置取得機能と、をコンピュータに実現させる。 In order to achieve the above object, a vehicle position estimation program of the present invention includes a first estimated position that is a position of a vehicle estimated based on image recognition of a first image captured by a first in-vehicle camera, and a first An estimated position acquisition function for each camera that acquires a second estimated position that is a position of a vehicle estimated based on image recognition of a second image captured by a second in-vehicle camera having a different optical axis direction from the in-vehicle camera; A derived position acquisition function for acquiring a derived position, which is a position of the vehicle derived based on the first estimated position and the second estimated position, and the reliability of the first estimated position and the reliability of the second estimated position; make it happen.
前記の構成において、第１推定位置と第２推定位置、および、第１推定位置の信頼度と第２推定位置の信頼度を考慮して導出位置を導出できるため、画像による車両の位置推定の精度を向上できる。例えば第１推定位置の信頼度が小さい場合でも、第２推定位置に基づいて導出位置を導出することにより精度を向上させることができる。 In the above configuration, the derived position can be derived in consideration of the first estimated position and the second estimated position, and the reliability of the first estimated position and the reliability of the second estimated position. Accuracy can be improved. For example, even when the reliability of the first estimated position is small, the accuracy can be improved by deriving the derived position based on the second estimated position.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ナビゲーション装置の構成：
（２）車両位置推定処理：
（３）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of navigation device:
(2) Vehicle position estimation processing:
(3) Other embodiments:
（１）ナビゲーション装置の構成：
図１は、本発明の一実施形態にかかる車両位置推定システムとしてのナビゲーション装置１０の構成を示すブロック図である。ナビゲーション装置１０は、車両に備えられている。ナビゲーション装置１０は、制御部２０と記録媒体３０とを備えている。制御部２０は、ＣＰＵとＲＡＭとＲＯＭ等を備え、記録媒体３０やＲＯＭに記憶されたプログラムを実行する。
(1) Configuration of navigation device:
FIG. 1 is a block diagram showing a configuration of a
記録媒体３０は、地図情報３０ａと認識情報３０ｂとを記録している。地図情報３０ａには、車両が走行する道路上に設定されたノードの位置等を示すノードデータ、ノード間を接続する道路区間の形状を特定するための形状補間点の位置等を示す形状補間データ、道路区間についての各種情報を示すリンクデータ、施設の属性等を示す施設データ等が含まれている。
The
認識情報３０ｂは、画像認識により車両の位置を推定するために使用する情報であり、多数の特徴点の３次元空間内（ワールド座標系）の位置を示す情報である。特徴点とは、カメラで撮像された画像に対して画像処理を行うことにより抽出できる点であり、画像内における特徴点の位置と認識情報３０ｂが示す特徴点の位置とを照合することにより、カメラの位置と光軸方向とを推定することができる。
The
また、車両は、左車載カメラ４１Ｌと右車載カメラ４１ＲとユーザＩ／Ｆ部４２とを備えている。図２Ａは、車両の平面図である。図２Ａに示すように、左車載カメラ４１Ｌと右車載カメラ４１Ｒとは、それぞれ光軸方向αＬ，αＲが車両の左側方と右側方を向くように備えられている。すなわち、左車載カメラ４１Ｌの光軸方向αＬと右車載カメラ４１Ｒの光軸方向αＲの水平成分は互いに反対方向である。例えば、左右のドアミラーに左車載カメラ４１Ｌと右車載カメラ４１Ｒとが備えられてもよい
The vehicle includes a left in-
ユーザＩ／Ｆ部４５は、制御部２０から出力された制御信号に基づいて各種案内を出力する出力装置を含む。本実施形態において、ユーザＩ／Ｆ部４５の出力装置は、音声により案内を出力するスピーカと、表示部としてのディスプレイとを含む。制御部２０は、地図情報３０ａに基づいてユーザＩ／Ｆ部４５のディスプレイ上に地図を表示させ、当該地図上に車両の位置（後述する導出位置）を示すマーカを表示させる。
The user I / F unit 45 includes an output device that outputs various guides based on a control signal output from the
制御部２０は車両位置推定プログラム２１を実行する。車両位置推定プログラム２１は、カメラ別推定位置取得モジュール２１ａと導出位置取得モジュール２１ｂとを含む。
カメラ別推定位置取得モジュール２１ａは、左車載カメラ４１Ｌにて撮像された左画像の画像認識に基づいて推定した車両の位置である左推定位置と、左車載カメラ４１Ｌと光軸方向が異なる右車載カメラ４１Ｒにて撮像された右画像の画像認識に基づいて推定した車両の位置である右推定位置とを取得する機能を制御部２０に実現させるプログラムモジュールである。カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、左車載カメラ４１Ｌにて撮像された左画像と、右車載カメラ４１Ｒにて撮像された右画像とを取得する。具体的に、制御部２０は、一定の撮像周期で撮像された左画像と右画像とを連続的に取得する。左画像と右画像の撮像時刻は同じである。なお、"左"と"右"は、本発明の"第１"と"第２"に相当する。
The
The estimated
制御部２０は、左画像から特徴点を抽出するとともに、同様に、右画像から特徴点を抽出する。特徴点を抽出手法は特に限定されず、公知の手法を適用できる。例えば、制御部２０は、画像からエッジを抽出し、さらに当該エッジの曲率半径が基準値以下となっている点を特徴点として抽出してもよい。
The
図２Ｂは、左画像と右画像とが撮像された際の車両の位置を示す地図である。同図に示す例では、第１時刻Ｔ１において車両（破線三角）が地図上を上方に進んでおり、左側方にガードレールＧと海Ｓとが存在し、右側方に道路の区画線ＷとガードレールＧと家Ｈとが存在している。 FIG. 2B is a map showing the position of the vehicle when the left image and the right image are captured. In the example shown in the figure, the vehicle (broken triangle) is moving upward on the map at the first time T1, the guard rail G and the sea S are present on the left side, and the road marking line W and the guard rail are on the right side. G and house H exist.
図２Ｃは第１時刻Ｔ１において左車載カメラ４１Ｌが撮像した左画像ＩＬを示し、図２Ｄは第１時刻Ｔ１において右車載カメラ４１Ｒが撮像した右画像ＩＲを示している。左画像ＩＬにおいてはガードレールＧと海Ｓの像が存在し、右画像ＩＲにおいては区画線ＷとガードレールＧと家Ｈの像が存在している。図２Ｅは第２時刻Ｔ２（図２Ｂの実線三角）において左車載カメラ４１Ｌが撮像した左画像ＩＬを示し、図２Ｆは第２時刻Ｔ２において右車載カメラ４１Ｒが撮像した右画像ＩＲを示している。第１時刻Ｔ１から第２時刻Ｔ２までの期間は、左画像ＩＬと右画像ＩＲの撮像周期を意味する。図２Ｃ〜２Ｆにおいて、特徴点をｘで示す。
FIG. 2C shows the left image IL taken by the left in-
カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、左画像ＩＬにて抽出した特徴点の位置を、左車載カメラ４１Ｌの座標系において特定する。左車載カメラ４１Ｌの座標系とは、左車載カメラ４１Ｌの撮像面の位置を原点とし、左車載カメラ４１Ｌの光軸方向αＬの軸と、当該光軸方向αＬの直交方向の軸（水平軸、鉛直軸）とによって規定された３次元のローカル座標系である。同様に、制御部２０は、右画像ＩＲにて抽出した特徴点の位置を、右車載カメラ４１Ｒの座標系において特定する。なお、左画像ＩＬ内の任意の画素の位置と左車載カメラ４１Ｌの座標系内での位置との対応関係は、予め左車載カメラ４１Ｌのキャリブレーションを行うことにより用意されている。同様に、右画像ＩＲ内の任意の画素の位置と右車載カメラ４１Ｒの座標系内での位置との対応関係は、予め右車載カメラ４１Ｒのキャリブレーションを行うことにより用意されている。
With the function of the camera-specific estimated
このキャリブレーションは、格子点の位置が３次元空間内で既知であるチェッカーボードを車載カメラ４１Ｌ，４１Ｒによって様々な位置や姿勢で撮像することにより行われる。例えば、Ｚ．Ｙ．Ｚｈａｎｇの手法（"A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.）によってキャリブレーションが行われてもよい。このキャリブレーションを行うことにより、車載カメラ４１Ｌ，４１Ｒの外部パラメータ（位置、方向）や内部パラメータ（光軸のずれ、歪曲収差等）を得ることができる。姿勢とは、光軸方向を意味する。また、制御部２０は、左車載カメラ４１Ｌの座標系内における特徴点の位置に基づいて、左車載カメラ４１Ｌから特徴点までの距離を導出できる。同様に、制御部２０は、右車載カメラ４１Ｒの座標系内における特徴点の位置に基づいて、右車載カメラ４１Ｒから特徴点までの距離を導出できる。
This calibration is performed by imaging the checkerboard whose lattice point positions are known in the three-dimensional space with various in-
ここで、車両のうち幅方向の中央の位置を基準位置Ｐとし、車両の前方を基準方向θとして定義する。基準位置Ｐと基準方向θとは、本実施形態において推定する対象となる車両の位置と方向である。ここでは、第１時刻Ｔ１における車両の基準位置ＰT1と基準方向θT1とがワールド座標系において既知であるとして、第２時刻Ｔ２における車両の推定位置と推定方向とを推定する手法を説明する。 Here, the center position in the width direction of the vehicle is defined as the reference position P, and the front of the vehicle is defined as the reference direction θ. The reference position P and the reference direction θ are the position and direction of the vehicle to be estimated in this embodiment. Here, as the reference position P T1 and the reference direction theta T1 of the vehicle at the first time T1 is known in the world coordinate system, illustrating a method for estimating the estimated direction and the estimated position of the vehicle in the second time T2 .
図２Ａの例において、車両の基準位置ＰT1は、第１時刻Ｔ１における左車載カメラ４１Ｌの位置から光軸方向αＬの反対方向に距離Ａだけ移動した位置、かつ、右車載カメラ４１Ｒの位置から光軸方向αＲの反対方向に距離Ａだけ移動した位置であることとする。図２Ａの例において、車両の基準方向θT1は、平面視おいて左車載カメラ４１Ｌの光軸方向αＬに対して時計回りに９０度だけ回転した水平な方向、かつ、平面視おいて右車載カメラ４１Ｒの光軸方向αＲに対して反時計回りに９０度だけ回転した水平な方向であることとする。左車載カメラ４１Ｌと右車載カメラ４１Ｒと基準位置ＰT1と基準方向θT1との相対的な位置と方向の関係は既知である。
In the example of FIG. 2A, the reference position P T1 of the vehicle is from the position moved by the distance A in the opposite direction of the optical axis direction αL from the position of the left in-
カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、第１時刻Ｔ１と第２時刻Ｔ２とにおいて撮像された左画像ＩＬから共通の特徴点を抽出し、左車載カメラ４１Ｌの座標系内における当該共通の特徴点の移動量に基づいて、左車載カメラ４１Ｌの移動量を推定する。特徴点の移動量には、並進移動量と回転移動量とが含まれる。例えば、第２時刻Ｔ２の左画像ＩＬ（図２Ｅ）に存在する４個の特徴点は、第１時刻Ｔ１の左画像ＩＬ（図２Ｃ）に存在する６個の特徴点のうち前方側の４個が後方側に移動したものである。制御部２０は、共通して存在する特徴点の組ごとに時刻Ｔ１〜Ｔ２間における特徴点の移動ベクトルを導出し、各移動ベクトルから並進成分と回転成分とを抽出することにより、並進移動量と回転移動量とを導出する。並進移動量は、複数の移動ベクトル間で共通する成分である。回転移動量は、各移動ベクトルから並進成分を除いた成分である回転ベクトルが弦を構成する扇形の基準位置ＰT1まわりの中心角である。並進移動量と回転移動量の算定の基礎となる移動ベクトルの数が大きいほど、並進移動量と回転移動量の信頼度は大きくなる。
The
ここで、ある特徴点が左車載カメラ４１Ｌの座標系内において、ΔＰLだけ並進移動し、ΔθLだけ回転移動したとすると、第１時刻Ｔ１から第２時刻Ｔ２までの間に車両が（−ΔＰL）だけ並進移動し、（−ΔθL）だけ回転移動したと推定できる。そして、制御部２０は、車両の並進移動量（−ΔＰL）と回転移動量（−ΔθL）とをワールド座標系に変換し、第１時刻Ｔ１における基準位置ＰT1と基準方向θT1に加算することにより、第２時刻Ｔ２における左推定位置ＰＬT2（＝ＰT1−ΔＰL）と左推定方向θＬT2（＝θT1−ΔθL）とを推定する。
Here, if a certain feature point translates by ΔP L and rotates by Δθ L in the coordinate system of the left in-
カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、第１時刻Ｔ１と第２時刻Ｔ２とにおいて撮像された右画像ＩＲから共通の特徴点を抽出し、右車載カメラ４１Ｒの座標系内における当該共通の特徴点の移動量に基づいて、右車載カメラ４１Ｒの並進移動量、ΔＰRと回転移動量ΔθRを推定する。そして、制御部２０は、車両の並進移動量と回転移動量とをワールド座標系に変換し、第１時刻Ｔ１における基準位置ＰT2と基準方向θT2に加算することにより、第２時刻Ｔ２における右推定位置ＰＲT2（＝ＰT1−ΔＰR）と右推定方向θＲT2（＝θT1−ΔθR）とを推定する。
The
導出位置取得モジュール２１ｂは、左推定位置ＰＬT2と右推定位置ＰＲT2、および、左推定位置ＰＬT2の信頼度と右推定位置ＰＲT2の信頼度に基づいて導出した車両の位置である導出位置を取得する機能を制御部２０に実現させるプログラムモジュールである。すなわち、第２時刻Ｔ２について得られている左推定位置ＰＬT2と右推定位置ＰＲT2とに基づいて、最終的に推定される車両の位置である導出位置を導出するにあたり、左推定位置ＰＬT2の信頼度と右推定位置ＰＲT2の信頼度とが考慮される。
Deriving
導出位置取得モジュール２１ｂの機能により制御部２０は、左推定位置ＰＬT2の信頼度ＢＬと右推定位置ＰＲT2の信頼度ＢＲに応じた重みによって、左推定位置ＰＬT2と右推定位置ＰＲT2とを加重平均することにより導出位置を導出する。すなわち、制御部２０は、左推定位置ＰＬT2の重みＷＬとしてＢＬ／（ＢＬ＋ＢＲ）を設定し、右推定位置ＰＲT2の重みＷＲとしてＢＲ／（ＢＬ＋ＢＲ）を設定する。そして、制御部２０は、導出位置ＰT2を、ＷＬ×ＰＬT2＋ＷＲ×ＰＲT2によって導出する。同様に、制御部２０は、第２時刻Ｔ２における車両の基準方向である導出方向θT2、をＷＬ×θＬT2＋ＷＲ×θＲT2によって導出する。
ここで導出された導出位置ＰT2と導出方向θT2とが次の撮像周期における基準位置ＰT1と基準方向θT1として適用される。すなわち、導出位置ＰT2と導出方向θT2に対して次の撮像周期（Ｔ２〜Ｔ３）における並進移動量と回転移動量とを加算することにより、次の時刻Ｔ２における導出位置ＰT3と導出方向θT3とが導出される。以上の処理を行うことにより、撮像周期ごとに導出位置Ｐと導出方向θとを更新していくことができる。なお、初期の基準位置Ｐと基準方向θは、車載カメラ４１Ｌ，４１Ｒ以外の位置センサ（ＧＰＳセンサ等）に基づいて特定されてもよいし、認識情報３０ｂにおける特徴点の分布と第１時刻Ｔ１に撮像された画像における特徴点の分布とをマッチングすることにより特定されてもよい。
The derived position P T2 and the derived direction θ T2 derived here are applied as the reference position P T1 and the reference direction θ T1 in the next imaging cycle. That is, by adding the translational movement amount and the rotational movement amount in the next imaging cycle ( T2 to T3) to the derivation position P T2 and the derivation direction θ T2 , the derivation position P T3 and the derivation direction at the next time T2 are added. θ T3 is derived. By performing the above processing, the derived position P and the derived direction θ can be updated every imaging cycle. The initial reference position P and the reference direction θ may be specified based on a position sensor (such as a GPS sensor) other than the in-
ここで、左推定位置ＰＬT2の信頼度ＢＬと右推定位置ＰＲT2の信頼度ＢＲは、それぞれ左画像ＩＬにおける特徴点の分布と右画像ＩＲにおける特徴点の分布に基づいて導出される。具体的に、左推定位置ＰＬT2の信頼度ＢＬは、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点の数に基づいて導出され、右推定位置ＰＲT2の信頼度ＢＲは、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点の数に基づいて導出される。より具体的に、左推定位置ＰＬT2の信頼度ＢＬは、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点と左車載カメラ４１Ｌまでの距離に基づいて導出され、右推定位置ＰＲT2の信頼度ＢＲは、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点と左車載カメラまでの距離に基づいて導出される。
Here, reliability BR confidence BL and right estimated position PR T2 of the left estimated position PL T2 are respectively derived based on the distribution of characteristic points in the distribution and the right image IR feature points in the left image IL. Specifically, the reliability BL of the left estimated position PL T2 is the number of feature points that exist in common in the left image IL imaged at the first time T1 and the left image IL imaged at the second time T2. derived based, reliability BR right estimated position PR T2, the number of feature points that exist in common in the captured right image IR to the right image IR captured in the first time T1 second time T2 Is derived on the basis of More specifically, the reliability BL of the left estimated position PL T2 is the same as that between the left and right feature points of the left image IL captured at the first time T1 and the left image IL captured at the second time T2. is derived based on the distance to the
第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点の数をＮＬとし、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点と左車載カメラ４１Ｌまでの平均距離をＵＬとすると、制御部２０は、左推定位置ＰＬT2の信頼度ＢＬを、ＮＬ／ＵＬによって導出する。すなわち、制御部２０は、共通して存在する特徴点の数ＮＬが大きいほど大きく、かつ、共通して存在する特徴点と左車載カメラ４１Ｌまでの平均距離が大きいほど小さくなるように信頼度ＢＬを導出する。同様に、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点の数をＮＲとし、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点と右車載カメラ４１Ｒまでの平均距離をＵＲとすると、制御部２０は、右推定位置ＰＲT2の信頼度ＢＲを、ＮＲ／ＵＲによって導出する。
The number of feature points that exist in common in the left image IL imaged at the first time T1 and the left image IL imaged at the second time T2 is NL, and the left image IL imaged at the first time T1 Assuming that the average distance between the feature point that is commonly present in the left image IL captured at the second time T2 and the left in-
左画像ＩＬ（図２Ｃ，図２Ｅ）と、右画像ＩＲ（図２Ｄ，図２Ｆ）とを比較すると、右画像ＩＲの方が共通して存在する特徴点の数が大きい。また、右画像ＩＲには、右車載カメラ４１Ｒとの距離が小さい区画線Ｗ上の特徴点も含まれている。従って、図２Ｃ〜図２Ｆの例では、左推定位置ＰＬT2の信頼度ＢＬよりも、右推定位置ＰＲT2の信頼度ＢＲの方が大きく、左推定位置ＰＬT2よりも右推定位置ＰＲT2に近い位置が導出位置として導出されることとなる。
When comparing the left image IL (FIGS. 2C and 2E) and the right image IR (FIGS. 2D and 2F), the right image IR has a larger number of feature points in common. In addition, the right image IR includes feature points on the lane marking W having a small distance from the right in-
以上説明した本実施形態の構成において、左推定位置ＰＬT2と右推定位置ＰＲT2、および、左推定位置ＰＬT2の信頼度と右推定位置ＰＲT2の信頼度に基づいて導出位置を導出できるため、画像による車両の位置推定の精度を向上できる。例えば左推定位置ＰＬT2の信頼度が小さい場合でも、右推定位置ＰＲT2に基づいて導出位置を導出することにより精度を向上させることができる。また、左車載カメラ４１Ｌの光軸方向αＬと右車載カメラ４１Ｒの光軸方向αＲの水平成分は互いに反対方向である。これにより、左車載カメラと右車載カメラとによって１８０度異なる方向の風景を撮像でき、双方同じような被写体を撮像する可能性を抑制し、推定位置の信頼度が双方とも小さくなることを抑制できる。
In the configuration of this embodiment described above, it left the estimated position PL T2 and right estimated position PR T2, and, since it is possible to derive the derived position based on the reliability and confidence of the right estimated position PR T2 of the left estimated position PL T2 The accuracy of vehicle position estimation using images can be improved. For example, even if the reliability of the left estimated position PL T2 is small, it is possible to improve the accuracy by deriving the derived position based on the right estimated position PR T2. The horizontal components of the optical axis direction αL of the left in-
左推定位置ＰＬT2の信頼度ＢＬと右推定位置ＰＲT2の信頼度ＢＲに応じた重みによって、左推定位置ＰＬT2と右推定位置ＰＲT2とを加重平均を行うことにより、信頼度が大きい推定位置を重視して導出位置を導出することができ、導出位置の精度を向上させることができる。左推定位置ＰＬT2の信頼度ＢＬと右推定位置ＰＲT2の信頼度ＢＲは、それぞれ左画像Ｉにおける特徴点の分布と右画像における特徴点の分布に基づいて導出されるため、画像の状態に基づく確かな信頼度を得ることができる。 By weight corresponding to the reliability BR confidence BL and right estimated position PR T2 in the left position estimate PL T2, by performing the weighted average and left estimated position PL T2 and right estimated position PR T2, the reliability is high estimate The derived position can be derived with emphasis on the position, and the accuracy of the derived position can be improved. Reliability BR confidence BL and right estimated position PR T2 of the left estimated position PL T2 is because it is derived based on the distribution of characteristic points in the distribution and the right image feature points in each left image I, the state of the image You can get reliable reliability based.
左推定位置ＰＬT2の信頼度ＢＬは、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点の数に基づいて導出され、右推定位置ＰＲT2の信頼度ＢＲは、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点の数に基づいて導出される。ここで、共通して存在する特徴点が多いほど、第１時刻Ｔ１から第２時刻Ｔ２までの間における特徴点の変位（移動ベクトル）を多く解析することができ、当該特徴点の変位に基づいて推定位置を大きい信頼度で推定できる。従って、第１時刻Ｔ１に撮像された画像と第２時刻Ｔ２に撮像された画像とにおいて共通して存在する特徴点の数に基づいて推定位置の信頼度を導出できる。 The reliability BL of the left estimated position PL T2 is derived based on the number of feature points that exist in common in the left image IL imaged at the first time T1 and the left image IL imaged at the second time T2. , reliability BR right estimated position PR T2 is derived based on the number of feature points that exist in common in the right image IR captured in the first time T1 and the right image IR captured in the second time T2 Is done. Here, the more feature points that exist in common, the more feature point displacements (movement vectors) between the first time T1 and the second time T2 can be analyzed, and based on the displacement of the feature points. Thus, the estimated position can be estimated with high reliability. Therefore, the reliability of the estimated position can be derived based on the number of feature points that exist in common between the image captured at the first time T1 and the image captured at the second time T2.
左推定位置ＰＬT2の信頼度ＢＬは、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点と左車載カメラ４１Ｌまでの距離に基づいて導出され、右推定位置ＰＲT2の信頼度ＢＲは、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点と左車載カメラまでの距離に基づいて導出される。ここで、車載カメラ４１Ｌ，４１Ｒから特徴点までの距離が小さい場合、車両の移動量がわずかであっても画像における特徴点の変位が大きくなる。従って、特徴点までの距離が小さい場合には、特徴点の変位に基づいて推定位置を大きい信頼度で推定できる。従って、車載カメラ４１Ｌ，４１Ｒから特徴点までの距離に基づいて推定位置の信頼度を導出できる。
The reliability BL of the left estimated position PL T2 is a characteristic point that is common to the left image IL captured at the first time T1 and the left image IL captured at the second time T2, and the left in-
（２）車両位置推定処理：
次に、車両位置推定プログラム２１の機能により実行される車両位置推定処理を説明する。図３は車両位置推定処理のフローチャートである。まず、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、車載カメラ４１Ｌ，４１Ｒの位置を設定する（ステップＳ１００）。すなわち、制御部２０は、基準位置Ｐと基準方向θに対する車載カメラ４１Ｌ，４１Ｒの位置と光軸方向αＬ，θＲの相対関係を設定する。
(2) Vehicle position estimation processing:
Next, the vehicle position estimation process executed by the function of the vehicle
次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、現在（第２時刻Ｔ２）にて撮像された画像を取得する（ステップＳ１０５）。なお、ステップＳ１０５〜Ｓ１３５は、左車載カメラ４１Ｌで撮像された左画像ＩＬと、右車載カメラ４１Ｒで撮像された右画像ＩＲの双方について同様に行われる。右画像ＩＲについての処理も同様であるため、ここでは左画像ＩＬについて行う処理のみ説明することとする。
Next, the
まず、制御部２０は、現在（第２時刻Ｔ２）にて撮像された左画像ＩＬを取得する（ステップＳ１０５）。次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、左画像ＩＬから特徴点を抽出する（ステップＳ１１０）。
First, the
次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、前回（第１時刻Ｔ１）にて撮像された左画像ＩＬの特徴点情報を取得する（ステップＳ１１５）。特徴点情報とは、前回の左画像ＩＬにおいて抽出された特徴点の左車載カメラ４１Ｌの座標系での位置を示す情報である。
Next, the
次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、共通して存在する特徴点の数ＮＬを取得する（ステップＳ１２０）。すなわち、制御部２０は、第１時刻Ｔ１にて撮像された左画像ＩＬと、第２時刻Ｔ２にて撮像された左画像ＩＬとにおいて共通して存在する特徴点の数ＮＬを取得する。
Next, the
次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、共通して存在する特徴点までの距離ＵＬを取得する（ステップＳ１２５）。すなわち、制御部２０は、第１時刻Ｔ１にて撮像された左画像ＩＬと、第２時刻Ｔ２にて撮像された左画像ＩＬとにおいて共通して存在する特徴点から左車載カメラ４１Ｌまでの距離の平均値を距離ＵＲとして取得する。
Next, the
次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、左推定位置ＰＬT2を取得する（ステップＳ１３０）。すなわち、制御部２０は、第１時刻Ｔ１と第２時刻Ｔ２との間において共通する特徴点が移動した移動ベクトルを取得し、当該移動ベクトルに基づいて車両の並進移動量（−ΔＰL）と回転移動量（−ΔθL）とを推定する。さらに、制御部２０は、車両の並進移動量（−ΔＰL）と回転移動量（−ΔθL）とをワールド座標系に変換し、前回（第１時刻Ｔ１）の車両の基準位置ＰT1と基準方向θT1に加算することにより、左推定位置ＰＬT2と左推定方向θＬT2とを取得する。
Next, the
次に、導出位置取得モジュール２１ｂの機能により制御部２０は、信頼度を導出する（ステップＳ１３５）。すなわち、制御部２０は、ステップＳ１２０にて取得した特徴点の数ＮＬと、ステップＳ１２５にて取得した特徴点から左車載カメラ４１Ｌまでの距離ＵＲとに基づいて左推定位置ＰＬT2と左推定方向θＬT2の信頼度ＢＬ（＝ＮＬ／ＵＬ）を導出する。説明を省略したが、ステップＳ１０５〜Ｓ１３５において、右推定位置ＰＲT2と右推定方向θＲT2と、右推定位置ＰＲT2と右推定方向θＲT2の信頼度ＢＲ（＝ＮＲ／ＵＲ）も導出されていることとなる。
Next, the
次に、導出位置取得モジュール２１ｂの機能により制御部２０は、導出位置を導出する（ステップＳ１４０）。すなわち、制御部２０は、左推定位置ＰＬT2の重みＷＬとしてＢＬ／（ＢＬ＋ＢＲ）を設定し、右推定位置ＰＲT2の重みＷＲとしてＢＲ／（ＢＬ＋ＢＲ）を設定する。そして、制御部２０は、導出位置ＰT2を、ＷＬ×ＰＬT2＋ＷＲ×ＰＲT2によって導出する。さらに、制御部２０は、導出方向θT2を、ＷＬ×θＬT2＋ＷＲ×θＲT2によって導出する。
Next, the
（３）他の実施形態：
前記実施形態においては、実際に撮像された画像ＩＬ，ＩＲに基づいて信頼度ＢＬ，ＢＲを導出したが、必ずしも画像ＩＬ，ＩＲに基づいて信頼度ＢＬ，ＢＲを導出しなくてもよい。例えば、左推定位置ＰＬT2の信頼度ＢＬは、地図上における左車載カメラ４１Ｌの光軸方向αＬに基づいて導出され、右推定位置ＰＲT2の信頼度ＢＲは、地図上における右車載カメラ４１Ｒの光軸方向に基づいて導出されてもよい。地図上における光軸方向αＬ，θＲから被写体（種類や距離や数）を予測することができ、被写体に基づいて推定位置の信頼度を導出できる。例えば、光軸方向が対向車線側であるか路肩側であるかに応じて信頼度が設定されてもよい。図２Ｂの例では、地図情報３０ａに基づいて、光軸方向αＬには特徴点が存在する被写体としてガードレールＧしか存在しないのに対して、光軸方向αＲには特徴点が存在する被写体として区画線ＷとガードレールＧと家Ｈとが存在する。従って、制御部２０は、画像ＩＬ，ＩＲの特徴点を解析しなくても、地図情報３０ａに基づいて信頼度ＢＬ，ＢＲを導出できる。
(3) Other embodiments:
In the embodiment, the reliability levels BL and BR are derived based on the actually captured images IL and IR. However, the reliability levels BL and BR do not necessarily have to be derived based on the images IL and IR. For example, the reliability BL left estimated position PL T2 is derived based on the optical axis αL of the
また、図４に示すように、第１車載カメラの光軸方向と第２車載カメラの光軸方向には、少なくとも車両の前後方向のいずれか一方と側方とが含まれてもよい。図４において、第１車載カメラおよび第２車載カメラとして、左車載カメラ４１Ｌと右車載カメラ４１Ｒと前車載カメラ４１Ｆとが備えられており、それぞれが光軸方向αＬ，θＲ，θＦとを有している。前記実施形態のように、光軸方向が側方である場合、車両の前後の移動量を精度よく推定できる。一方、光軸方向が前方または後方である場合、車両が旋回した場合の移動量を精度よく推定できる。車載カメラが３個以上備えられる場合、制御部２０は、３個以上の車載カメラで撮像された画像のそれぞれに基づいて推定位置を推定し、各推定位置と、各推定位置の信頼度とに基づいて導出位置を導出すればよい。
As shown in FIG. 4, the optical axis direction of the first vehicle-mounted camera and the optical axis direction of the second vehicle-mounted camera may include at least one of the vehicle front-rear direction and the side. In FIG. 4, a left in-
推定位置の信頼度は、必ずしも時刻Ｔ１，Ｔ２に撮像された画像において共通して存在する特徴点の数に基づいて導出されなくてもよく、単に第２時刻Ｔ２に撮像された単一画像において存在する特徴点の数に基づいて導出されてもよい。同様に、推定位置の信頼度は、単に第２時刻Ｔ２に撮像された単一画像において存在する特徴点から車載カメラまでの距離に基づいて導出されてもよい。また、推定位置の信頼度は、特徴点の数のみに基づいて導出されてもよく、必ずしも特徴点から車載カメラまでの距離が考慮されなくてもよい。反対に、推定位置の信頼度は、特徴点から車載カメラまでの距離のみに基づいて導出されてもよく、必ずしも特徴点の数が考慮されなくてもよい。 The reliability of the estimated position does not necessarily have to be derived based on the number of feature points that exist in common in images captured at times T1 and T2, but simply in a single image captured at the second time T2. It may be derived based on the number of feature points present. Similarly, the reliability of the estimated position may be derived based on the distance from the feature point existing in the single image captured at the second time T2 to the in-vehicle camera. In addition, the reliability of the estimated position may be derived based only on the number of feature points, and the distance from the feature point to the in-vehicle camera may not necessarily be considered. On the contrary, the reliability of the estimated position may be derived based only on the distance from the feature point to the in-vehicle camera, and the number of feature points may not necessarily be taken into consideration.
少なくとも車両は第１車載カメラと第２車載カメラとを備えていればよく、３個以上の車載カメラを備えてもよい。この場合、３個以上の車載カメラのそれぞれにて撮像された画像の画像認識に基づいて推定位置が推定されればよい。また、第１車載カメラは必ずしも単一のカメラによって構成されなくてもよく、例えばステレオカメラであってもよい。同様に第２車載カメラもステレオカメラであってもよい。光軸方向は、車両の位置に応じて撮像される風景が大きく変化する方向に設定されていることが望ましく、例えば水平方向であってもよい。光軸方向が異なるとは、２個の光軸方向がなす角が規定角（例えば１０度、望ましくは３０度）以上であることであってもよい。画像認識に基づいて推定位置を推定する手法として、公知の種々の手法を採用可能である。予め位置情報が対応付けられた比較画像と車載カメラで撮像した画像とを比較することにより推定位置が推定されてもよいし、位置情報と画像のデータベースを作成しながら推定位置の推定を行うＳＬＡＭ（Simultaneous Localization and Mapping）を採用してもよい。推定位置の信頼度は、推定位置の精度が良好である可能性が大きいほど大きくなる指標値である。推定位置の信頼度は、推定位置の算出過程で使用するパラメータから導出されてもよいし、車両の状態（運動状態、位置、外部環境）から導出されてもよい。 It is sufficient that at least the vehicle includes the first vehicle-mounted camera and the second vehicle-mounted camera, and the vehicle may include three or more vehicle-mounted cameras. In this case, the estimated position may be estimated based on image recognition of images captured by each of the three or more in-vehicle cameras. Further, the first vehicle-mounted camera does not necessarily need to be configured by a single camera, and may be a stereo camera, for example. Similarly, the second in-vehicle camera may be a stereo camera. The optical axis direction is preferably set to a direction in which the scenery to be imaged changes greatly according to the position of the vehicle, and may be, for example, a horizontal direction. The difference between the optical axis directions may be that the angle formed by the two optical axis directions is a specified angle (for example, 10 degrees, preferably 30 degrees) or more. As a method for estimating the estimated position based on image recognition, various known methods can be employed. The estimated position may be estimated by comparing a comparison image previously associated with position information and an image captured by the in-vehicle camera, or SLAM that estimates the estimated position while creating a database of position information and images. (Simultaneous Localization and Mapping) may be adopted. The reliability of the estimated position is an index value that increases as the possibility that the accuracy of the estimated position is good. The reliability of the estimated position may be derived from parameters used in the process of calculating the estimated position, or may be derived from the state of the vehicle (motion state, position, external environment).
また、導出位置取得部は、第１推定位置の信頼度と第２推定位置の信頼度に応じた重みによって、第１推定位置と第２推定位置とを加重平均することにより導出位置を導出してもよい。加重平均を行うことにより、信頼度が大きい推定位置を重視して導出位置を導出することができ、導出位置の精度を向上させることができる。ただし、導出位置取得部は、必ずしも加重平均によって導出位置を導出しなくてもよく、例えば第１推定位置の信頼度が閾値未満で第２推定位置の信頼度が当該閾値以上である場合に、第２推定位置をそのまま導出位置として取得してもよい。 Further, the derived position acquisition unit derives the derived position by performing a weighted average of the first estimated position and the second estimated position with weights according to the reliability of the first estimated position and the reliability of the second estimated position. May be. By performing the weighted average, it is possible to derive the derived position with an emphasis on the estimated position with high reliability, and it is possible to improve the accuracy of the derived position. However, the derived position acquisition unit does not necessarily have to derive the derived position by a weighted average. For example, when the reliability of the first estimated position is less than the threshold and the reliability of the second estimated position is equal to or greater than the threshold, The second estimated position may be acquired as it is as the derived position.
さらに、第１推定位置の信頼度と第２推定位置の信頼度は、それぞれ第１画像における特徴点の分布と第２画像における特徴点の分布に基づいて導出されてもよい。このように、実際に撮像した画像から信頼度を導出することにより、画像の状態に基づく確かな信頼度を得ることができる。 Furthermore, the reliability of the first estimated position and the reliability of the second estimated position may be derived based on the distribution of feature points in the first image and the distribution of feature points in the second image, respectively. Thus, by deriving the reliability from the actually captured image, a reliable reliability based on the state of the image can be obtained.
また、第１推定位置の信頼度は、第１時刻に撮像された第１画像と第２時刻に撮像された第１画像とにおいて共通して存在する特徴点の数に基づいて導出され、第２推定位置の信頼度は、第１時刻に撮像された第２画像と第２時刻に撮像された第２画像とにおいて共通して存在する特徴点の数に基づいて導出されてもよい。共通して存在する特徴点が多いほど、第１時刻から第２時刻までの間における特徴点の変位を多く解析することができ、当該特徴点の変位に基づいて推定位置を大きい信頼度で推定できる。従って、第１時刻に撮像された画像と第２時刻に撮像された画像とにおいて共通して存在する特徴点の数に基づいて推定位置の信頼度を導出できる。 In addition, the reliability of the first estimated position is derived based on the number of feature points that exist in common in the first image captured at the first time and the first image captured at the second time. The reliability of the two estimated positions may be derived based on the number of feature points that exist in common in the second image captured at the first time and the second image captured at the second time. The more feature points that exist in common, the more feature points can be analyzed between the first time and the second time, and the estimated position can be estimated with greater reliability based on the displacement of the feature points. it can. Therefore, the reliability of the estimated position can be derived based on the number of feature points that exist in common between the image captured at the first time and the image captured at the second time.
さらに、第１推定位置の信頼度は、第１時刻に撮像された第１画像と第２時刻に撮像された第１画像とにおいて共通して存在する特徴点と第１車載カメラまでの距離に基づいて導出され、第２推定位置の信頼度は、第１時刻に撮像された第２画像と第２時刻に撮像された第２画像とにおいて共通して存在する特徴点と第１車載カメラまでの距離に基づいて導出されてもよい。車載カメラから特徴点までの距離が小さい場合、車両の移動量がわずかであっても画像における特徴点の変位が大きくなる。従って、特徴点までの距離が小さい場合には、特徴点の変位に基づいて推定位置を大きい信頼度で推定できる。従って、車載カメラから特徴点までの距離に基づいて推定位置の信頼度を導出できる。 Further, the reliability of the first estimated position is the distance from the feature point that is common to the first image captured at the first time and the first image captured at the second time to the first vehicle-mounted camera. The reliability of the second estimated position is derived based on the feature points that are common to the second image captured at the first time and the second image captured at the second time and the first in-vehicle camera. May be derived based on the distance. When the distance from the in-vehicle camera to the feature point is small, the displacement of the feature point in the image increases even if the amount of movement of the vehicle is small. Therefore, when the distance to the feature point is small, the estimated position can be estimated with high reliability based on the displacement of the feature point. Therefore, the reliability of the estimated position can be derived based on the distance from the in-vehicle camera to the feature point.
また、第１推定位置の信頼度は、地図上における第１車載カメラの光軸方向に基づいて導出され、第２推定位置の信頼度は、地図上における第２車載カメラの光軸方向に基づいて導出されてもよい。地図上における光軸方向から被写体（種類や距離や数）を予測することができ、被写体に基づいて推定位置の信頼度を導出できる。例えば、光軸方向が対向車線側であるか路肩側であるかに応じて信頼度が設定されてもよい。また、車両の移動方向と光軸方向との関係性に応じて推定位置の信頼度が導出されてもよい。例えば、ステアリングセンサ等から得られた操舵角に応じて推定位置の信頼度が導出されてもよいし、車速に応じて推定位置の信頼度が導出されてもよい。 Further, the reliability of the first estimated position is derived based on the optical axis direction of the first vehicle-mounted camera on the map, and the reliability of the second estimated position is based on the optical axis direction of the second vehicle-mounted camera on the map. May be derived. The subject (type, distance, and number) can be predicted from the optical axis direction on the map, and the reliability of the estimated position can be derived based on the subject. For example, the reliability may be set depending on whether the optical axis direction is the opposite lane side or the road shoulder side. Further, the reliability of the estimated position may be derived according to the relationship between the moving direction of the vehicle and the optical axis direction. For example, the reliability of the estimated position may be derived according to the steering angle obtained from a steering sensor or the like, or the reliability of the estimated position may be derived according to the vehicle speed.
さらに、第１車載カメラの光軸方向と第２車載カメラの光軸方向の水平成分は互いに反対方向であってもよい。これにより、第１車載カメラと第２車載カメラとによって１８０度異なる方向の風景を撮像でき、双方同じような被写体を撮像する可能性を抑制し、推定位置の信頼度が双方とも小さくなることを抑制できる。 Furthermore, the horizontal components of the optical axis direction of the first vehicle-mounted camera and the optical axis direction of the second vehicle-mounted camera may be opposite to each other. As a result, it is possible to capture a landscape in a direction different by 180 degrees between the first vehicle-mounted camera and the second vehicle-mounted camera, suppress the possibility of capturing the same subject, and reduce the reliability of the estimated position. Can be suppressed.
また、第１車載カメラの光軸方向と第２車載カメラの光軸方向には、少なくとも車両の前後方向のいずれか一方と側方とが含まれてもよい。光軸方向が側方である場合、車両の前後の移動量を精度よく推定できる。一方、光軸方向が前方または後方である場合、車両が旋回した場合の移動量を精度よく推定できる。 Further, the optical axis direction of the first vehicle-mounted camera and the optical axis direction of the second vehicle-mounted camera may include at least one of the vehicle front-rear direction and the side. When the optical axis direction is lateral, the amount of movement of the vehicle before and after can be accurately estimated. On the other hand, when the optical axis direction is forward or backward, the amount of movement when the vehicle turns can be accurately estimated.
さらに、本発明の車両位置推定システムを構成する各構成要素は、上述の実施形態のように、１個の装置で実現されてもよいし、２個以上の装置に分かれて存在していてもよい。後者としては、例えば、カメラ別推定位置取得部と導出位置取得部のいずれかが２個以上の装置に分散して実現される構成を採用可能である。 Furthermore, each component which comprises the vehicle position estimation system of this invention may be implement | achieved by one apparatus like the above-mentioned embodiment, Even if it divides and exists in two or more apparatuses. Good. As the latter, for example, a configuration in which any one of the estimated position acquisition unit for each camera and the derived position acquisition unit is distributed to two or more devices can be adopted.
以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような構成要素を備えたサーバや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 The system, program, and method as described above can be assumed to be realized as a single device or a plurality of devices, and include various aspects. For example, it is possible to provide a server, a method, and a program that include the above components. Further, some changes may be made as appropriate, such as a part of software and a part of hardware. Furthermore, the invention can be realized as a recording medium for a program for controlling the system. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
１０…ナビゲーション装置、２０…制御部、２１…車両位置推定プログラム、２１ａ…カメラ別推定位置取得モジュール、２１ｂ…導出位置取得モジュール、３０…記録媒体、３０ａ…地図情報、３０ｂ…認識情報、４１Ｆ…前車載カメラ、４１Ｌ…左車載カメラ、４１Ｒ…右車載カメラ、４２…ユーザＩ／Ｆ部、ＢＬ，ＢＲ…信頼度、Ｇ…ガードレール、Ｈ…家、ＩＬ…左画像、ＩＲ…右画像、ＰＬT2…左推定位置、ＰＲT2…右推定位置、Ｓ…海、Ｗ…区画線、αＬ，αＲ…光軸方向、θＬT2…左推定方向、θＲT2…右推定方向
DESCRIPTION OF
Claims (10)
前記第１推定位置と前記第２推定位置、および、前記第１推定位置の信頼度と前記第２推定位置の信頼度に基づいて導出した前記車両の位置である導出位置を取得する導出位置取得部と、
を備える車両位置推定システム。 The first estimated position, which is the position of the vehicle estimated based on the image recognition of the first image captured by the first in-vehicle camera, and the second in-vehicle camera having an optical axis direction different from that of the first in-vehicle camera. An estimated position acquisition unit for each camera that acquires a second estimated position that is a position of the vehicle estimated based on image recognition of the second image;
Derived position acquisition for acquiring the first estimated position and the second estimated position, and the derived position that is the position of the vehicle derived based on the reliability of the first estimated position and the reliability of the second estimated position And
A vehicle position estimation system comprising:
請求項１に記載の車両位置推定システム。 The derived position acquisition unit performs the derivation by performing a weighted average of the first estimated position and the second estimated position with a weight according to the reliability of the first estimated position and the reliability of the second estimated position. Deriving the position,
The vehicle position estimation system according to claim 1.
請求項１または請求項２のいずれかに記載の車両位置推定システム。 The reliability of the first estimated position and the reliability of the second estimated position are derived based on the distribution of feature points in the first image and the distribution of feature points in the second image, respectively.
The vehicle position estimation system according to claim 1 or 2.
前記第２推定位置の信頼度は、前記第１時刻に撮像された前記第２画像と前記第２時刻に撮像された前記第２画像とにおいて共通して存在する特徴点の数に基づいて導出される、
請求項３に記載の車両位置推定システム。 The reliability of the first estimated position is derived based on the number of feature points that exist in common in the first image captured at the first time and the first image captured at the second time,
The reliability of the second estimated position is derived based on the number of feature points that exist in common in the second image captured at the first time and the second image captured at the second time. To be
The vehicle position estimation system according to claim 3.
前記第２推定位置の信頼度は、前記第１時刻に撮像された前記第２画像と前記第２時刻に撮像された前記第２画像とにおいて共通して存在する特徴点と前記第１車載カメラまでの距離に基づいて導出される、
請求項３または請求項４のいずれかに記載の車両位置推定システム。 The reliability of the first estimated position is a characteristic point that exists in common between the first image captured at the first time and the first image captured at the second time, and the first in-vehicle camera. Derived based on distance,
The reliability of the second estimated position is a characteristic point that exists in common between the second image captured at the first time and the second image captured at the second time, and the first in-vehicle camera. Derived based on the distance to
The vehicle position estimation system according to any one of claims 3 and 4.
前記第２推定位置の信頼度は、前記地図上における前記第２車載カメラの光軸方向に基づいて導出される、
請求項１または請求項２のいずれかに記載の車両位置推定システム。 The reliability of the first estimated position is derived based on the optical axis direction of the first vehicle-mounted camera on the map,
The reliability of the second estimated position is derived based on the optical axis direction of the second vehicle-mounted camera on the map.
The vehicle position estimation system according to claim 1 or 2.
請求項１から請求項６のいずれか一項に記載の車両位置推定システム。 The horizontal components of the optical axis direction of the first vehicle-mounted camera and the optical axis direction of the second vehicle-mounted camera are opposite to each other.
The vehicle position estimation system according to any one of claims 1 to 6.
請求項１から請求項６のいずれか一項に記載の車両位置推定システム。 The optical axis direction of the first vehicle-mounted camera and the optical axis direction of the second vehicle-mounted camera include at least one of the vehicle front-rear direction and the side.
The vehicle position estimation system according to any one of claims 1 to 6.
前記第１推定位置と前記第２推定位置、および、前記第１推定位置の信頼度と前記第２推定位置の信頼度に基づいて導出した前記車両の位置である導出位置を取得する導出位置取得工程と、
を含む車両位置推定方法。 The first estimated position, which is the position of the vehicle estimated based on the image recognition of the first image captured by the first in-vehicle camera, and the second in-vehicle camera having an optical axis direction different from that of the first in-vehicle camera. An estimated position acquisition process for each camera that acquires a second estimated position that is a position of the vehicle estimated based on image recognition of the second image;
Derived position acquisition for acquiring the first estimated position and the second estimated position, and the derived position that is the position of the vehicle derived based on the reliability of the first estimated position and the reliability of the second estimated position Process,
A vehicle position estimation method including:
前記第１推定位置と前記第２推定位置、および、前記第１推定位置の信頼度と前記第２推定位置の信頼度に基づいて導出した前記車両の位置である導出位置を取得する導出位置取得機能と、
をコンピュータに実現させる車両位置推定プログラム。 The first estimated position, which is the position of the vehicle estimated based on the image recognition of the first image captured by the first in-vehicle camera, and the second in-vehicle camera having an optical axis direction different from that of the first in-vehicle camera. An estimated position acquisition function for each camera that acquires a second estimated position that is a position of the vehicle estimated based on image recognition of the second image;
Derived position acquisition for acquiring the first estimated position and the second estimated position, and the derived position that is the position of the vehicle derived based on the reliability of the first estimated position and the reliability of the second estimated position Function and
Vehicle position estimation program that makes the computer realize.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015250964A JP2017116363A (en) | 2015-12-24 | 2015-12-24 | Vehicle position estimation system, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015250964A JP2017116363A (en) | 2015-12-24 | 2015-12-24 | Vehicle position estimation system, method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017116363A true JP2017116363A (en) | 2017-06-29 |
Family
ID=59233925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015250964A Pending JP2017116363A (en) | 2015-12-24 | 2015-12-24 | Vehicle position estimation system, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017116363A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112097742A (en) * | 2019-06-17 | 2020-12-18 | 北京地平线机器人技术研发有限公司 | Pose determination method and device |
| JP2021043486A (en) * | 2019-09-06 | 2021-03-18 | 株式会社東芝 | Position estimating device |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030083048A (en) * | 2002-04-19 | 2003-10-30 | 주식회사 지피에스코리아 | Mobile Mapping System and treating method thereof |
| US20050283699A1 (en) * | 2004-06-21 | 2005-12-22 | Kimihiro Nomura | Map error information obtaining system and map error information obtaining method |
| JP2007147564A (en) * | 2005-11-30 | 2007-06-14 | Aisin Aw Co Ltd | Image recognition device and method thereof, and own vehicle position recognition device and method |
| JP2008164384A (en) * | 2006-12-27 | 2008-07-17 | Aisin Aw Co Ltd | Device and method for recognizing position of local substance |
| JP2008175717A (en) * | 2007-01-19 | 2008-07-31 | Xanavi Informatics Corp | System for computing current position, and method for computing current position |
| US20120310516A1 (en) * | 2011-06-01 | 2012-12-06 | GM Global Technology Operations LLC | System and method for sensor based environmental model construction |
| JP2013185871A (en) * | 2012-03-06 | 2013-09-19 | Nissan Motor Co Ltd | Mobile object position attitude estimation device and method |
| JP2014034251A (en) * | 2012-08-08 | 2014-02-24 | Nissan Motor Co Ltd | Vehicle traveling control device and method thereof |
| CN103900583A (en) * | 2012-12-25 | 2014-07-02 | 联想(北京)有限公司 | Device and method used for real-time positioning and map building |
| JP2015102449A (en) * | 2013-11-26 | 2015-06-04 | 日産自動車株式会社 | Vehicle self position estimation apparatus and vehicle self position estimation method |
| US20150292891A1 (en) * | 2014-04-11 | 2015-10-15 | Nissan North America, Inc | Vehicle position estimation system |
-
2015
- 2015-12-24 JP JP2015250964A patent/JP2017116363A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030083048A (en) * | 2002-04-19 | 2003-10-30 | 주식회사 지피에스코리아 | Mobile Mapping System and treating method thereof |
| US20050283699A1 (en) * | 2004-06-21 | 2005-12-22 | Kimihiro Nomura | Map error information obtaining system and map error information obtaining method |
| JP2007147564A (en) * | 2005-11-30 | 2007-06-14 | Aisin Aw Co Ltd | Image recognition device and method thereof, and own vehicle position recognition device and method |
| JP2008164384A (en) * | 2006-12-27 | 2008-07-17 | Aisin Aw Co Ltd | Device and method for recognizing position of local substance |
| JP2008175717A (en) * | 2007-01-19 | 2008-07-31 | Xanavi Informatics Corp | System for computing current position, and method for computing current position |
| US20120310516A1 (en) * | 2011-06-01 | 2012-12-06 | GM Global Technology Operations LLC | System and method for sensor based environmental model construction |
| JP2013185871A (en) * | 2012-03-06 | 2013-09-19 | Nissan Motor Co Ltd | Mobile object position attitude estimation device and method |
| JP2014034251A (en) * | 2012-08-08 | 2014-02-24 | Nissan Motor Co Ltd | Vehicle traveling control device and method thereof |
| CN103900583A (en) * | 2012-12-25 | 2014-07-02 | 联想(北京)有限公司 | Device and method used for real-time positioning and map building |
| JP2015102449A (en) * | 2013-11-26 | 2015-06-04 | 日産自動車株式会社 | Vehicle self position estimation apparatus and vehicle self position estimation method |
| US20150292891A1 (en) * | 2014-04-11 | 2015-10-15 | Nissan North America, Inc | Vehicle position estimation system |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112097742A (en) * | 2019-06-17 | 2020-12-18 | 北京地平线机器人技术研发有限公司 | Pose determination method and device |
| CN112097742B (en) * | 2019-06-17 | 2022-08-30 | 北京地平线机器人技术研发有限公司 | Pose determination method and device |
| JP2021043486A (en) * | 2019-09-06 | 2021-03-18 | 株式会社東芝 | Position estimating device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166149B (en) | Positioning and three-dimensional line frame structure reconstruction method and system integrating binocular camera and IMU | |
| EP2757524B1 (en) | Depth sensing method and system for autonomous vehicles | |
| KR101725060B1 (en) | Apparatus for recognizing location mobile robot using key point based on gradient and method thereof | |
| US10762643B2 (en) | Method for evaluating image data of a vehicle camera | |
| Kitt et al. | Monocular visual odometry using a planar road model to solve scale ambiguity | |
| KR101776621B1 (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
| CN110569704A (en) | Multi-strategy self-adaptive lane line detection method based on stereoscopic vision | |
| Gräter et al. | Robust scale estimation for monocular visual odometry using structure from motion and vanishing points | |
| WO2021046716A1 (en) | Method, system and device for detecting target object and storage medium | |
| CN112997187A (en) | Two-dimensional object bounding box information estimation based on aerial view point cloud | |
| JP7147753B2 (en) | Information processing device, information processing method, and program | |
| KR20190030474A (en) | Method and apparatus of calculating depth map based on reliability | |
| CN111998862B (en) | BNN-based dense binocular SLAM method | |
| CN108958232A (en) | A kind of mobile sweeping robot SLAM device and algorithm based on deep vision | |
| KR101207535B1 (en) | Image-based simultaneous localization and mapping for moving robot | |
| Dragon et al. | Ground plane estimation using a hidden markov model | |
| CN112017236A (en) | Method and device for calculating position of target object based on monocular camera | |
| Miksch et al. | Automatic extrinsic camera self-calibration based on homography and epipolar geometry | |
| KR100574227B1 (en) | Apparatus and method for separating object motion from camera motion | |
| JP2017116363A (en) | Vehicle position estimation system, method, and program | |
| CN113516711A (en) | Camera pose estimation techniques | |
| CN106682584B (en) | Unmanned aerial vehicle obstacle detection method and device | |
| CN111862146B (en) | Target object positioning method and device | |
| Lin et al. | A visual positioning system for vehicle or mobile robot navigation | |
| JP2018116147A (en) | Map creation device, map creation method and map creation computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191119 |