JP6948042B2 - 位置推定装置、位置検出方法及びプログラム - Google Patents
位置推定装置、位置検出方法及びプログラム Download PDFInfo
- Publication number
- JP6948042B2 JP6948042B2 JP2020024110A JP2020024110A JP6948042B2 JP 6948042 B2 JP6948042 B2 JP 6948042B2 JP 2020024110 A JP2020024110 A JP 2020024110A JP 2020024110 A JP2020024110 A JP 2020024110A JP 6948042 B2 JP6948042 B2 JP 6948042B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- current
- data
- reference image
- video map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
Description
移動体の前後左右に取り付けられた4つのカメラによって地物が撮影された前方画像、後方画像、左方画像及び右方画像から成る現在画像を含む現在画像データを一定の時間間隔で継続的に取得する現在画像取得部と、
予め撮影することによって得られた地物の前方画像、後方画像、左方画像及び右方画像を含む参照画像と、当該参照画像の撮影位置情報と、が関連付けられた映像マップデータを取得する映像マップ取得部と、
前記取得された現在画像データの現在画像と前記取得された映像マップデータの参照画像とを照合することによって現在画像に対応する参照画像を特定する画像照合部と、
前記特定された現在画像に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の現在位置を推定する推定部と、
前記推定された現在位置を含む現在位置データを出力する出力部とを備え、
前記画像照合部は、さらに、前記取得された現在画像データの複数の現在画像の変化を示すベクトルと前記取得された映像マップデータの参照画像の変化を示すベクトルとを照合することによって、両ベクトルの類似度が最も高い参照画像を、前記複数の現在画像の変化に対応する参照画像として特定し、
前記推定部は、さらに、前記特定された複数の現在画像の変化に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の移動方向を推定し、
前記出力部は、さらに、前記推定された移動方向を含む移動方向データを出力する
ことを特徴とする。
移動体の前後左右に取り付けられた4つのカメラによって地物が撮影された前方画像、後方画像、左方画像及び右方画像から成る現在画像を含む現在画像データを一定の時間間隔で継続的に取得することと、
予め撮影することによって得られた地物の前方画像、後方画像、左方画像及び右方画像を含む参照画像と、当該参照画像の撮影位置情報と、が関連付けられた映像マップデータを取得することと、
前記取得された現在画像データの現在画像と前記取得された映像マップデータの参照画像とを照合することによって現在画像に対応する参照画像を特定することと、
前記特定された現在画像に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の現在位置を推定することと、
前記推定された現在位置を含む現在位置データを出力することとを含むみ、
前記参照画像を特定することでは、さらに、前記取得された現在画像データの複数の現在画像の変化を示すベクトルと前記取得された映像マップデータの参照画像の変化を示すベクトルとを照合することによって、両ベクトルの類似度が最も高い参照画像を、前記複数の現在画像の変化に対応する参照画像として特定し、
前記移動体の現在位置を推定することでは、さらに、前記特定された複数の現在画像の変化に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の移動方向を推定し、
前記現在位置データを出力することでは、さらに、前記推定された移動方向を含む移動方向データを出力する
ことを特徴とする。
コンピュータを、
移動体の前後左右に取り付けられた4つのカメラによって地物が撮影された前方画像、後方画像、左方画像及び右方画像から成る現在画像を含む現在画像データを一定の時間間隔で継続的に取得する現在画像取得部、
予め撮影することによって得られた地物の前方画像、後方画像、左方画像及び右方画像を含む参照画像と、当該参照画像の撮影位置情報と、が関連付けられた映像マップデータを取得する映像マップ取得部、
前記取得された現在画像データの現在画像と前記取得された映像マップデータの参照画像とを照合することによって現在画像に対応する参照画像を特定する画像照合部、
前記特定された現在画像に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の現在位置を推定する推定部、
前記推定された現在位置を含む現在位置データを出力する出力部、として機能させ、
前記画像照合部は、さらに、前記取得された現在画像データの複数の現在画像の変化を示すベクトルと前記取得された映像マップデータの参照画像の変化を示すベクトルとを照合することによって、両ベクトルの類似度が最も高い参照画像を、前記複数の現在画像の変化に対応する参照画像として特定し、
前記推定部は、さらに、前記特定された複数の現在画像の変化に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の移動方向を推定し、
前記出力部は、さらに、前記推定された移動方向を含む移動方向データを出力するように機能させるためのプログラムである。
本発明の実施の形態1に係る位置推定装置100は、移動体の現在位置を推定する装置であって、自動車に搭載される。自動車は、移動体に含まれる車両の一例であって、移動体は、地上を移動する物としての車両、人などを含む。
実施の形態1では、位置推定装置100が映像マップ記憶部104を備え、映像マップ取得部105が、映像マップデータ109を映像マップ記憶部104から取得する例を説明した。しかし、位置推定装置200は、図9に示すように、映像マップ記憶部104を備えなくてもよい。この場合、映像マップ取得部205は、例えば、図示しないサーバ装置からネットワークを介して映像マップデータ109を取得する。このネットワークは、有線回線、無線回線、又は、これらを組み合わせた回線によって構築される。
実施の形態1では、移動体としての自動車の現在位置が、現在画像データと映像マップデータ109とに基づいて推定される例を説明した。実施の形態2では、移動体としての自動車の現在位置が、自律航法によっても推定される。そして、実施の形態2に係る位置推定装置は。現在画像と参照画像とに基づいて推定された現在位置と、自律航法によって推定された現在位置のうち、より確からしい現在位置を選択して出力する。
詳細には、例えば、確証度が大きい方に対応する現在位置が選択される。すなわち、第1の確証度が第2の確証度よりも大きい場合、自律航法によって推定された現在位置が選択される。第2の確証度が第1の確証度よりも大きい場合、現在画像データと映像マップデータ109とに基づいて推定された現在位置が選択される。
(付記1)
移動体に取り付けられたカメラによって地物が撮影された現在画像を含む現在画像データを取得する現在画像取得部と、
予め撮影することによって得られた地物の画像を含む参照画像と、当該参照画像の撮影位置情報と、が関連付けられた映像マップデータを取得する映像マップ取得部と、
前記取得された現在画像データの現在画像と前記取得された映像マップデータの参照画像とを照合することによって現在画像に対応する参照画像を特定する画像照合部と、
前記特定された参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の現在位置を推定する推定部と、
前記推定された現在位置を含む現在位置データを出力する出力部とを備える
ことを特徴とする位置推定装置。
(付記2)
前記画像照合部は、さらに、前記取得された現在画像データの現在画像の変化と前記取得された映像マップデータの参照画像とを照合することによって現在画像の変化に対応する参照画像を特定し、
前記推定部は、さらに、前記特定された参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の移動方向を推定し、
前記出力部は、さらに、前記推定された移動方向を含む移動方向データを出力する
ことを特徴とする付記1に記載の位置推定装置。
(付記3)
前記映像マップデータは、予め定められた地物であるランドマーク及び道路に関する位置情報をさらに含み、
前記推定部は、さらに、前記取得された映像マップデータと前記取得された現在画像データとに基づいて、前記移動体の周辺に位置するランドマークと、前記移動体が移動中の道路とを推定し、
前記出力部は、さらに、前記推定された移動中の道路を示す移動中道路データを出力する
ことを特徴とする付記1又は2に記載の位置推定装置。
(付記4)
前記移動体は、車両であり、
前記現在画像取得部は、移動体の前後左右の各々に取り付けられたカメラによって地物が撮影された現在画像を含む現在画像データを取得する
ことを特徴とする付記1から3のいずれか1つに記載の位置推定装置。
(付記5)
GPSによって推定された前記移動体の現在位置である概略位置を示す概略位置データを取得する概略位置取得部をさらに備え、
前記映像マップ取得部は、前記取得された概略位置データが示す概略位置に対して予め定められた範囲の参照画像を含む映像マップデータを取得する
ことを特徴とする付記1から4のいずれか1つに記載の位置推定装置。
(付記6)
概略位置取得部が前記概略位置データを取得できない場合に、自律航法によって前記移動体の現在位置を推定し、当該自律航法によって推定した現在位置の確からしさを示す第1の確証度を求める自律航法部をさらに備え、
前記推定部は、さらに、前記映像マップデータに基づいて推定した現在位置の確からしさを示す第2の確証度を求め、
前記出力部は、前記第1の確証度と前記第2の確証度とを比較することによって、前記自律航法によって推定された現在位置と、前記映像マップデータに基づいて推定された現在位置と、のうち、より確からしい方の前記推定された現在位置を含む現在位置データを出力する
ことを特徴とする付記5に記載の位置推定装置。
(付記7)
少なくとも1つ以上のカメラをさらに備える
ことを特徴とする付記1から6のいずれか1つに記載の位置推定装置。
(付記8)
前記映像マップ取得部は、ネットワークを介してサーバ装置から前記映像マップデータを取得する
ことを特徴とする付記1から7のいずれか1つに記載の位置推定装置。
(付記9)
前記映像マップデータを記憶する映像マップ記憶部をさらに備え、
前記映像マップ取得部は、前記映像マップ記憶部から前記映像マップデータを取得する
ことを特徴とする付記1から8のいずれか1つに記載の位置推定装置。
(付記10)
移動体に取り付けられたカメラによって地物が撮影された現在画像を含む現在画像データを取得することと、
予め撮影することによって得られた地物の画像を含む参照画像と、当該参照画像の撮影位置情報と、が関連付けられた映像マップデータを取得することと、
前記取得された現在画像データの現在画像と前記取得された映像マップデータの参照画像とを照合することによって現在画像に対応する参照画像を特定することと、
前記特定された参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の現在位置を推定することと、
前記推定された現在位置を含む現在位置データを出力することとを含む
ことを特徴とする位置推定方法。
(付記11)
コンピュータを、
移動体に取り付けられたカメラによって地物が撮影された現在画像を含む現在画像データを取得する現在画像取得部、
予め撮影することによって得られた地物の画像を含む参照画像と、当該参照画像の撮影位置情報と、が関連付けられた映像マップデータを取得する映像マップ取得部、
前記取得された現在画像データの現在画像と前記取得された映像マップデータの参照画像とを照合することによって現在画像に対応する参照画像を特定する画像照合部、
前記特定された参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の現在位置を推定する推定部、
前記推定された現在位置を含む現在位置データを出力する出力部、
として機能させるためのプログラム。
101,101a〜101d カメラ
102 現在画像取得部
103 概略位置取得部
104 映像マップ記憶部
105,205 映像マップ取得部
106 画像照合部
107 推定部
108 出力部
109 映像マップデータ
109a 地図データ
109b 映像データ
310 自律航法部
Claims (7)
- 移動体の前後左右に取り付けられた4つのカメラによって地物が撮影された前方画像、後方画像、左方画像及び右方画像から成る現在画像を含む現在画像データを一定の時間間隔で継続的に取得する現在画像取得部と、
予め撮影することによって得られた地物の前方画像、後方画像、左方画像及び右方画像を含む参照画像と、当該参照画像の撮影位置情報と、が関連付けられた映像マップデータを取得する映像マップ取得部と、
前記取得された現在画像データの現在画像と前記取得された映像マップデータの参照画像とを照合することによって現在画像に対応する参照画像を特定する画像照合部と、
前記特定された現在画像に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の現在位置を推定する推定部と、
前記推定された現在位置を含む現在位置データを出力する出力部とを備え、
前記画像照合部は、さらに、前記取得された現在画像データの複数の現在画像の変化を示すベクトルと前記取得された映像マップデータの参照画像の変化を示すベクトルとを照合することによって、両ベクトルの類似度が最も高い参照画像を、前記複数の現在画像の変化に対応する参照画像として特定し、
前記推定部は、さらに、前記特定された複数の現在画像の変化に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の移動方向を推定し、
前記出力部は、さらに、前記推定された移動方向を含む移動方向データを出力する
ことを特徴とする位置推定装置。 - 前記映像マップデータは、予め定められた地物であるランドマーク及び道路に関する位置情報をさらに含み、
前記推定部は、さらに、前記取得された映像マップデータと前記取得された現在画像データとに基づいて、前記移動体の周辺に位置するランドマークと、前記移動体が移動中の道路とを推定し、
前記出力部は、さらに、前記推定された移動中の道路を示す移動中道路データを出力する
ことを特徴とする請求項1に記載の位置推定装置。 - GPSによって推定された前記移動体の現在位置である概略位置を示す概略位置データを取得する概略位置取得部をさらに備え、
前記映像マップ取得部は、前記取得された概略位置データが示す概略位置に対して予め定められた範囲の参照画像を含む映像マップデータを取得する
ことを特徴とする請求項1又は2に記載の位置推定装置。 - 前記概略位置取得部が前記概略位置データを取得できない場合に、自律航法によって前記移動体の現在位置を推定し、当該自律航法によって推定した現在位置の確からしさを示す第1の確証度を求める自律航法部をさらに備え、
前記推定部は、さらに、前記映像マップデータに基づいて推定した現在位置の確からしさを示す第2の確証度を求め、
前記出力部は、前記第1の確証度と前記第2の確証度とを比較することによって、前記自律航法によって推定された現在位置と、前記映像マップデータに基づいて推定された現在位置と、のうち、より確からしい方の前記推定された現在位置を含む現在位置データを出力する
ことを特徴とする請求項3に記載の位置推定装置。 - 前記映像マップ取得部は、ネットワークを介してサーバ装置から前記映像マップデータを取得する
ことを特徴とする請求項1から4のいずれか1項に記載の位置推定装置。 - 移動体の前後左右に取り付けられた4つのカメラによって地物が撮影された前方画像、後方画像、左方画像及び右方画像から成る現在画像を含む現在画像データを一定の時間間隔で継続的に取得することと、
予め撮影することによって得られた地物の前方画像、後方画像、左方画像及び右方画像を含む参照画像と、当該参照画像の撮影位置情報と、が関連付けられた映像マップデータを取得することと、
前記取得された現在画像データの現在画像と前記取得された映像マップデータの参照画像とを照合することによって現在画像に対応する参照画像を特定することと、
前記特定された現在画像に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の現在位置を推定することと、
前記推定された現在位置を含む現在位置データを出力することとを含み、
前記参照画像を特定することでは、さらに、前記取得された現在画像データの複数の現在画像の変化を示すベクトルと前記取得された映像マップデータの参照画像の変化を示すベクトルとを照合することによって、両ベクトルの類似度が最も高い参照画像を、前記複数の現在画像の変化に対応する参照画像として特定し、
前記移動体の現在位置を推定することでは、さらに、前記特定された複数の現在画像の変化に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の移動方向を推定し、
前記現在位置データを出力することでは、さらに、前記推定された移動方向を含む移動方向データを出力する
ことを特徴とする位置推定方法。 - コンピュータを、
移動体の前後左右に取り付けられた4つのカメラによって地物が撮影された前方画像、後方画像、左方画像及び右方画像から成る現在画像を含む現在画像データを一定の時間間隔で継続的に取得する現在画像取得部、
予め撮影することによって得られた地物の前方画像、後方画像、左方画像及び右方画像を含む参照画像と、当該参照画像の撮影位置情報と、が関連付けられた映像マップデータを取得する映像マップ取得部、
前記取得された現在画像データの現在画像と前記取得された映像マップデータの参照画像とを照合することによって現在画像に対応する参照画像を特定する画像照合部、
前記特定された現在画像に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の現在位置を推定する推定部、
前記推定された現在位置を含む現在位置データを出力する出力部、として機能させ、
前記画像照合部は、さらに、前記取得された現在画像データの複数の現在画像の変化を示すベクトルと前記取得された映像マップデータの参照画像の変化を示すベクトルとを照合することによって、両ベクトルの類似度が最も高い参照画像を、前記複数の現在画像の変化に対応する参照画像として特定し、
前記推定部は、さらに、前記特定された複数の現在画像の変化に対応する参照画像に前記映像マップデータにて関連付けられた撮影位置情報に基づいて、前記移動体の移動方向を推定し、
前記出力部は、さらに、前記推定された移動方向を含む移動方向データを出力するように機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020024110A JP6948042B2 (ja) | 2016-02-22 | 2020-02-17 | 位置推定装置、位置検出方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016031016A JP6751280B2 (ja) | 2016-02-22 | 2016-02-22 | 位置推定装置、位置検出方法及びプログラム |
JP2020024110A JP6948042B2 (ja) | 2016-02-22 | 2020-02-17 | 位置推定装置、位置検出方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016031016A Division JP6751280B2 (ja) | 2016-02-22 | 2016-02-22 | 位置推定装置、位置検出方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020098363A JP2020098363A (ja) | 2020-06-25 |
JP6948042B2 true JP6948042B2 (ja) | 2021-10-13 |
Family
ID=71105950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020024110A Active JP6948042B2 (ja) | 2016-02-22 | 2020-02-17 | 位置推定装置、位置検出方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6948042B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11271074A (ja) * | 1998-03-20 | 1999-10-05 | Fujitsu Ltd | 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体 |
JP4931113B2 (ja) * | 2006-06-27 | 2012-05-16 | アルパイン株式会社 | 自車位置決定装置 |
WO2011013179A1 (ja) * | 2009-07-31 | 2011-02-03 | 富士通株式会社 | 移動***置検出装置および移動***置検出方法 |
-
2020
- 2020-02-17 JP JP2020024110A patent/JP6948042B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020098363A (ja) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6751280B2 (ja) | 位置推定装置、位置検出方法及びプログラム | |
CN108450034B (zh) | 基于图像的车辆测位***及方法 | |
JP7326720B2 (ja) | 移動***置推定システムおよび移動***置推定方法 | |
JP6675770B2 (ja) | 地図更新方法および車載端末 | |
US9794519B2 (en) | Positioning apparatus and positioning method regarding a position of mobile object | |
KR100647807B1 (ko) | 그림자 분석을 통한 3차원 건물정보 추출방법 | |
CA2569209C (en) | Image-augmented inertial navigation system (iains) and method | |
JP2009257763A (ja) | 車輌用位置推定装置、車輌用位置推定方法、および車輌用位置推定プログラム | |
EP2749842A1 (en) | System and method for collaborative navigation | |
US20200218906A1 (en) | Robust lane association by projecting 2-d image into 3-d world using map information | |
WO2020140164A1 (en) | Systems and methods for updating a high-definition map | |
JP7045285B2 (ja) | 情報提供装置、情報提供方法、および情報提供プログラム | |
JP7259454B2 (ja) | 移動***置推定システムおよび移動***置推定方法 | |
WO2020039937A1 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
WO2006043270A2 (en) | An auxilliary navigation system for use in urban areas | |
JP2022039188A (ja) | 位置姿勢算出方法および位置姿勢算出プログラム | |
CN111183464B (zh) | 基于车辆轨迹数据估计信号交叉路口的饱和流量的***和方法 | |
CN111325088A (zh) | 信息处理***、程序以及信息处理方法 | |
JP6948042B2 (ja) | 位置推定装置、位置検出方法及びプログラム | |
US11481920B2 (en) | Information processing apparatus, server, movable object device, and information processing method | |
CN113091756A (zh) | 位置推定装置、以及位置推定方法 | |
CN112689234A (zh) | 室内车辆定位方法、装置、计算机设备和存储介质 | |
JP6810428B2 (ja) | 位置推定装置、位置推定方法及びプログラム | |
CN115132061A (zh) | 地图生成装置、地图生成***、地图生成方法及存储介质 | |
JP2022066276A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6948042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |