JP2011215052A - 風景画像認識を用いた自車位置検出システム - Google Patents
風景画像認識を用いた自車位置検出システム Download PDFInfo
- Publication number
- JP2011215052A JP2011215052A JP2010084624A JP2010084624A JP2011215052A JP 2011215052 A JP2011215052 A JP 2011215052A JP 2010084624 A JP2010084624 A JP 2010084624A JP 2010084624 A JP2010084624 A JP 2010084624A JP 2011215052 A JP2011215052 A JP 2011215052A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference data
- matching
- vehicle
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Abstract
【解決手段】車両からの風景を撮影した撮影画像から画像特徴点を抽出することによって生成された画像特徴点データに対応撮影画像の撮影位置を関係付けた参照データ群を格納している参照データデータベースと、車載カメラによる風景の実撮影画像から抽出された画像特徴点からなるマッチング用データにおける画像特徴点の分布状態と撮影位置に基づいて前記マッチング用データのマッチング相手候補として参照データデータベースから抽出する参照データを決定する抽出参照データ決定部と、決定された参照データとマッチング用データとのマッチングで成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する自車位置決定部とを備えている。
【選択図】図1
Description
前記マッチング用データを構成する前記画像特徴点の前記撮影画像における分布状態を算定する分布状態算定部と、前記分布状態と前記撮影位置とに基づいて前記マッチング用データのマッチング相手候補として前記参照データデータベースから抽出する参照データを決定する抽出参照データ決定部と、前記抽出参照データ決定部によって決定された参照データと前記マッチング用データとのマッチングを行うマッチング実行部と、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する自車位置決定部を備える点にある。
撮影位置を基準として、車両走行方向で後方側での撮影画像列から生成した参照データであるマッチング用データ列に画像特徴点が存在している可能性が高いので、車両走行方向で後方に偏るように複数の前記マッチング用データを前記マッチング相手候補として選ぶと、推定された自車位置に誤差があったとしても当該画像特徴点を検知する可能性が高くなり、マッチングの成功確率が向上する。
この画像処理システムは、データ入力部51、特徴点抽出部52、特徴点重要度決定部53と、重み付け部55、調整係数設定部54、画像特徴点データ生成部56、参照データデータベース化部57、などの機能部を備えているおり、それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。
しかしながら、推定自車位置と実自車位置とは一般的には異なる。従って、推定自車位置(撮影位置)を基準として、その前後で複数の参照データを参照データDB92から抽出し、順次マッチングパターンとし、実自車位置で撮影された風景に基づくマッチング用データとパターンマッチングされる。
次に、例を挙げてこのことを説明する。図5にも示しているように、実自車位置がP06で推定自車位置がP09とすると、実撮影画像によるマッチング用データはG06に対応し、推定自車位置を基準として前後に2つずつ参照データを抽出すると、G07〜G11となる。この場合では、G06に存在している特徴点が抽出された参照データ列のいずれにも存在していないので、マッチングは不成功となる。これに対して、もし基準点のオフセット修正を、例えば基準点を2つ後方に下げると(P09からP07へのオフセット)、抽出される参照データ列はG05〜G09となり、G05とG06に特徴点が存在するのでマッチングが成功する。
逆に、実撮影画像によるマッチング用データの中央領域に画像特徴点が存在している場合には、推定自車位置に基づく基準点を車両方向前方側にオフセットすることで、同様な効果が得られる。例えば、実自車位置がP02で推定自車位置がP00よりさらに後方側であった場合でも、基準点を車両方向前方側にオフセットすることでマッチングが成功とする可能性が高くなる。
つまり、(1)特徴点の分布状態が撮影画像の周辺領域に集中している場合には、参照データの抽出基準点を車両走行方向で後方にオフセットし、(2)特徴点の分布状態が撮影画像の中央領域に集中している場合には、参照データの抽出基準点を車両走行方向で前方にオフセットし、(3)特徴点の分布状態が全般的に拡がってその散布度が高い場合には、参照データの抽出基準点をオフセットしないというような参照点抽出アルゴリズムを採用することで、参照データDB92から参照データ列を効果的に抽出することができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、1つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには後方の風景を撮影するカメラであってよい。但し、後方の風景を撮影するリアカメラを利用すると、車両の走行ともに移動する特徴点の移動方向がフロントカメラの場合と逆となるので、特徴点が周辺に集中している場合には、基準点をオフセットする方向を後方ではなく前方とする。また特徴点が中央に集中している場合には、基準点をオフセットする方向を前方ではなく後方とする。つまり、フロントカメラでもリアカメラでも使用可能であるので、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されない。
4:自車位置検出モジュール
41:GPS処理部
42:推測航法処理部
43:自車位置座標算定部
44:マップマッチング部
45:自車位置決定部
5:撮影画像処理部
51:データ入力部
52:特徴点抽出部
53:特徴点重要度決定部
54:重み付け部
55:調整係数設定部
56:画像特徴点データ生成部
57:参照データデータベース化部
6:風景マッチング部
61:特徴点分布状態算定部
62:抽出基準点オフセット算定部
63:参照データ抽出検索条件決定部
64:マッチング実行部
65:マッチング撮影位置取り出し部
14:カメラ
92:参照データDB
91:道路地図DB
Claims (4)
- 車両からの風景を撮影した撮影画像から画像特徴点を抽出することによって生成された画像特徴点データと当該画像特徴点データに対応する撮影画像の撮影位置とを関係付けた参照データ群を格納している参照データデータベースと、
車載カメラによる風景の実撮影画像を入力して当該実撮影画像から画像特徴点を抽出することによって生成されたマッチング用データを出力する撮影画像処理部と、
前記実撮影画像の撮影位置を取得する撮影位置取得部と、
前記マッチング用データを構成する前記画像特徴点の前記撮影画像における分布状態を算定する分布状態算定部と、
前記分布状態と前記撮影位置とに基づいて前記マッチング用データのマッチング相手候補として前記参照データデータベースから抽出する参照データを決定する抽出参照データ決定部と、
前記抽出参照データ決定部によって決定された参照データと前記マッチング用データとのマッチングを行うマッチング実行部と、
前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する自車位置決定部と、
を備えている、風景画像認識を用いた自車位置検出システム。 - 前記抽出参照データ決定部は、前記分布状態が、撮影画像の周辺領域への偏在状態である場合、前記実撮影画像の撮影位置を基準として車両走行方向で車載カメラの撮影方向と反対方向に偏るように複数の前記マッチング用データを前記マッチング相手候補として決定する請求項1に記載の自車位置検出システム。
- 前記抽出参照データ決定部は、前記分布状態が、撮影画像の中央領域への集中状態である場合、前記実撮影画像の撮影位置を基準として車両走行方向でカメラの撮影方向に偏るように複数の前記マッチング用データを前記マッチング相手候補として決定する請求項1または2に記載の自車位置検出システム。
- 自車両の推定位置である推定自車位置を取得する推定自車位置取得部を更に備え、前記撮影位置取得部は、前記推定自車位置を用いて前記撮影位置を取得する請求項1から3のいずれか一項に記載の自車位置検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084624A JP5333860B2 (ja) | 2010-03-31 | 2010-03-31 | 風景画像認識を用いた自車位置検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084624A JP5333860B2 (ja) | 2010-03-31 | 2010-03-31 | 風景画像認識を用いた自車位置検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011215052A true JP2011215052A (ja) | 2011-10-27 |
JP5333860B2 JP5333860B2 (ja) | 2013-11-06 |
Family
ID=44944932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010084624A Expired - Fee Related JP5333860B2 (ja) | 2010-03-31 | 2010-03-31 | 風景画像認識を用いた自車位置検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5333860B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104748756A (zh) * | 2013-12-31 | 2015-07-01 | 现代自动车株式会社 | 使用云计算测量车辆位置的方法 |
KR20180015961A (ko) * | 2016-08-04 | 2018-02-14 | 영남대학교 산학협력단 | 이미지를 기반으로 한 객체 위치 추정 방법 및 장치 |
CN108073184A (zh) * | 2017-11-27 | 2018-05-25 | 天脉聚源(北京)传媒科技有限公司 | 无人机飞行控制方法及装置 |
CN109508682A (zh) * | 2018-11-20 | 2019-03-22 | 成都通甲优博科技有限责任公司 | 一种全景停车位的检测方法 |
JP2019052904A (ja) * | 2017-09-14 | 2019-04-04 | 日産自動車株式会社 | ランドマーク検出方法及びランドマーク検出装置 |
CN110275516A (zh) * | 2018-03-13 | 2019-09-24 | 本田技研工业株式会社 | 通过移除动态交通参与者的稳健的即时定位和地图构建 |
JP2021068240A (ja) * | 2019-10-24 | 2021-04-30 | 株式会社東芝 | 路面画像管理システム及びその路面画像管理方法 |
WO2022024563A1 (ja) * | 2020-07-31 | 2022-02-03 | 日立Astemo株式会社 | 自己位置推定装置及びプログラム |
JP2022513868A (ja) * | 2019-05-27 | 2022-02-09 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | カメラ位置決め |
CN114750147A (zh) * | 2022-03-10 | 2022-07-15 | 深圳甲壳虫智能有限公司 | 机器人的空间位姿确定方法、装置和机器人 |
CN117520662A (zh) * | 2024-01-04 | 2024-02-06 | 陕西云创网络科技股份有限公司 | 一种基于定位的景区智能导览方法及*** |
JP7479322B2 (ja) | 2021-03-26 | 2024-05-08 | Kddi株式会社 | 点群管理装置及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08247775A (ja) * | 1995-03-15 | 1996-09-27 | Toshiba Corp | 移動体の自己位置同定装置および自己位置同定方法 |
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
JP2005265494A (ja) * | 2004-03-17 | 2005-09-29 | Hitachi Ltd | 車両位置推定装置およびこれを用いた運転支援装置 |
WO2006106694A1 (ja) * | 2005-03-31 | 2006-10-12 | Pioneer Corporation | 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体 |
JP2007108043A (ja) * | 2005-10-14 | 2007-04-26 | Xanavi Informatics Corp | 位置測位装置、および位置測位方法 |
JP2009074986A (ja) * | 2007-09-21 | 2009-04-09 | Xanavi Informatics Corp | 自車位置演算装置、自車位置演算方法、および、自車位置演算プログラム |
JP2009250718A (ja) * | 2008-04-03 | 2009-10-29 | Nissan Motor Co Ltd | 車両位置検出装置及び車両位置検出方法 |
-
2010
- 2010-03-31 JP JP2010084624A patent/JP5333860B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08247775A (ja) * | 1995-03-15 | 1996-09-27 | Toshiba Corp | 移動体の自己位置同定装置および自己位置同定方法 |
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
JP2005265494A (ja) * | 2004-03-17 | 2005-09-29 | Hitachi Ltd | 車両位置推定装置およびこれを用いた運転支援装置 |
WO2006106694A1 (ja) * | 2005-03-31 | 2006-10-12 | Pioneer Corporation | 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体 |
JP2007108043A (ja) * | 2005-10-14 | 2007-04-26 | Xanavi Informatics Corp | 位置測位装置、および位置測位方法 |
JP2009074986A (ja) * | 2007-09-21 | 2009-04-09 | Xanavi Informatics Corp | 自車位置演算装置、自車位置演算方法、および、自車位置演算プログラム |
JP2009250718A (ja) * | 2008-04-03 | 2009-10-29 | Nissan Motor Co Ltd | 車両位置検出装置及び車両位置検出方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9465099B2 (en) | 2013-12-31 | 2016-10-11 | Hyundai Motor Company | Method for measuring position of vehicle using cloud computing |
CN104748756A (zh) * | 2013-12-31 | 2015-07-01 | 现代自动车株式会社 | 使用云计算测量车辆位置的方法 |
KR20180015961A (ko) * | 2016-08-04 | 2018-02-14 | 영남대학교 산학협력단 | 이미지를 기반으로 한 객체 위치 추정 방법 및 장치 |
KR101885961B1 (ko) * | 2016-08-04 | 2018-08-06 | 영남대학교 산학협력단 | 이미지를 기반으로 한 객체 위치 추정 방법 및 장치 |
JP2019052904A (ja) * | 2017-09-14 | 2019-04-04 | 日産自動車株式会社 | ランドマーク検出方法及びランドマーク検出装置 |
JP7027749B2 (ja) | 2017-09-14 | 2022-03-02 | 日産自動車株式会社 | ランドマーク検出方法及びランドマーク検出装置 |
CN108073184B (zh) * | 2017-11-27 | 2024-02-20 | 北京拉近众博科技有限公司 | 无人机飞行控制方法及装置 |
CN108073184A (zh) * | 2017-11-27 | 2018-05-25 | 天脉聚源(北京)传媒科技有限公司 | 无人机飞行控制方法及装置 |
CN110275516A (zh) * | 2018-03-13 | 2019-09-24 | 本田技研工业株式会社 | 通过移除动态交通参与者的稳健的即时定位和地图构建 |
JP2019207220A (ja) * | 2018-03-13 | 2019-12-05 | 本田技研工業株式会社 | 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行 |
JP7221089B2 (ja) | 2018-03-13 | 2023-02-13 | 本田技研工業株式会社 | 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行 |
CN109508682A (zh) * | 2018-11-20 | 2019-03-22 | 成都通甲优博科技有限责任公司 | 一种全景停车位的检测方法 |
JP2022513868A (ja) * | 2019-05-27 | 2022-02-09 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | カメラ位置決め |
JP2021068240A (ja) * | 2019-10-24 | 2021-04-30 | 株式会社東芝 | 路面画像管理システム及びその路面画像管理方法 |
JP7102383B2 (ja) | 2019-10-24 | 2022-07-19 | 株式会社東芝 | 路面画像管理システム及びその路面画像管理方法 |
US11256930B2 (en) | 2019-10-24 | 2022-02-22 | Kabushiki Kaisha Toshiba | Road surface management system and road surface management method thereof |
WO2022024563A1 (ja) * | 2020-07-31 | 2022-02-03 | 日立Astemo株式会社 | 自己位置推定装置及びプログラム |
JP7382910B2 (ja) | 2020-07-31 | 2023-11-17 | 日立Astemo株式会社 | 自己位置推定装置及びプログラム |
JP2022026832A (ja) * | 2020-07-31 | 2022-02-10 | 日立Astemo株式会社 | 自己位置推定装置及びプログラム |
JP7479322B2 (ja) | 2021-03-26 | 2024-05-08 | Kddi株式会社 | 点群管理装置及びプログラム |
CN114750147A (zh) * | 2022-03-10 | 2022-07-15 | 深圳甲壳虫智能有限公司 | 机器人的空间位姿确定方法、装置和机器人 |
CN114750147B (zh) * | 2022-03-10 | 2023-11-24 | 深圳甲壳虫智能有限公司 | 机器人的空间位姿确定方法、装置和机器人 |
CN117520662A (zh) * | 2024-01-04 | 2024-02-06 | 陕西云创网络科技股份有限公司 | 一种基于定位的景区智能导览方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP5333860B2 (ja) | 2013-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5333860B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5062497B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5435306B2 (ja) | 画像処理システム及び位置測位システム | |
JP5168601B2 (ja) | 自車位置認識システム | |
JP5057184B2 (ja) | 画像処理システム及び車両制御システム | |
JP5057183B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5505723B2 (ja) | 画像処理システム及び位置測位システム | |
JP5062498B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5333862B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5182594B2 (ja) | 画像処理システム | |
JP5177579B2 (ja) | 画像処理システム及び位置測位システム | |
JP5333861B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5557036B2 (ja) | 退出判定装置、退出判定プログラム及び退出判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5333860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |