JP2011215972A - 画像処理システム及び位置測位システム - Google Patents
画像処理システム及び位置測位システム Download PDFInfo
- Publication number
- JP2011215972A JP2011215972A JP2010084679A JP2010084679A JP2011215972A JP 2011215972 A JP2011215972 A JP 2011215972A JP 2010084679 A JP2010084679 A JP 2010084679A JP 2010084679 A JP2010084679 A JP 2010084679A JP 2011215972 A JP2011215972 A JP 2011215972A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- data
- image feature
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】車両からの風景を撮影した撮影画像から画像特徴点を抽出する特徴点抽出部と、画像特徴点に割り当てられた重み係数に基づいて画像特徴点から撮影画像毎の画像特徴点データを生成する画像特徴点データ生成部と、撮影画像中における画像特徴点データの分布状態に応じて画像特徴点に与えられる重み係数を調整する調整係数を設定する調整係数設定部と、画像特徴点データを画像特徴点データに対応する撮影画像の撮影位置を含む撮影属性情報と関係付けて、風景画像認識のために利用される参照データとしてデータベース化する参照データデータベース化部とを備えた画像処理システム。
【選択図】図1
Description
さらに、本発明は、上述した画像処理システムによって作成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムも権利範囲としている。そのような位置測位システムは、前記参照データを格納している参照データデータベースと、車両からの風景を撮影した撮影画像を入力するデータ入力部と、入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、前記画像特徴点から前記撮影画像毎の画像特徴点データを生成してマッチング用データとして出力する撮影画像処理部と、前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部と、を備えている。この位置測位システムでは、上述したように、風景マッチングに効果的な参照データを用いているので、良好に自車位置を決定することができる。
この画像処理システムは、データ入力部51、特徴点抽出部52、特徴点重要度決定部53と、重み付け部55、調整係数設定部54、画像特徴点データ生成部56、参照データデータベース化部57、などの機能部を備えているおり、それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。
なお、撮影状況情報で取り扱われる被写体は、公知の種々の方法で認識することが可能であるが、例えば、撮影画像から画像認識処理を通じて検知すること、各種車載センサ(距離センサ、障害物検出センサなど)からのセンサ信号を処理して検知すること、あるいはVICS (登録商標)(Vehicle Information and Communication System:道路交通情報通信システム)などを利用して外部からの信号を処理して検知することが知られている。
調整係数設定部54は、重み付け部55によって割り当てられた重み係数を対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、特徴点抽出部52によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部55によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部54は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。
上述した実施形態では、参照データDB92に格納される参照データには、撮影位置と撮影方位(カメラ光軸方位)が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候なども、関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、1つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには側方、後方の風景を撮影するカメラであってよい。つまり、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されるわけではない。
4:自車位置検出モジュール
41:GPS処理部
42:推測航法処理部
43:自車位置座標算定部
44:マップマッチング部
45:自車位置決定部
5:撮影画像処理部
51:データ入力部
52:特徴点抽出部
53:特徴点重要度決定部
54:重み付け部
55:調整係数設定部
56:画像特徴点データ生成部
57:参照データデータベース化部
6:風景マッチング部
Claims (9)
- 車両からの風景を撮影した撮影画像を入力するデータ入力部と、
入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、
前記画像特徴点に重み係数を割り当てる重み付け部と、
前記重み係数に基づいて前記画像特徴点から前記撮影画像毎の画像特徴点データを生成する画像特徴点データ生成部と、
前記画像特徴点データを当該画像特徴点データに対応する前記撮影画像の撮影位置を含む撮影属性情報と関係付けて、風景画像認識のために利用される参照データとしてデータベース化する参照データデータベース化部と、
前記撮影画像中における前記画像特徴点データの分布状態に応じて前記画像特徴点に与えられる重み係数を調整する調整係数を設定する調整係数設定部と、
を備える画像処理システム。 - 前記撮影画像の撮影領域が複数の画像区画に分割され、前記画像特徴点データの分布状態が前記画像区画を最小単位として評価される請求項1に記載の画像処理システム。
- 前記調整係数設定部は、前記調整係数による調整後の前記重み係数が所定値以上である前記画像特徴点データの分布が一様化するように、前記調整係数を設定する請求項1または2に記載の画像処理システム。
- 前記特徴点抽出部によって抽出される前記画像特徴点がエッジ点であり、前記エッジ点が直線を形成する直線成分エッジ点である場合、当該直線成分エッジ点には前記直線成分エッジ点以外のエッジ点より高い重み係数が与えられる請求項1から3のいずれか一項に記載の画像処理システム。
- 前記直線成分エッジ点のうち二つの直線成分の交点としての交点エッジ点には前記交点エッジ点以外の直線成分エッジ点に比べさらに高い重み係数が与えられる請求項4に記載の画像処理システム。
- 参照データデータベース化部は、前記参照データを構成する前記画像特徴点データのそれぞれに重み係数を関係付ける請求項1から5のいずれか一項に記載の画像処理システム。
- 前記撮影属性情報は、前記撮影画像の撮影位置に加えて撮影方位を含む請求項1から6のいずれか一項に記載の画像処理システム。
- 請求項1から7のいずれか一項に記載の画像処理システムによって作成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムにおいて、
前記参照データを格納している参照データデータベースと、
車両からの風景を撮影した撮影画像を入力するデータ入力部と、
入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、
前記画像特徴点から前記撮影画像毎の画像特徴点データを生成してマッチング用データとして出力する撮影画像処理部と、
前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部と、を備えた位置測位システム。 - 前記風景マッチング部は、前記調整係数による調整後の重み係数に基づいて前記抽出した参照データを選択し、前記マッチング用データとのマッチングに用いる請求項8に記載の位置測位システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084679A JP5177579B2 (ja) | 2010-03-31 | 2010-03-31 | 画像処理システム及び位置測位システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084679A JP5177579B2 (ja) | 2010-03-31 | 2010-03-31 | 画像処理システム及び位置測位システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011215972A true JP2011215972A (ja) | 2011-10-27 |
JP5177579B2 JP5177579B2 (ja) | 2013-04-03 |
Family
ID=44945612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010084679A Expired - Fee Related JP5177579B2 (ja) | 2010-03-31 | 2010-03-31 | 画像処理システム及び位置測位システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5177579B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020060501A (ja) * | 2018-10-12 | 2020-04-16 | パイオニア株式会社 | 情報処理装置 |
JP2020060497A (ja) * | 2018-10-12 | 2020-04-16 | パイオニア株式会社 | 情報処理装置 |
JP7462847B1 (ja) | 2022-12-13 | 2024-04-05 | 三菱電機株式会社 | 位置推定装置、位置推定方法、及び位置推定プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007060273A (ja) * | 2005-08-24 | 2007-03-08 | Denso Corp | 環境認識装置 |
JP2009037062A (ja) * | 2007-08-02 | 2009-02-19 | Xanavi Informatics Corp | 地図データ更新装置、及び地図データ更新システム |
JP2010038753A (ja) * | 2008-08-06 | 2010-02-18 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
-
2010
- 2010-03-31 JP JP2010084679A patent/JP5177579B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007060273A (ja) * | 2005-08-24 | 2007-03-08 | Denso Corp | 環境認識装置 |
JP2009037062A (ja) * | 2007-08-02 | 2009-02-19 | Xanavi Informatics Corp | 地図データ更新装置、及び地図データ更新システム |
JP2010038753A (ja) * | 2008-08-06 | 2010-02-18 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020060501A (ja) * | 2018-10-12 | 2020-04-16 | パイオニア株式会社 | 情報処理装置 |
JP2020060497A (ja) * | 2018-10-12 | 2020-04-16 | パイオニア株式会社 | 情報処理装置 |
JP7257770B2 (ja) | 2018-10-12 | 2023-04-14 | パイオニア株式会社 | 情報処理装置 |
JP7462847B1 (ja) | 2022-12-13 | 2024-04-05 | 三菱電機株式会社 | 位置推定装置、位置推定方法、及び位置推定プログラム |
WO2024127480A1 (ja) * | 2022-12-13 | 2024-06-20 | 三菱電機株式会社 | 位置推定装置、位置推定方法、及び位置推定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5177579B2 (ja) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5435306B2 (ja) | 画像処理システム及び位置測位システム | |
JP5057184B2 (ja) | 画像処理システム及び車両制御システム | |
JP5505723B2 (ja) | 画像処理システム及び位置測位システム | |
JP5168601B2 (ja) | 自車位置認識システム | |
JP5057183B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5062498B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5062497B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5333860B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5333862B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP4832596B2 (ja) | 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム | |
JP5182594B2 (ja) | 画像処理システム | |
JP5177579B2 (ja) | 画像処理システム及び位置測位システム | |
JP5333861B2 (ja) | 風景画像認識を用いた自車位置検出システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5177579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |