JP2011215973A - 風景マッチング用参照データ生成システム及び位置測位システム - Google Patents
風景マッチング用参照データ生成システム及び位置測位システム Download PDFInfo
- Publication number
- JP2011215973A JP2011215973A JP2010084690A JP2010084690A JP2011215973A JP 2011215973 A JP2011215973 A JP 2011215973A JP 2010084690 A JP2010084690 A JP 2010084690A JP 2010084690 A JP2010084690 A JP 2010084690A JP 2011215973 A JP2011215973 A JP 2011215973A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- reference data
- unit
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】推定自車位置を算定する機能を有する複数のプローブカーによって順次取得されたプローブデータから取り出された所定撮影位置領域の撮影画像の撮影位置の精度信頼度を評価して、この精度信頼度を撮影画像に付与し、所定度以上の精度信頼度を有する複数の撮影画像を処理対象撮影画像として選別し、各々の処理対象撮影画像の画像特徴点を抽出し、それらを統計処理して画像特徴点データを生成する。この画像特徴点データにこの画像特徴点データの元になった処理対象撮影画像の撮影位置を関係付けて、風景マッチングに利用される参照データが生成される
【選択図】図1
Description
最初に、この構築手順を説明する。図1に示すように、走行途中における複数のプローブカーからの風景を撮影した撮影画像とその撮影時の撮影位置(実質的には自車位置である)が、プローブカーを識別するプローブカーID(以下、単にP−IDと略称される)にリンクされた形でプローブデータとして入力され、所定の第1撮影位置領域に属する撮影位置を有するプローブデータが処理単位としてワーキングメモリに一時格納される(#01)。この第1撮影位置領域は、実質的に同じ撮影位置とみなすことができる領域として設定される(例えば1m範囲)。次に、ワーキングメモリに展開された撮影画像から撮影画像の撮影位置の精度信頼度を評価して、この精度信頼度を撮影画像に付与する(#02)。この精度信頼度は、各プローブカーに搭載されているカーナビゲーション装置などの自車位置検出能力や交差点や屈曲路での特定場所認識による位置補正後の走行距離などによって求められる。精度信頼度を付与された撮影画像は精度信頼度を並び替えキーとして並び替えられ、所定度以上の精度信頼度を有する撮影画像(精度信頼度が高い順での所定数の撮影画像を含む)が処理対象データ(P−ID、撮影位置、撮影画像などからなるプローブデータ)の形態で選別される(#03)。処理対象データとして選別された各撮影画像(以下、処理対象撮影画像ないしは単に撮影画像と称する)から画像特徴量が演算される。画像特徴量の演算とは、撮影画像のマッチングを行うための特徴的な点や点群を求めるための画像処理であり、代表的な処理は、輪郭検出演算子を用いたエッジ検出であり、それによってエッジ検出画像(画像特徴点データの一種)が得られる(#04)。エッジ検出画像には多数の画像特徴点としてのエッジ点があるので、マッチング処理において効果的と判断される画像特徴点を抽出する(#05)。複数の処理対象撮像画像のそれぞれから得られた画像特徴点群のうち共通化できる特徴点を抽出して、共通画像特徴点群からなる画像データを生成して、画像特徴点データとする(#06)。さらに、前述した第1撮影位置領域内の処理対象撮影画像群(つまり同じ撮影位置での撮影画像とみなされる撮影画像群)のそれぞれに含まれている撮影位置を用いて、それらの撮影位置を代表する代表撮影位置が別系統で演算される(#07)。代表撮影位置演算においては、単純な平均演算を用いても良いし、各撮影位置の精度が分かっている場合は、その精度を重みとした重み平均演算を用いても良い。その他種々の統計的演算を用いることも可能である。次に、画像特徴点データに代表撮影位置を関係付けて参照データを生成する(#08)。生成された参照データは、代表撮影位置を検索条件として検索抽出可能なようにデータベース化され、風景画像マッチングでのパターンマッチングのパターンとして利用されるべく参照データDB92に格納される(#09)。
図2に示すように、ここでも、走行途中における複数のプローブカーからの風景を撮影した撮影画像とその撮影時の撮影位置が、プローブカーを識別するP−IDにリンクされた形でプローブデータとして入力され、所定の第2撮影位置領域単位でワーキングメモリに一時格納される(#01)。第2撮影位置領域は、第1撮影位置領域よりも広く設定され、精度が低い撮影位置の誤差の範囲よりも十分に広く設定された領域である。次に、ワーキングメモリに展開された撮影画像の画像類似度を評価して、この画像類似度を撮影画像に付与する(#02a)。画像類似度を付与された撮影画像は画像類似度をZ軸、撮影位置のX座標をX軸、撮影位置のY座標をY軸として、三次元展開され、高い類似度が集中しているX−Y領域が選択領域SAとされ、その選択領域SAに属する撮影画像または所定度以上の類似度を有する撮影画像が処理対象データ(P−ID、撮影位置、撮影画像などからなるプローブデータ)の形態で選別される(#03a)。処理対象データとして選別された各処理対象撮影画像から画像特徴量が演算される。画像特徴量の演算とは、この例では、輪郭検出演算子を用いたエッジ検出であり、それによってエッジ検出画像(画像特徴点データの一種)が得られる(#04)。エッジ検出画像には多数の画像特徴点としてのエッジ点があるので、マッチング処理において効果的と判断される画像特徴点を抽出する(#05)。複数の処理対象撮像画像のそれぞれから得られた画像特徴点群のうち共通化できる特徴点を抽出して、共通画像特徴点群からなる画像データを生成して、画像特徴点データとする(#06)。ここでも、別系統で、上記選択領域SAに属する処理対象撮影画像群のそれぞれに含まれている撮影位置を用いて、それらの撮影位置を代表する代表撮影位置を演算する(#07)。次に、画像特徴点データに代表撮影位置を関係付けて参照データを生成する(#08)。生成された参照データは、代表撮影位置を検索条件として検索抽出可能なようにデータベース化され、風景画像マッチングでのパターンマッチングのパターンとして利用されるべく参照データDB92に格納される(#09)。
撮影状況情報は、撮影画像から参照データを生成する際に付加的に用いられる情報であり、撮影画像に特定被写体が含まれていることを表す情報である。この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所の種別、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといったエリア属性を示すデータである。
画像類似度評価部53Bで利用される画像類似度の算出には種々の手法が知られているが、まずは個々の撮影画像における特徴を代表するような指標値を求め、この指標値から類似度を求めることができる。以下にそのような指標値を列挙する。
(1)画素値の平均を用いる手法
画像全体での画素値の平均を各色成分毎に演算して、比較したい画像間の各色成分別の平均値の三次元ユークリッド距離を求めて、正規化する。
(2)画像ヒストグラムを用いる手法
比較したい画像の色成分毎の輝度ヒストグラムから各階級での差分の2乗和の平方根を演算し、各色成分の値を積算して、正規化する。
(3)同一位置画素値の差分を用いる手法
互いの解像度を合わせ、同一位置の画素値の差分の2乗和の平方根を演算して、正規化する。
(4)画像の空間周波数ヒストグラムを用いる手法
比較したい画像の空間周波数をフーリエ変換し、周波数−輝度ヒストグラムを生成し、各階級での差分の2乗和の平方根を演算し、正規化する。
上記以外でも種々の画像特性を利用した類似度の算出手法を採用することができるので、本発明は特定の算出手法に限定されるわけではない。撮影画像に応じて、例えば、山間部走行や都市部走行や高速道路走行などに応じて類似度の算出手法を変更してもよい。
また、第1撮影位置領域を処理単位として選別された処理対象撮影画像の撮影位置に基づいて代表撮影位置を演算する場合は、精度信頼性の高い撮影位置が統計的演算の母集団となるので、算術平均値や中間値などの単純統計的演算値を代表撮影位置とすることができる。これに対して、第1撮影位置領域比べてその領域が大きい第2撮影位置領域を処理単位として選別された処理対象撮影画像の撮影位置に基づいて代表撮影位置を演算する場合は、精度信頼性の比較的低い撮影位置が統計的演算の母集団となるので、位置精度情報を用いた重み付き平均値のようなばらつきを考慮した統計的演算値を代表撮影位置とするとよい。
図6に示されているように、特徴点演算部60は、特徴点抽出部61、特徴点重要度決定部62、重み付け部63、調整係数設定部64、特徴点出力部65、共通特徴点評価部66を備えている。特徴点抽出部61は、適当な輪郭(エッジ)検出演算子を使用して撮影画像から画像特徴としての画像特徴点を抽出する。従って、ここでの画像特徴点はエッジ点やエッジ点群(エッジ線)である。特徴点重要度決定部62は、特徴点抽出部61によって抽出された画像特徴点(エッジ点)の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対してより高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に対して高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。
なお、この共通特徴点評価部66における処理においても、第1撮影位置領域を処理単位として選別された処理対象撮影画像に基づく画像特徴点群を取り扱う場合には、第1撮影位置領域が狭い領域で、かつそれらの撮影位置の精度の高いことから、それぞれの画像特徴点群はかなり類似しているとみなされる。また、第2撮影位置領域を処理単位として選別された処理対象撮影画像に基づく画像特徴点群を取り扱う場合には、その領域が第1撮影位置領域より広いとしても、高い画像類似度を有する撮影画像が選別されていることから、それぞれの画像特徴点群は十分類似しているとみなされる。これにより、ここで生成される共通画像特徴点群は信頼性の高い参照データの元になりうる。
上述した実施形態では、複数の処理対象撮影画像のそれぞれの撮影位置を統計的に処理して参照データに付属する代表撮影位置を求めていたが、最初の処理単位の取り方、つまり、第1撮影位置領域や第2撮影位置領域の大きさの設定によっては、その設定時に予め代表撮影位置を決めておいてもよい。あるいは、代表撮影位置を決めておいてから、第1撮影位置領域や第2撮影位置領域の大きさを設定してもよい。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体のエッジ点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、1つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには側方、後方の風景を撮影するカメラであってよい。つまり、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されるわけではない。
4:自車位置検出モジュール
41:GPS処理部
42:推測航法処理部
43:自車位置座標算定部
44:マップマッチング部
45:自車位置決定部
5:画像処理システム
51:データ入力部
52:一時格納部
53:プローブデータ評価部
53A:画像類似度評価部
53B:精度信頼度評価部
54:処理対象データ選別部
55:画像特徴点データ生成部
56:代表撮影位置演算部
57:参照データ生成部
60:特徴点演算部
61:特徴点抽出部
62:特徴点重要度決定部
63:重み付け部
64:調整係数設定部
65:特徴点出力部
66: 共通特徴点評価部
6:風景マッチング部
14:カメラ
92:参照データDB(参照データデータベース)
91:道路地図DB(道路地図データベース)
Claims (7)
- 車両からの風景を画像認識する風景マッチングに行う際に利用される参照データを作成する風景マッチング用参照データ生成システムであって、
推定自車位置を算定する機能を有する複数のプローブカーによって順次取得された撮影画像と当該撮影画像の撮影位置としての前記推定自車位置とを含むプローブデータを入力するデータ入力部と、
前記プローブデータから取り出された撮影位置の撮影画像を一時格納する一時格納部と、
前記一時格納部に格納された撮影画像の撮影位置の精度信頼度を評価して、当該撮影画像に前記精度信頼度を付与する精度信頼度評価部と、
前記一時格納部から所定度以上の精度信頼度を有する複数の撮影画像を処理対象撮影画像として選別する処理対象データ選別部と、
前記複数の処理対象撮影画像から各々の処理対象撮影画像の画像特徴点を抽出し、それらを統計処理して画像特徴点データを生成する画像特徴点データ生成部と、
前記画像特徴点データに前記複数の処理対象撮影画像の撮影位置を関係付けて、前記風景マッチングに利用される前記参照データを生成する参照データ生成部と、
を備えた風景マッチング用参照データ生成システム。 - 前記複数の処理対象撮影画像のそれぞれの撮影位置を統計的に処理して、前記複数の処理対象撮影画像の代表撮影位置を演算する代表撮影位置演算部がさらに備えられ、前記代表撮影位置が前記画像特徴点データに関係付けられる処理対象撮影画像の撮影位置となる請求項1に記載の風景マッチング用参照データ生成システム。
- 前記各プローブカーの自車位置精度を表す情報と前記各プローブカーの走行状況を表す情報とに応じて前記撮影画像の撮影位置の精度信頼度を規定している精度信頼度テーブルが備えられ、前記精度信頼度評価部は前記精度信頼度テーブルを利用して前記撮影画像毎の前記精度信頼度を評価する請求項1または2に記載の風景マッチング用参照データ生成システム。
- 前記プローブデータには、前記撮影位置の精度信頼度を示す精度信頼度データが含まれており、前記精度信頼度評価部は前記精度信頼度データを利用して前記撮影画像毎の前記精度信頼度を評価する請求項1から3のいずれか一項に記載の風景マッチング用参照データ生成システム。
- 前記一時格納部に格納された撮影画像の画像類似度を評価して、当該撮影画像に前記画像類似度を付与する画像類似度評価部がさらに備えられており、前記処理対象データ選別部は前記一時格納部から所定度以上の画像類似度を有する複数の撮影画像を前記処理対象撮影画像として選別する請求項1から4のいずれか一項に記載の風景マッチング用参照データ生成システム。
- 前記一時格納部に格納された所定度以上の精度信頼度を有する撮影画像の数が所定数以下である場合に、前記処理対象データ選別部は、前記精度信頼度を選別条件とする精度信頼度モードから前記画像類似度を選別条件とする画像類似度モードに切り換える請求項5に記載の風景マッチング用参照データ生成システム。
- 請求項1から6のいずれか一項に記載の風景マッチング用参照データ生成システムによって作成される参照データを用いた風景マッチング処理を通じて自車位置を決定する位置測位システムにおいて、
前記参照データを格納している参照データデータベースと、
車両からの風景を撮影した撮影画像から画像特徴点を抽出し、当該画像特徴点から前記撮影画像毎の画像特徴点データを生成してマッチング用データとして出力する撮影画像処理部と、
前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部とを備えた位置測位システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084690A JP5057183B2 (ja) | 2010-03-31 | 2010-03-31 | 風景マッチング用参照データ生成システム及び位置測位システム |
US13/020,304 US8452103B2 (en) | 2010-03-31 | 2011-02-03 | Scene matching reference data generation system and position measurement system |
EP11153983A EP2372611A3 (en) | 2010-03-31 | 2011-02-10 | Scene matching reference data generation system and position measurement system |
CN201110071023.8A CN102208013B (zh) | 2010-03-31 | 2011-03-21 | 风景匹配参考数据生成***和位置测量*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084690A JP5057183B2 (ja) | 2010-03-31 | 2010-03-31 | 風景マッチング用参照データ生成システム及び位置測位システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011215973A true JP2011215973A (ja) | 2011-10-27 |
JP5057183B2 JP5057183B2 (ja) | 2012-10-24 |
Family
ID=44212267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010084690A Expired - Fee Related JP5057183B2 (ja) | 2010-03-31 | 2010-03-31 | 風景マッチング用参照データ生成システム及び位置測位システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8452103B2 (ja) |
EP (1) | EP2372611A3 (ja) |
JP (1) | JP5057183B2 (ja) |
CN (1) | CN102208013B (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015231101A (ja) * | 2014-06-04 | 2015-12-21 | パイオニア株式会社 | 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体 |
JP2019029938A (ja) * | 2017-08-02 | 2019-02-21 | 日本放送協会 | 誤差計算器およびそのプログラム |
JP2019028888A (ja) * | 2017-08-02 | 2019-02-21 | 日本放送協会 | カラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラム |
JP2019068429A (ja) * | 2018-11-08 | 2019-04-25 | パイオニア株式会社 | 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体 |
JP6605176B1 (ja) * | 2018-07-17 | 2019-11-13 | 三菱電機株式会社 | 交通情報生成システム |
JP2019537018A (ja) * | 2016-11-29 | 2019-12-19 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 環境モデルを生成するための、および相互センサフィーチャポイント参照を用いてポジショニングするための方法およびシステム |
JP2020061048A (ja) * | 2018-10-12 | 2020-04-16 | パイオニア株式会社 | 情報処理装置 |
JP2020517015A (ja) * | 2017-04-11 | 2020-06-11 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイス |
JP2021021693A (ja) * | 2019-07-30 | 2021-02-18 | トヨタ自動車株式会社 | タグ付与装置 |
US11049334B2 (en) | 2017-04-11 | 2021-06-29 | Advanced New Technologies Co., Ltd. | Picture-based vehicle loss assessment |
US11544914B2 (en) | 2021-02-18 | 2023-01-03 | Inait Sa | Annotation of 3D models with signs of use visible in 2D images |
US11971953B2 (en) | 2021-02-02 | 2024-04-30 | Inait Sa | Machine annotation of photographic images |
US11983836B2 (en) | 2021-02-18 | 2024-05-14 | Inait Sa | Annotation of 3D models with signs of use visible in 2D images |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102918358A (zh) * | 2010-04-09 | 2013-02-06 | 通腾北美有限公司 | 从表示位置的数据解析位置的方法 |
KR101901586B1 (ko) * | 2011-12-23 | 2018-10-01 | 삼성전자주식회사 | 로봇 위치 추정 장치 및 그 방법 |
CN103428430B (zh) * | 2012-05-23 | 2019-11-12 | 杭州阿尔法红外检测技术有限公司 | 影像摄影装置和影像摄影方法 |
JP5892254B2 (ja) * | 2012-08-31 | 2016-03-23 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2014191485A (ja) * | 2013-03-26 | 2014-10-06 | Sharp Corp | 障害物検出装置、及びそれを備えた電動車両 |
EP3078014B1 (en) * | 2014-06-04 | 2018-12-12 | Cuende Infometrics S.A. | System and method for measuring the real traffic flow of an area |
JP2016099835A (ja) * | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN106296638A (zh) * | 2015-06-04 | 2017-01-04 | 欧姆龙株式会社 | 显著性信息取得装置以及显著性信息取得方法 |
CN105391991A (zh) * | 2015-12-21 | 2016-03-09 | 中山市厚源电子科技有限公司 | 一种摄像装置及具有该摄像装置的便携式电子装置 |
CN105674993A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 基于双目相机的高精度视觉定位地图生成***及方法 |
DE102016205339A1 (de) * | 2016-03-31 | 2017-10-05 | Siemens Aktiengesellschaft | Verfahren und System zum Erkennen von Hindernissen in einem Gefahrraum vor einem Schienenfahrzeug |
CN105974357A (zh) * | 2016-04-29 | 2016-09-28 | 北京小米移动软件有限公司 | 终端的定位方法及装置 |
US10579067B2 (en) * | 2017-07-20 | 2020-03-03 | Huawei Technologies Co., Ltd. | Method and system for vehicle localization |
US10580292B2 (en) * | 2018-04-18 | 2020-03-03 | Here Global B.V. | Lane-level geometry and traffic information |
US10482761B2 (en) * | 2018-04-18 | 2019-11-19 | Here Global B.V. | Lane-level geometry and traffic information |
JP7068456B2 (ja) * | 2018-07-11 | 2022-05-16 | 日産自動車株式会社 | 走行環境情報の生成方法、運転制御方法、走行環境情報生成装置 |
CN109034031A (zh) * | 2018-07-17 | 2018-12-18 | 江苏实景信息科技有限公司 | 监视视频的处理方法、处理装置及电子设备 |
JP7073972B2 (ja) * | 2018-08-03 | 2022-05-24 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び制御方法 |
CN109241979A (zh) * | 2018-08-24 | 2019-01-18 | 武汉光庭信息技术股份有限公司 | 一种基于高速视觉特征点匹配的车辆相对位置推测方法 |
US11231283B2 (en) * | 2019-01-25 | 2022-01-25 | Robert Bosch Gmbh | Localization with neural network based image registration of sensor data and map data |
PH12019050076A1 (en) * | 2019-05-06 | 2020-12-02 | Samsung Electronics Co Ltd | Enhancing device geolocation using 3d map data |
CN113515688A (zh) * | 2020-04-10 | 2021-10-19 | 上海擎感智能科技有限公司 | 基于图像识别技术推荐应用程序的方法、终端及存储介质 |
JP7221469B2 (ja) * | 2020-12-11 | 2023-02-13 | 三菱電機株式会社 | 信頼度推定装置、位置推定装置、及び信頼度推定方法 |
CN112507992B (zh) * | 2021-02-04 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 道路图像之间的拍摄距离确定方法、装置、设备及介质 |
CN113947688B (zh) * | 2021-12-15 | 2022-06-21 | 中哲国际工程设计有限公司 | 基于bim云平台的预制构件的数据管理***及方法 |
CN114554077B (zh) * | 2021-12-16 | 2022-10-11 | 星河智联汽车科技有限公司 | 一种美景拍摄方法和装置 |
CN117953050A (zh) * | 2022-10-20 | 2024-04-30 | 腾讯科技(深圳)有限公司 | 一种视觉定位方法及相关装置 |
CN117351166B (zh) * | 2023-12-04 | 2024-03-26 | 山东新科凯邦通信器材有限公司 | 一种基于大数据的土地管理绘测*** |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3496479B2 (ja) | 1997-10-16 | 2004-02-09 | トヨタ自動車株式会社 | 道路データメンテナンスシステム |
US6047234A (en) | 1997-10-16 | 2000-04-04 | Navigation Technologies Corporation | System and method for updating, enhancing or refining a geographic database using feedback |
JP4470105B2 (ja) * | 2004-05-20 | 2010-06-02 | ノーリツ鋼機株式会社 | ナビゲーションシステム及びプログラム |
JP4557288B2 (ja) * | 2005-01-28 | 2010-10-06 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置 |
JP4321821B2 (ja) * | 2005-01-28 | 2009-08-26 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法 |
JP4847090B2 (ja) | 2005-10-14 | 2011-12-28 | クラリオン株式会社 | 位置測位装置、および位置測位方法 |
CN101275854A (zh) * | 2007-03-26 | 2008-10-01 | 日电(中国)有限公司 | 更新地图数据的方法和设备 |
JP4569837B2 (ja) | 2007-03-30 | 2010-10-27 | アイシン・エィ・ダブリュ株式会社 | 地物情報収集装置及び地物情報収集方法 |
EP2210233A1 (en) * | 2007-11-16 | 2010-07-28 | Tele Atlas B.V. | Method of and apparatus for producing lane information |
DE102008003662A1 (de) * | 2008-01-09 | 2009-07-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs |
US8812226B2 (en) * | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
US8306269B2 (en) * | 2009-03-12 | 2012-11-06 | Honda Motor Co., Ltd. | Lane recognition device |
US20110221901A1 (en) * | 2010-03-11 | 2011-09-15 | Gm Global Technology Operations, Inc. | Adaptive Scene Rendering and V2X Video/Image Sharing |
-
2010
- 2010-03-31 JP JP2010084690A patent/JP5057183B2/ja not_active Expired - Fee Related
-
2011
- 2011-02-03 US US13/020,304 patent/US8452103B2/en not_active Expired - Fee Related
- 2011-02-10 EP EP11153983A patent/EP2372611A3/en not_active Ceased
- 2011-03-21 CN CN201110071023.8A patent/CN102208013B/zh not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015231101A (ja) * | 2014-06-04 | 2015-12-21 | パイオニア株式会社 | 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体 |
US11513211B2 (en) | 2016-11-29 | 2022-11-29 | Continental Automotive Gmbh | Environment model using cross-sensor feature point referencing |
JP2019537018A (ja) * | 2016-11-29 | 2019-12-19 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 環境モデルを生成するための、および相互センサフィーチャポイント参照を用いてポジショニングするための方法およびシステム |
JP2020517015A (ja) * | 2017-04-11 | 2020-06-11 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイス |
US11049334B2 (en) | 2017-04-11 | 2021-06-29 | Advanced New Technologies Co., Ltd. | Picture-based vehicle loss assessment |
JP2019029938A (ja) * | 2017-08-02 | 2019-02-21 | 日本放送協会 | 誤差計算器およびそのプログラム |
JP2019028888A (ja) * | 2017-08-02 | 2019-02-21 | 日本放送協会 | カラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラム |
JP6605176B1 (ja) * | 2018-07-17 | 2019-11-13 | 三菱電機株式会社 | 交通情報生成システム |
WO2020016924A1 (ja) * | 2018-07-17 | 2020-01-23 | 三菱電機株式会社 | 交通情報生成システム |
JP2020061048A (ja) * | 2018-10-12 | 2020-04-16 | パイオニア株式会社 | 情報処理装置 |
JP2019068429A (ja) * | 2018-11-08 | 2019-04-25 | パイオニア株式会社 | 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体 |
JP2021021693A (ja) * | 2019-07-30 | 2021-02-18 | トヨタ自動車株式会社 | タグ付与装置 |
JP7346979B2 (ja) | 2019-07-30 | 2023-09-20 | トヨタ自動車株式会社 | タグ付与装置 |
US11971953B2 (en) | 2021-02-02 | 2024-04-30 | Inait Sa | Machine annotation of photographic images |
US11544914B2 (en) | 2021-02-18 | 2023-01-03 | Inait Sa | Annotation of 3D models with signs of use visible in 2D images |
US11983836B2 (en) | 2021-02-18 | 2024-05-14 | Inait Sa | Annotation of 3D models with signs of use visible in 2D images |
Also Published As
Publication number | Publication date |
---|---|
CN102208013B (zh) | 2016-02-24 |
EP2372611A2 (en) | 2011-10-05 |
US20110243455A1 (en) | 2011-10-06 |
JP5057183B2 (ja) | 2012-10-24 |
CN102208013A (zh) | 2011-10-05 |
US8452103B2 (en) | 2013-05-28 |
EP2372611A3 (en) | 2012-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5057183B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5062498B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5435306B2 (ja) | 画像処理システム及び位置測位システム | |
JP5168601B2 (ja) | 自車位置認識システム | |
JP5505723B2 (ja) | 画像処理システム及び位置測位システム | |
JP5062497B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5057184B2 (ja) | 画像処理システム及び車両制御システム | |
JP5333862B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5333860B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5182594B2 (ja) | 画像処理システム | |
JP5177579B2 (ja) | 画像処理システム及び位置測位システム | |
JP5333861B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP2021119433A (ja) | 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、及び学習済みの学習モデル生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120705 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120718 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5057183 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |