JP2022158530A - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JP2022158530A JP2022158530A JP2021063499A JP2021063499A JP2022158530A JP 2022158530 A JP2022158530 A JP 2022158530A JP 2021063499 A JP2021063499 A JP 2021063499A JP 2021063499 A JP2021063499 A JP 2021063499A JP 2022158530 A JP2022158530 A JP 2022158530A
- Authority
- JP
- Japan
- Prior art keywords
- information
- road
- difference
- map information
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000012795 verification Methods 0.000 claims description 27
- 230000000903 blocking effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3852—Data derived from aerial or satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】道路の遮蔽領域を適切に扱うことができる情報処理装置および情報処理方法を提供する。【解決手段】情報処理装置は、道路を撮像した画像から第一道路領域を推定する第一情報変換部15と、地図情報記憶部11に記憶された地図情報から第二道路領域を推定する第二情報変換部17と、第一道路領域と第二道路領域との差分を表す差分情報を抽出する差分抽出部16と、を備える。また、情報処理方法において、コンピュータが、道路を撮像した画像から第一道路領域を推定し、地図情報から第二道路領域を推定し、第一道路領域と第二道路領域との差分を表す差分情報を抽出する。【選択図】図1
Description
本発明は情報処理装置および情報処理方法に関する。たとえば、自動運転や高度安全運転システムのための地図データを扱う情報処理装置および情報処理方法に関する。
自動運転及び運転支援向けに、道路や車線の情報をネットワーク状に保持する地図について、地図生成用の車両や人手で道路情報を収集し、高精度な地図を構築する手法が知られる。この手法では、相当量の人力労力が発生する為、高速道路など一部の道路の情報しか構築できず、構築した地図情報の網羅性が落ち、自動運転や運転支援向けに地図を提供できる範囲が狭くなるという課題がある。
この課題に対し、例えば特許文献1では一般車両に搭載した撮像装置から集めたデータを用いて、地図を更新する手法が開示されている。特許文献2では航空写真とナビ地図データを用いて、地図の精度を高める技術が開示されている。さらに、特許文献3では、航空写真データと基板道路地図データを用いた地図の補正方法が開示されている。
しかしながら、従来の技術では、道路が遮蔽されて画像に表れない遮蔽領域を適切に扱うことができないという課題があった。
航空写真や衛星画像、一般車両に搭載された撮像装置による映像では、トンネルや立体交差、高層ビル群などにより道路が遮蔽される遮蔽領域が存在する。このため、撮像された画像をもとに抽出された道路情報を地図上に反映させると誤った情報を反映させる問題がある。
本発明はこのような課題を解決するためになされたものであり、道路の遮蔽領域を適切に扱うことができる情報処理装置および情報処理方法を提供することを目的とする。
本発明に係る情報処理装置の一例は、
道路を撮像した画像から第一道路領域を推定する第一情報変換部と、
地図情報記憶部に記憶された地図情報から第二道路領域を推定する第二情報変換部と、
前記第一道路領域と前記第二道路領域との差分を表す差分情報を抽出する差分抽出部と、
を備える。
道路を撮像した画像から第一道路領域を推定する第一情報変換部と、
地図情報記憶部に記憶された地図情報から第二道路領域を推定する第二情報変換部と、
前記第一道路領域と前記第二道路領域との差分を表す差分情報を抽出する差分抽出部と、
を備える。
本発明に係る情報処理方法の一例は、
コンピュータが、
道路を撮像した画像から第一道路領域を推定し、
地図情報から第二道路領域を推定し、
前記第一道路領域と前記第二道路領域との差分を表す差分情報を抽出する。
コンピュータが、
道路を撮像した画像から第一道路領域を推定し、
地図情報から第二道路領域を推定し、
前記第一道路領域と前記第二道路領域との差分を表す差分情報を抽出する。
本発明に係る情報処理装置および情報処理方法は、道路の遮蔽領域を適切に扱うことができる。
以下、本発明の実施の形態を添付図面に基づいて説明する。
[実施例1]
図1に、実施例1に係る情報処理装置の構成を示す。情報処理装置は、本明細書に記載される情報処理方法を実行する。
[実施例1]
図1に、実施例1に係る情報処理装置の構成を示す。情報処理装置は、本明細書に記載される情報処理方法を実行する。
画像取得部12は、衛星画像や航空写真を記憶する画像情報記憶部10から緯度経度指定部13で指定された範囲に属する衛星画像、もしくは航空画像を取得する。ここで衛星画像とは例えば衛星に搭載されたカメラから地上を撮影し、画像を取得して地上のデータを俯瞰したように復元したものである。また航空画像とは例えば航空機に搭載されたカメラから地上を撮影し、画像を取得して地上のデータを俯瞰したように復元したものである。
緯度経度指定部13は、取得する対象の画像が抽出されるように緯度経度を指定しても良いし、緯度経度を代替する識別子などで緯度経度を代用しても良い。
第一情報変換部15では、道路を撮像した画像から道路領域(第一道路領域)を推定する。たとえば、画像取得部12で取得した衛星画像もしくは航空画像に対して処理を施し、道路領域を推定する。第一道路領域は画像として表されてもよい。
道路領域は例えば、画像のピクセルごとに付与された属性として推定され、各ピクセルが道路であるか否かを示す情報を含む。この情報は画像として表すことができる。もしくは、道路領域をノードとリンクで表されるネットワーク状に抽出しても良く、その場合には、抽出された情報をピクセルの集合によって表してもよい。
地図情報取得部14では、地図情報記憶部11から緯度経度指定部13で指定される領域の地図情報(たとえばネットワーク形式の情報)を取得する。
第二情報変換部17は、地図情報記憶部11に記憶された地図情報から道路領域(第二道路領域)を推定する。たとえば、第一情報変換部15が出力するものと同形式のデータを出力する。すなわち、第一情報変換部15が画像を出力する場合は、第二情報変換部17も道路領域を示した画像を生成する。第一情報変換部15がネットワーク形式のデータを出力する場合には、第二情報変換部17もネットワーク形式のデータを出力する。
差分抽出部16は、上記の2つの道路領域(第一道路領域および第二道路領域)の差分を表す差分情報を抽出する。
構造情報検証部18は、抽出された差分情報に基づいて道路に関する構造を検証し、結果を出力する。なお以下では、特に断らない限り第一情報変換部15と第二情報変換部17の出力する形式を画像と仮定して説明するが、両者の出力がネットワーク状であっても良い。差分抽出部16は、画像同士を対比してもよく、ネットワーク同士を対比してもよい。
図1の情報処理装置はたとえば公知のコンピュータを用いて構成することができる。情報処理装置はたとえば演算手段および記憶手段を備える。演算手段はたとえばプロセッサを含み、記憶手段はたとえば半導体メモリ装置および磁気ディスク装置等の記憶媒体を含む。
また、コンピュータは入出力手段を備えてもよい。入出力手段は、たとえばキーボードおよびマウス等の入力装置と、ディスプレイおよびプリンタ等の出力装置と、ネットワークインタフェース等の通信装置とを含む。
記憶手段はプログラムを記憶してもよい。プロセッサがこのプログラムを実行することにより、コンピュータは本実施形態において説明される機能を実行してもよい。すなわち、コンピュータは図1に示される各構成要素として機能し、これによって情報処理装置として動作し、すなわち情報処理方法を実行する。
第一情報変換部15と第二情報変換部17の構成を図2に示す。第一情報変換部15では、画像取得部12で取得された画像を入力として、画像のピクセルごとに例えば道路領域か否かを推定する。ここでは例えば機械学習で事前に学習されたニューラルネットワークなどの事前学習モデル150などを用いて、セマンティックセグメンテーションの技術などで推定することができる。
なお、以下の説明において、「道路」という用語は、単数の車線からなる道路および複数の車線からなる道路を総称する用語とする。たとえば、複数の車線からなる道路については、全体を1本の道路として処理してもよく、並行した複数の道路として処理してもよい。
道路領域の推定は第一道路領域推定部151で実施される。他にも道路と道路、もしくは道路と非道路の境界を推定する第一道路境界推定部152を持っても良いし、白線や黄色線、ゼブラゾーンなどを推定する第一道路指示領域推定部153を持っても良い。より詳しい情報を推定するために、道路領域を車線毎に区分して車線の境界と共に推定する第一車線境界推定部154および/または第一車線領域推定部155を持っても良い。
地図情報記憶部11は例えばナビゲーション用の地図データに含まれる道路データが保存されている。ここでのデータは道路の形状がネットワーク状に保存されており、例えばその要素はノードとリンク及びそのリンクの形状及び道路の属性を表す状態で保存されている。たとえば、道路の端がノードとして表され、道路は2つのノードを接続するリンクとして表される。リンクには、道路の属性(たとえば道路または車線の幅)を示す情報が関連付けられていてもよい。
第二情報変換部17は、第一情報変換部15と同様に、第二道路領域推定部171に加え、道路と非道路の境界や道路と別の道路の境界を推定する第二道路境界推定部172を持ってもよく、より詳しい情報を推定するために道路領域を車線毎に区分して車線の境界と共に推定する第二車線境界推定部174および/または第二車線領域推定部175を持っても良い。より詳細に黄線や白線情報などを地図が保持する場合は、第二道路指示領域推定部173を持っても良い。
第二道路領域推定部171は例えば、与えられたネットワーク情報が、道路の中央線位置を示す場合には、まずネットワーク情報を画像形式の情報に変換し、さらに当該中央線の両側にピクセルを拡幅して道路領域を推定することができる。拡幅は、たとえば中央線を構成する各ピクセルについて、車線数を考慮しつつ車線幅に相当するピクセルの半分を半径とする円板を構成し、各円板を重ね合わせることによって行われる。実際に拡幅するピクセル数は例えば、第一情報変換部15で得られた画像のピクセル当たりの距離に応じて決めることができる。拡幅した際に、並行する2つの道路が重複してしまう場合には、重複する領域の中心線を道路境界として扱ってもよい。道路に高度の上下関係がある場合(たとえば立体交差)の処理は当業者が適宜設計可能であるが、たとえば、より高度が上にある道路を優先して拡幅してもよい。
差分抽出部16の機能を図4に示す。なお本実施例では、図2で示した推定部のうち、第一道路領域推定部151および第二道路領域推定部171の結果を用いるが、第一道路境界推定部152および第二道路境界推定部172、第一道路指示領域推定部153および第二道路指示領域推定部173、第一車線境界推定部154および第二車線境界推定部174、等の処理結果も差分抽出の精度を高める情報として利用してよい。
差分抽出部16では、第一情報変換部15と第二情報変換部17から取得された画像との差分を抽出する。二つの情報変換部から取得された画像は、そのもととなる衛星画像や航空写真の歪みや、地図情報記憶部11に登録された地図のネットワークの位置のずれから、道路同士の位置がずれている可能性がある。このため、まず、初期位置補正部161で大まかな道路同士の位置合わせを実施する。2つの画像の間の位置合わせの具体的処理は、公知技術に基づいて適宜設計可能である。
この位置合わせを実施するために、第二情報変換部17は、元のネットワーク情報を参照して調整し、画像を再生成しても良い。次に、比較形式に応じ(162)、道路に基づいて比較する場合には道路有無判定部163および道路幅比較部165において、車線に基づいて比較する場合には車線有無判定部164および車線幅比較部166において、画像上での道路の有無や道路幅同士、あるいは車線の有無や車線幅の比較を実施する。
車線の有無の比較および車線幅の比較において、第一道路領域および第二道路領域に基づいて道路を認識する処理が行われてもよい。また、道路を認識した後に、その道路の端点および幅を認識する処理が行われてもよい。さらに、各道路領域間の道路の対応関係を決定する処理が行われてもよい。これらの具体的処理は、公知技術に基づいて適宜設計可能である。これによって、道路の有無あるいは道路の幅が比較できるようになる。
道路有無判定部163は、第一道路領域および第二道路領域(以下の例ではいずれも画像)における道路の有無に関する差分を判定する。たとえば、片方の画像にある道路の情報があり、もう片方の画像に対応する道路の情報が無い場合には、道路の有無に関する差分があると判定される。
道路幅比較部165は、どちらの画像にも対応付けられた道路の情報がある場合に、その道路の幅を画像上で比較し、幅の差異を求めて出力する。差異の出力に関しては、双方のデータ入力における変換誤差などを考慮したうえで処理してもよく、出力単位はピクセル数またはこれに相当する車線数等が考えらえる。
車線有無判定部164は、第一道路領域および第二道路領域における車線の有無に関する差分を判定する。車線幅比較部166は、どちらの画像にも対応付けられた車線の情報がある場合に、その車線の幅を画像上で比較し、幅の差異を求めて出力する。
差分抽出部16はこれらの情報をまとめて差分情報とし、構造情報検証部18に送信する。差分情報は、上述のように、差分の有無を表す差分有無情報と、差分の量を表す差分量情報とを含む。ここで、「差分の有無」とは、たとえば道路の有無に関する相違があるか否か、および、道路の幅に関する相違の有無を意味し、「差分の量」とは、たとえば道路の幅の相違に関する差分の大きさを意味する。
差分を出力する単位は例えば、道路や車線の一部、画像上でのピクセルの集合、ネットワークにおけるノードやリンクなどが考えられる。以下では、差分を出力する単位を区画と呼ぶ。区画とは、たとえば画像を所定基準で(たとえば等寸法の正方形に)分割したものである。また、出力された区画が、元の画像情報記憶部10や地図情報記憶部11における情報のどの部分に対応するかは、それまでの変換経緯をたどることで決定可能なものとする。
構造情報検証部18の構成を図5に示す。この例では構造情報検証部18は地図情報検証部20を備える。
地図情報検証部20は、差分抽出部16の比較結果と道路や車線の構造情報によって差分の種類を分類して出力する。なお、以下では道路に絞って機能を説明するが、道路を車線で置き換えてもよい。構造情報検証部18では対象となる区画において遮蔽が発生しているか否かを、地図情報検証部20において確認する。
地図情報検証部20では差分が出た区画において対応する地図情報記憶部11の情報を参照し、遮蔽領域があるか否か(すなわち、道路が他の構造物によって遮蔽されているか否か)を判定する。例えば図11に例示するように、道路がトンネル内にあれば、その部分は遮蔽領域であると判定する。また、たとえば、道路がジャンクションや高速道に対する下道であれば、その部分は遮蔽領域であると判定する。道路が立体的に交差している部分では、双方の道路の幅を考慮して遮蔽領域を決定してもよい。
ここでは出力として遮蔽があれば1を、なければ0を出力し、図5の変数「#」として出力することとする。但し、変数#の値は、遮蔽度などによって段階的にレベルを設けても良い。
まず、差分抽出部16で差分ありと判定された場合(S1:Yes)、第一情報変換部15から与えられた画像上に道路があり、第二情報変換部17から与えられた画像上に道路が無いのであれば(S2)、分類結果として信号Aを出力する。
差分ありと判定され(S1:Yes)、第一情報変換部15から与えられた画像上に道路が無く、第二情報変換部17から与えられた画像上に道路がある場合(S3)には、信号Bを出力する。とくに、地図情報検証部20において、差分に係る道路について遮蔽が無ければB0の信号を、遮蔽があればB1の信号を出力する。
差分ありと判定され(S1:Yes)、第一情報変換部15から与えられた画像上に道路があり、第二情報変換部17から与えられた画像上でも道路がある場合(S4)には、信号CまたはDを出力する。すなわち両者に道路はあるものの、道路に登録されている車線数や道路幅などが異なると推定された場合である。
この場合には、第一情報変換部15から与えられた画像上に観測されている道路の幅(または車線数)が、第二情報変換部17から与えられるそれよりも大きいのであれば(S5:Yes)、地図情報検証部20において、信号Dを出力し、そうでなければ(S5:No)信号Cを出力する。
とくに、信号Cについて、地図情報検証部20において、差分に係る道路について遮蔽が無ければC0の信号を、遮蔽があればC1の信号を出力する。同様に、信号Dについて、地図情報検証部20において、差分に係る道路について遮蔽が無ければD0の信号を、遮蔽があればD1の信号を出力する。
差分抽出部16で差分が無いと判断され(S1:No)、道路が双方にある場合(S6)には、信号Eを出力する。とくに、遮蔽が無い場合にはE0の信号を、有る場合にはE1の信号を出力する。
差分抽出部16で差分が無いと判断され(S1:No)、道路が双方にない場合(S7)には、信号Fを出力する。
このように、構造情報検証部18は、差分が出た区画の地図における遮蔽状況を確認することで、差分の種類を区別して出力する。
情報処理装置は、図10に示すように差分信頼度出力部30を備えてもよく、差分信頼度出力部30は、図5の処理の結果に応じて差分の信頼度を決定してもよい。
図6に、差分情報と信頼度との関係を示す。差分信頼度出力部30は、差分有無情報および差分量情報それぞれに対して信頼度を出力する。本実施例では、差分信頼度出力部30は、第一道路領域と、第二道路領域と、遮蔽の有無とに基づいて信頼度を決定する。このような構成により、遮蔽の有無を適切に考慮して信頼度が決定される。
Aのみ信頼度が「中」を取る理由は、参照するデータが地図情報記憶部11側に無いためである。
「―」のデータは、差分が無いため、更新すべきデータが無いことを示す。遮蔽がある場合(B1,C1,D1,E1)の信頼度は、遮蔽がない場合(B0,C0,D0,E0)の信頼度より低い。これは、遮蔽のため画像からの道路認識が不正確になる可能性があるためである。
画像からの道路認識(第一道路領域に基づく処理)について、遮蔽が存在すると道路の一部が画像に表れないため、認識される道路は実際の道路より狭くなる可能性が高く、実際の道路より広くなる可能性は低い。このため、C1の場合の信頼度は低く、D1の場合の信頼度は高く(C1より高く)なっている。
情報処理装置は、図7に示すように地図情報更新部31を備えてもよい。地図情報更新部31は、差分情報に基づき(たとえば構造情報検証部18と差分信頼度出力部30の結果に従って)、地図情報記憶部11の地図情報を更新する。より具体的には、差分有無情報の信頼度と、差分量情報の信頼度とに基づき、地図情報を更新するか否かを決定する。そして、更新すると決定した場合には地図情報を更新する。このような構成によれば地図情報を適切に更新することができる。
本実施例では、図5および図6において分類された結果に従って、地図情報の更新を実施する。
なお、以下で更新の基準例を示すが、比較される画像情報記憶部10のデータと地図情報記憶部11のデータでは、画像情報記憶部10のデータの方が新しいことを仮定する。画像情報記憶部10のデータの方が古い場合には、地図情報更新部31は地図情報の更新を行わない。ただし、変形例として、画像情報記憶部10のデータの方が古い場合にも更新を行ってもよい。また、別の変形例として、データの新しさが近似していたり(たとえば時間差が所定の範囲内であったり)、地図情報の信頼度が低い場合には、地図情報を更新してもよい。なお、この「地図情報の信頼度」は、後述の処理によって決定してもよいし、他の適切な基準を用いて決定してもよい。
まず、地図に登録された情報の有無について信頼度が高いか否かを付加的に登録する際の例を示す。図5、図6において、地図情報更新部31は、Aの場合(すなわち、第一道路領域に道路が存在し、かつ第二道路領域に対応する道路が存在しない場合)に、地図情報を更新すると決定してもよい。具体例として、その道路に関する情報を地図情報に追加してもよい。このようにすると、画像により新たな道路が発見された場合にその情報を地図情報に反映させることができる。なお、変形例として、Aの場合には地図情報を更新しないと決定してもよい。
抽出された差分の有無が正しい可能性が高いとみなされたB0、C0、D0、D1のケースについて、地図情報の信頼度が低いという情報を地図に付与する。一方で、抽出された差分が正しくない可能性が高いとみなされた、B1、C1、E1については、地図情報の信頼度は更新しない、もしくは画像情報記憶部10との検証の結果、地図情報の信頼度が高いことを示す情報を付与する。
すなわち、地図情報更新部31は、第二道路領域に道路が存在し、かつ第一道路領域に対応する道路が存在しない場合(B)において、その差分情報が道路の遮蔽により生じていると判定された場合(B1)には、地図情報を更新しないと決定してもよい。一方、その差分情報が道路の遮蔽により生じていると判定されなかった場合(B0)には、地図情報を更新すると決定してもよい。このようにすると、遮蔽の有無を考慮して適切に地図情報を更新することができる。
また、地図情報更新部31は、第一道路領域および第二道路領域の双方に対応する道路が存在する場合(C1およびD1)に、さらに第一道路領域における道路の幅および第二道路領域における道路の幅に基づいて、地図情報を更新するか否か(C1か、またはD1か)を決定する。このようにすると、道路の幅を考慮して適切に地図情報を更新することができる。
E0やFについては信頼度の更新を必要としない、もしくはE0の場合、画像情報記憶部10の検証の結果、地図情報の信頼度は高いという情報を付与する。Aに関しては、地図情報を更新すると決定してもよいし、地図上に更新すべき道路情報が無いため、地図情報は更新しないとする情報を付与してもよい。または、Aに関しては、例えば差分が出た道路と、別の道路とが交差する箇所において、信頼度が低いという情報を付与する。この際、新たにネットワーク情報に交差箇所にノードやリンクを追加して更新する事も考えられる。
次に、地図情報に、車線数や車線幅の信頼度が高いか否かを付加的に登録する場合を考える。ここでは図6において差分量の信頼度の結果が高い場合に、地図に登録された情報の信頼度が低いとみなし、その結果を付与する事が考えられる。図6において差分量の信頼度が低い場合には、地図に登録された情報の信頼性はあるとみなし、地図情報は更新しないとする情報を付与するか、または信頼度が高いという情報を付与する。
上記では、差分の信頼度から地図情報の信頼度を決定する仕組みについて述べたが、勿論、A~Fの情報をそのまま地図情報の信頼度を表す情報として登録しても良い。
以上のように、本実施例に係る情報処理装置によれば、道路の遮蔽領域を適切に扱うことができる。たとえば、差分の有無と出力された差分に対する信頼度をベースとした仕組みを取ることで、衛星画像や航空写真に特有の問題である遮蔽情報を考慮しつつ、地図情報を更新することが可能となる。
図3に、図2に示した第一情報変換部15及び第二情報変換部17に遮蔽領域を推定する機能部を追加した構成を示す。第一情報変換部15は第一遮蔽領域推定部156を備え、第二情報変換部17は第二遮蔽領域推定部176を備える。
第一情報変換部15は、第一遮蔽領域推定部156によって、画像に基づき第一構造情報を推定する。第一構造情報とは、たとえば画像において道路の遮蔽が存在する部分(遮蔽領域)を特定する情報である。推定の具体的処理は公知技術等に基づいて適宜設計可能である。推定に際し、事前学習モデル150が周辺のビル群やパタン情報から遮蔽された道路領域を推定してもよい。
遮蔽領域には、ビルや樹木など道路以外の構造物に対して遮蔽される場合と、立体交差や高速道路とした道等、別の道路によって遮蔽される場合が存在する。このため、一つのピクセルに対し、複数の属性を出力してもよい。たとえば、道路以外の構造物の属性と、遮蔽道路の属性とを出力してもよいし、道路の属性と遮蔽道路の属性とを出力してもよい。
その他、ビルによる遮蔽や、樹木による遮蔽、別の道路による遮蔽など、遮蔽原因を推定した出力を設けても良い。
第二情報変換部17は、第二遮蔽領域推定部176によって、地図情報に基づき第二構造情報を推定する。第二構造情報とは、たとえば地図情報において道路の遮蔽が存在する部分を特定する情報である。この推定は地図情報検証部20と同様の処理で行ってもよい。差分抽出部16では本実施例では遮蔽領域の差分ではなく、道路領域の差分を求めるものとする。
第一遮蔽領域推定部156と第二遮蔽領域推定部176で推定される遮蔽領域にはいくつかの違いが存在する。一つには、第一情報変換部15の遮蔽領域推定部で推定できる遮蔽領域は第二情報変換部17で推定されるそれよりも、短い距離や狭い領域になる傾向がある事である。例えば、第一情報変換部15は、道路のごく一部が遮蔽された道路に関しては遮蔽を推定できるものの、長いトンネルの様に道路の大半が遮蔽されている領域に関しては遮蔽を適切に推定することができない。
このように第一遮蔽領域推定部156および第二遮蔽領域推定部176を備える構成では、構造情報検証部18の構成は例えば図8の相互遮蔽情報検証部21を備える。相互遮蔽情報検証部21では、第一構造情報および第二構造情報を照合することにより、遮蔽の状況を推定する。
相互遮蔽情報検証部21では、第一構造情報(画像)および第二構造情報(地図情報)の双方に遮蔽があれば3を、地図情報のみに遮蔽があれば2を、画像のみに遮蔽があれば1を、双方に遮蔽がなければ0を、図8の変数「$」として出力する。変数$の意味は図5の変数#と同様であるが、変数$は0~3の4値を取り得る。このような構成によれば、画像および地図情報それぞれの遮蔽を考慮することができる。
このような特徴を鑑み、構造情報検証部18は、抽出された差分領域の信頼性について検証する。具体例として、差分抽出部16において差分が抽出された場合に遮蔽可能性を判断し、片方の道路の全体が遮蔽されている場合は地図情報を更新しない。また、一部のみ遮蔽されている場合は、差分の信頼度を低くする。一方で、遮蔽が無いと判断された場合は、差分の信頼度を高くする。
上記で示したA~Fの分類は、抽出された差分が道路の有無かどうかということに加え、画像情報記憶部10に遮蔽が存在することを前提に、抽出された差分の信頼度が高いか、また、差分の量が信頼できるか否かを分類している。
図6と同様に、図8の構成に対しても図9のように信頼度を決定することができる。Aに関しては地図側に対応する遮蔽情報が無いため、A3とA2は存在しない。同様にFもF3とF2は存在しない。このように分類された結果を図10に示す差分信頼度出力部30の出力としても良い。
図9に示す信頼度に基づき、地図情報を更新してもよい。この際の具体的な処理は、図6に関連して説明した例と同様に設計することができる。
図7の構成で更新されたのちに、画像情報記憶部10の情報のみがアップデートされ、照合された場合の例について図12を用いて述べる。ここで、地図情報の信頼度は0~3を取るとし、値が大きければ地図情報の信頼度が高いものとする。なお、この「地図情報の信頼度」は、上述の「差分の信頼度」とは異なる情報である。
なお、ここでは、画像情報記憶部10のデータ(画像)が地図情報記憶部11のデータ(地図情報)より新しい場合を考えるが、そうでない場合にも以下の処理は同様に適用可能である。
地図情報更新部31は、差分がないと判定された場合(S11:No)には、地図情報の信頼度を3とする。差分があると判定された場合(S11:Yes)には以下の処理を行う。
地図情報更新部31は、差分有無の信頼度が低いと判定された場合(S12:No)には、地図情報の信頼度を2とする。差分有無の信頼度が高いと判定された場合(S12:Yes)には、以下の処理を行う。
地図情報更新部31は、前回の信頼度(すなわち、地図情報が前回更新された際に決定された地図情報の信頼度)を参照する。前回の信頼度が指定されていない場合(S13:No)には、地図情報の信頼度を1とする。前回の信頼度が0または1である場合(S14:Yes)には、地図情報の信頼度を0とし、前回の信頼度が2または3である場合(S14:No)には、地図情報の信頼度を1とする。
この例によれば、地図情報更新部31は、地図情報を更新する際に地図情報の信頼度を決定する。そして、地図情報が前回更新された際に決定された地図情報の信頼度に基づき、地図情報の新たな信頼度を決定する。このため、差分の信頼度と、地図情報の信頼度と、地図情報の信頼度の履歴とに基づき、より適切に地図情報の信頼度を決定することができる。地図情報の信頼度は、たとえば地図情報を更新するか否かの判定基準として用いられるので、地図情報をより適切に更新することができる。
次に、画像情報記憶部10のデータ(画像)より地図情報記憶部11のデータ(地図情報)のほうが新しい場合の例について述べる。地図情報のアップデートは、前回の地図情報から差分が発生したノードとリンクのみについて行われる場合がある。その場合には、アップデートされたノードおよびリンクに係る前回の差分情報は破棄して、新たに照合を実施した結果のみ考慮する事が考えられる。
最後に、両方のデータの新しさが同じである場合(たとえば同時にアップデートされた場合)には、地図情報がアップデートされたノードとリンクの部分については前回の差分情報は破棄して新たな照合結果を登録し、それ以外の部分については図12に示す更新規則を適用する事が考えられる。
15…第一情報変換部、16…差分抽出部、17…第二情報変換部、18…構造情報検証部、30…差分信頼度出力部、31…地図情報更新部
Claims (10)
- 道路を撮像した画像から第一道路領域を推定する第一情報変換部と、
地図情報記憶部に記憶された地図情報から第二道路領域を推定する第二情報変換部と、
前記第一道路領域と前記第二道路領域との差分を表す差分情報を抽出する差分抽出部と、
を備える、情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記差分情報の信頼度を決定する差分信頼度出力部と、
前記差分情報に基づき前記地図情報を更新するか否かを決定する、地図情報更新部と、
を備える、情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記差分情報は、差分の有無を表す差分有無情報と、差分の量を表す差分量情報とを含み、
前記差分信頼度出力部は、前記差分有無情報および前記差分量情報それぞれに対して信頼度を出力し、
前記地図情報更新部は、前記差分有無情報の信頼度と、前記差分量情報の信頼度とに基づき、前記地図情報を更新するか否かを決定する、
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記地図情報更新部は、前記地図情報を更新する際に前記地図情報の信頼度を決定する、
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記地図情報更新部は、前記地図情報の信頼度を、前記地図情報が前回更新された際に決定された前記地図情報の信頼度に基づいて決定する、
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記第一情報変換部は、前記画像に基づき第一構造情報を推定し、
前記第二情報変換部は、前記地図情報に基づき第二構造情報を推定し、
前記情報処理装置は、前記第一構造情報および前記第二構造情報を照合する構造情報検証部を備える、
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記地図情報更新部は、前記第一道路領域に道路が存在し、かつ前記第二道路領域に対応する道路が存在しない場合に、前記地図情報を更新すると決定する、
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記地図情報更新部は、
前記第二道路領域に道路が存在し、かつ前記第一道路領域に対応する道路が存在しない場合において、
前記差分情報が道路の遮蔽により生じていると判定された場合には、前記地図情報を更新しないと決定し、
前記差分情報が道路の遮蔽により生じていると判定されなかった場合には、前記地図情報を更新すると決定する、情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記地図情報更新部は、前記第一道路領域および前記第二道路領域の双方に対応する道路が存在する場合に、さらに前記第一道路領域における道路の幅および前記第二道路領域における道路の幅に基づいて、前記地図情報を更新するか否かを決定する、情報処理装置。 - コンピュータが、
道路を撮像した画像から第一道路領域を推定し、
地図情報から第二道路領域を推定し、
前記第一道路領域と前記第二道路領域との差分を表す差分情報を抽出する、
情報処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021063499A JP2022158530A (ja) | 2021-04-02 | 2021-04-02 | 情報処理装置および情報処理方法 |
US18/548,998 US20240153266A1 (en) | 2021-04-02 | 2022-03-04 | Information processing device and information processing method |
CN202280016954.4A CN116997948A (zh) | 2021-04-02 | 2022-03-04 | 信息处理装置及信息处理方法 |
EP22779798.2A EP4318439A1 (en) | 2021-04-02 | 2022-03-04 | Information processing device and information processing method |
PCT/JP2022/009319 WO2022209573A1 (ja) | 2021-04-02 | 2022-03-04 | 情報処理装置および情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021063499A JP2022158530A (ja) | 2021-04-02 | 2021-04-02 | 情報処理装置および情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022158530A true JP2022158530A (ja) | 2022-10-17 |
Family
ID=83458577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021063499A Pending JP2022158530A (ja) | 2021-04-02 | 2021-04-02 | 情報処理装置および情報処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240153266A1 (ja) |
EP (1) | EP4318439A1 (ja) |
JP (1) | JP2022158530A (ja) |
CN (1) | CN116997948A (ja) |
WO (1) | WO2022209573A1 (ja) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007128141A (ja) * | 2005-11-01 | 2007-05-24 | Hitachi Software Eng Co Ltd | 道路画像中の道路車線数を決定するシステム及び方法 |
JP2009176163A (ja) * | 2008-01-25 | 2009-08-06 | Hitachi Software Eng Co Ltd | 区画データ作成システム |
JP4799709B2 (ja) | 2009-03-04 | 2011-10-26 | 三菱電機株式会社 | 地図配信サーバ及び地図情報端末 |
JP2013186464A (ja) * | 2012-03-12 | 2013-09-19 | Aisin Aw Co Ltd | 写真データ提供システム |
JP6197393B2 (ja) | 2013-06-20 | 2017-09-20 | 株式会社豊田中央研究所 | レーン地図生成装置及びプログラム |
JP6656886B2 (ja) * | 2015-11-10 | 2020-03-04 | パイオニア株式会社 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
WO2018094475A1 (en) * | 2016-11-28 | 2018-05-31 | Hillman Media Pty Ltd | Road event planning tool |
JP6710190B2 (ja) * | 2017-09-29 | 2020-06-17 | クラリオン株式会社 | 区画線認識装置 |
JP6828668B2 (ja) * | 2017-12-04 | 2021-02-10 | 株式会社デンソー | 車線ネットワークデータ生成装置、車線ネットワークデータ生成プログラム及び記憶媒体 |
JP2019168514A (ja) * | 2018-03-22 | 2019-10-03 | 株式会社豊田中央研究所 | 地図データ生成装置 |
JP7243370B2 (ja) * | 2019-03-27 | 2023-03-22 | 株式会社アイシン | 道路情報更新システム、経路探索システム、道路情報更新プログラム |
JP7215460B2 (ja) * | 2019-05-29 | 2023-01-31 | 株式会社デンソー | 地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ |
JP6993588B2 (ja) | 2019-10-17 | 2022-01-13 | ダイキン工業株式会社 | 水力発電システム |
-
2021
- 2021-04-02 JP JP2021063499A patent/JP2022158530A/ja active Pending
-
2022
- 2022-03-04 US US18/548,998 patent/US20240153266A1/en active Pending
- 2022-03-04 WO PCT/JP2022/009319 patent/WO2022209573A1/ja active Application Filing
- 2022-03-04 CN CN202280016954.4A patent/CN116997948A/zh active Pending
- 2022-03-04 EP EP22779798.2A patent/EP4318439A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022209573A1 (ja) | 2022-10-06 |
EP4318439A1 (en) | 2024-02-07 |
CN116997948A (zh) | 2023-11-03 |
US20240153266A1 (en) | 2024-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10943131B2 (en) | Image based lane marking classification | |
JP2843079B2 (ja) | 走行路判別方法 | |
US11561103B2 (en) | Lane network data generation apparatus and storage medium | |
CN110909671B (zh) | 一种融合概率和高度信息的栅格地图障碍物检测方法 | |
CN111149131B (zh) | 区划线识别装置 | |
JP2005258846A (ja) | 車線境界判定装置 | |
CN113495940B (zh) | 道路区域校正装置、道路区域校正方法以及能够由计算机读取的记录介质 | |
CN111696059B (zh) | 一种车道线光滑连接处理方法和装置 | |
CN111127520A (zh) | 一种基于视频分析的车辆跟踪方法和*** | |
JP2016180797A (ja) | 道路情報生成装置及びプログラム | |
CN114973195A (zh) | 基于多信息融合的车辆追踪方法、装置及*** | |
WO2022209573A1 (ja) | 情報処理装置および情報処理方法 | |
JP2014194698A (ja) | 道路端検出システム、方法およびプログラム | |
CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
JP3999345B2 (ja) | 自車位置認識装置、自車位置認識方法及びプログラム | |
JP2001101597A (ja) | 道路形状認識方法、装置および記録媒体 | |
KR101934317B1 (ko) | 선형정보의 연관분석을 이용한 영상의 자동등록 시스템 | |
JP2000163581A (ja) | 領域拡張装置 | |
JP2720625B2 (ja) | 画像処理装置,画像処理方法およびレーンマーカー認識装置 | |
JP2001116512A (ja) | 車間距離測定方法および車間距離測定装置 | |
JPH06265330A (ja) | 画像計測装置 | |
EP4223614A1 (en) | Rail track branch detection apparatus and program | |
Kurdziel | A monocular color vision system for road intersection detection | |
CN118262059A (zh) | 用于生成车道线数据的方法和装置 | |
JP2024005562A (ja) | 情報処理装置、情報処理システムおよび情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240229 |