JP2009199572A - 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 - Google Patents
三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 Download PDFInfo
- Publication number
- JP2009199572A JP2009199572A JP2008105003A JP2008105003A JP2009199572A JP 2009199572 A JP2009199572 A JP 2009199572A JP 2008105003 A JP2008105003 A JP 2008105003A JP 2008105003 A JP2008105003 A JP 2008105003A JP 2009199572 A JP2009199572 A JP 2009199572A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- vehicle
- map
- image
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 239000003550 marker Substances 0.000 claims description 124
- 230000036544 posture Effects 0.000 claims description 74
- 230000001133 acceleration Effects 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000003252 repetitive effect Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 241000282414 Homo sapiens Species 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 description 111
- 239000013598 vector Substances 0.000 description 82
- 238000000034 method Methods 0.000 description 45
- 238000012545 processing Methods 0.000 description 29
- 238000011156 evaluation Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 12
- 241000282412 Homo Species 0.000 description 11
- 238000009826 distribution Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000012634 fragment Substances 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012732 spatial analysis Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004141 dimensional analysis Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000005433 ionosphere Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】 走行中の車両から全周映像を取得する全周映像撮影装置111と、全周映像に基づいて全周CV映像を生成するCV演算装置112と、全周CV映像から幾何学的単純図形を抽出・選択・分離してその位置座標と姿勢を三次元的に求める幾何学的単純図形検出装置113と、幾何学的単純図形検出により検出された図形のトラッキングデータからその三次元位置と姿勢を検出して三次元座標を付加する三次元座標付加装置114と、検出された幾何学的単純図形に属性を与える属性登録装置115と、検出された幾何学的単純図形から元となる三次元空間に対応する三次元空間を再構築して三次元機械地図を生成・記録する三次元機械地図記録装置116とを備える構成としてある。
【選択図】 図1
Description
特に、本発明は、走行,航行する移動体の現在位置又は将来位置を三次元空間内に探索して、移動体の進行方向や車両姿勢等を、人間がみて判断するのではなく、機械が判断することにより、移動する移動体の現在状況と将来状況を高精度に判断することができる自動運転装置、及び本願出願人に係るナビゲーション装置(国際公開WO2005/038402)及び新旧映像座標統合装置(特開2007−114916号)を含めて、好適な三次元地図とその三次元地図生成装置に関する。
一般に、車両等の移動をナビゲートするナビゲーション装置の地図としては二次元地図が普及しており、たとえ三次元地図と呼称していても、せいぜいCGで表現した町並みを表示する程度のものである。
また、車両等の自動運転を行う場合には、まず、自己位置を精度良く評定する手法を手に入れなければならない。現在、自己位置評定として知られるものはGPSである。
ここで、GPSナビゲーションシステムで得られる位置精度としては、従来は、電離層における電波の反射や屈折等の影響があり、誤差が50〜300メートルというところであった。
但し、車両の制御にはこの程度の精度では不足であり、概略位置が分かる程度であるといえる現在のGPS精度では、車両を道路の車線内で誘導することはできない。
従って、地図の精度もGPS精度より多少良いものでも利用上は問題が生じていなかった。
なお、自動運転装置の自己位置評定、及び自己姿勢評定は、ナビゲーションにも共通であり、自動運転装置はそのままナビゲーションや運転アシストに応用できることは言うまでもない。従って、以下はその区別を明確にしないで説明することもあるが、自己位置評定、自己姿勢評定は、自動運転・ナビゲーションの両者に共通であるものとして説明する。
また、自動運転に限らず、例えば、自動車の車庫入れや、航空機の離着陸時、ロボットの作業やナビゲーションなどに用いる場合にも、数cm程度の位置精度をリアルタイムに取得することが必要であり、このようなナビゲーションシステムは現在まで実現されていない。
すなわち、本発明は、上述した従来の技術が有する課題を解決するために提案されたものであり、本願及び本願出願人に係る上記国際公開WO2005/038402及び特開2007−114916号で提案されたナビゲーションのための三次元地図を、人間がみるのではなく、機械が自分の位置と姿勢を判断するための三次元機械地図とすることで、地図のデータ量を減少させ、さらにコンビュータにとって処理しやすくすることで、演算効率を向上させ、より実用的にしたものを三次元機械地図とすることができる三次元地図の生成装置の提供を目的とする。
なお、その原理は、上記国際公開WO2005/038402及び特開2007−114916号のナビゲーション装置に共通である。従って、好ましくは、本発明の三次元機械地図は、本願及び上記国際公開WO2005/038402及び特開2007−114916号のナビゲーション装置等に利用されることも前提としている。
三次元機械地図は、人間ではなく機械が見るものであり、従来には存在しない全く新しい概念である。機械が見るための地図であるために、人間が見る画像ではなく、機械が見るために都合良く画像処理しておき、この三次元機械地図を用いることで、位置と姿勢、及び周囲との相対関係、目的地、目的対象までの方向を三次元的に確認することができる。
三次元機械地図は、機械が見るためのものであることから、画像よりもデータ量を極力軽くすることができることが特徴である。データ量を軽くすることにより、容易に狭帯域で、三次元機械地図のデータ配信を可能となる。その結果製造コストを極端に低減することができる。従って、本願及び本願出願人の提案に係る上記国際公開WO2005/038402及び特開2007−114916号に係る発明の実用性がより高まったことになる。
また、車両に積載したカメラから得られるリアルタイム映像側と三次元機械地図との関係は、できるだけ共通アルゴリズムとし、比較データを同一フォーマットとすることで、三次元機械地図の変更更新部位を即時更新可能とすることができる。
また、三次元機械地図へ、道路標示、道路標識、案内版等の座標付加、属性付加することができる。
地図という概念は、そもそも人間が見るものであるが、本発明に言う三次元機械地図とは、紙やディスプレイ上で人間が見るものではなく、機械がデータとして読み取って、位置や方向を判断するものである。
従って、機械が処理しやすい形式でなければならない。機械も進化していけば最終的に人間が見るものを人間と同じように見て判断することができるであろうが、機械は人間の視覚情報とは違い、まだまだ未進化であり、機械が見るのに適した特徴有る部分を主として三次元機械地図を生成する。三次元機械地図においては、対象空間を機械的に認識しやすい幾何学的に単純な図形に分解し、その内から都合のよいもののみを選択して、三次元空間を再構成することで、三次元機械地図を構成する。
また、それら幾何学的に単純化された図形を属性毎に分類することで、機能と利用範囲を広げることができる。
また、三次元機械地図の特徴は機械系と直接結合できることであり、他の位置評定手段、例えばGPSによる位置データ等と直接やりとりし、複数のデータの座標結合等を可能とするという特徴を有する。
この三次元機械地図を車載し、又は配信を受けて車両側で受信し、車載したカメラで撮影したリアルタイム映像と比較するナビゲーション装置及び自動運転装置が実現できる。
また、自動運転装置は、三次元機械地図と自動運転の対象となる移動体に備えられたカメラにより得られる現実の映像を、記録媒体を再生して得られる映像的な特徴ある単純幾何学図形から構成される三次元機械地図の三次元座標と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、3軸回転姿勢、3軸回転速度、3軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力し、その信号により車両の進行方向、速度、停止、発進等をコントロールし、することで自動運転を実現する自動運転装置を構成するとしてある。
さらに、複数のサスペンション、4個の車輪をそれぞれ独立にコントロールをすることで、重心位置、車両傾斜を含めて、より微妙な車両コントロールを可能とする自動運転を実現することができる。
これら図形は単体では二次元であったり、三次元であったりするが、三次元空間に配置されているので、三次元機械地図においては、常に三次元座標の中に三次元的に配置させる。
これらは、一般の複雑な形状よりもコンピュータの画像解析技術により、検出、生成、分析、比較等が容易であるので、現実の三次元空間をそのまま映像やCGとして持つよりも、データ量は軽くなるという優れた特徴を持つ。
また、後述するように、コンビュータにより生成、更新、比較、記録、再生、その他画像処理においても有利である。
また、後述するように、コンビュータにより検出されやすい図形を、道路上及びその近傍に設置することで、様々な条件下でも自動運転をより確実にすることができる。
さらに、後述するように、前記幾何学単純図形をCG化して座標と共に登録する方法と、CG化せずに映像のまま切り取って、それを座標と共に登録して三次元機械地図とするとも可能である。
また、上記のようにCG化せずに映像のまま切り取って三次元機械地図とするだけではなく、データ量が増大することに問題がなければ、映像を切り取らずに、CV映像そのものを三次元地図として利用できることは言うまでもない。機械だけではなく、人間が見るという目的をも含めて、CV映像で人間が現場を確認する必要が追加されれば、CV映像そのものを三次元地図とすることも可能である。
また、現実の三次元空間を前記幾何学的単純図形と見なされる映像の一部分を切り取って、複数の映像の断片を再配置して三次元機械地図を構成し、その後コンビュータによって読み取り、書き込みをしやすくするために、複数の映像断片を登録し、登録された映像断片をコンピュータで読み取り、それを出力するようにした段階までを三次元機械地図という。
幾何学的単純図形と映像断片とは三次元機械地図を構成する要素であり、一般に相互に置き換えが可能であるが、本明細書では、その置き換えができない場合を除いて、特に区別しないで説明する。
これはコンビュータが読み取るための地図であり、第一義的に人間が見るものではない。読み取った幾何学的単純図形(単純幾何学図形)は、図形として再現表示するために図形として読み取っても良いし、一義的に人間が見るものではないことから、図形の形状と種類等を示す属性と共に、その座標と姿勢としてのみ読み取っても良い。ここで座標も姿勢も、三次元であり、計6自由度を持ち、現実三次元空間に対応している。
また、これはコンビュータが見た現実空間と言うこともできる。三次元機械地図には現実空間の全ては反映されず、コンピュータによる認識、登録等にとって都合の良いものだけが取り込まれて三次元機械地図に反映されている。
目的に応じて、選択的に図形化する対象は変わるが、どの場合も第一義的にコンビュータによって読み取り、属性と共に出力することは共通である。
さらに、本発明の三次元機械地図は、請求項4に記載するように、特に自動運転を目的とする場合において、交通標識、道路表示(地物)、道路案内板等の対象物を幾何学的単純図形として形状分類し、その属性情報と共に対象物が存在する三次元空間の座標に追加して配置し、さらに、現実には直接数値表示されていない走行中心線、道路幅員、車線数、道路勾配、回転半径等の自動運転、又は運転アシストに必要な数値属性情報を、車両走行のための三次元空間に対応させて配置する構成とすることができる。
ここで、交通標識、道路標識、道路案内坂等はその三次元位置、又は三次元位置と方向の情報として、形状を画像のまま登録してもよいが、そのまま登録しないで、形状分類した属性として登録することも可能である。その場合は対象物の属性として形状の分類が成されているので、対処物は規格化された形状の情報を持っていることになる。
従って、三元空間内に対象物の形状及びその方向を三次元機械地図の中に、形状そのものではなく、属性とその中心座標(代表座標)のみで表現可能である。交通標識、道路標識、道路案内板等は規格化された形状を持つので、形状分類した属性登録の方が、データ処理上は有利である。
一方、属性には対象物の部分映像をも持たせることができるので、対象物の現実映像も一部付加して、目的となる三次元空間を再構築することで、コンピュータで読み取り、あるいは書き込むことができるようにした三次元機械地図を提供することができる。
CV演算装置は、その詳細が本願出願人に係る特開2005−295495号に詳細に記載されている。全周映像の中に特徴点を自動抽出し、それを隣接するフレームにトラッキングし、トラッキングデータを解析することで全周CV映像を取得することができる。このCV演算及びCV演算装置については後述する(図13〜図25参照)。
三次元座標付加装置は、前記幾何学的単純図形検出作業と同時に、検出した図形のフレーム間トラッキングにより、前記幾何学単純図形の三次元座標を与えるものである。
属性登録装置は、検出された前記幾何学的単純図形に属性を与えるものである。前もって前記幾何学的単純図形を形状分類しておけば、形状分類が属性情報となる。色が必要であれば色情報が属性情報となる。走行に関する意味があれば意味が属性となる。前記幾何学的単純図形の代表座標をデータとして、その三次元形状を属性情報とすることも可能である。形状が既知であれば、その形状の中心座標を属性とすることができる。ここで属性とは対象に関連する広範囲の意味を持つ。
三次元機械地図記録装置は、検出された前記幾何学的単純図形から、もととなる映像が属する三次元空間に対応する三次元空間をコンピュータ内に再構築することになる。
三次元機械地図記録装置は、再構築された三次元機械地図を記録し、目的に応じて、他の必要な情報を統合することで目的に応じた三次元機械地図を完成させる。
これらを有することを特徴とするものが三次元機械地図生成装置である。
従って、これまでのCV値の定義を、自車両と移動する他車両間との間の関係に拡張することで、まったく同様に二者間の、及び多者間の相対運動を定義できる。これを利用して前記移動体の位置、回転、速度、加速度等を求めることができる。
このような構成からなる本発明の三次元機械地図生成装置によれば、請求項6では、リアルタイム処理が必要であるため精度において困難さが有るが、ドライブレコーダーのように記録した映像を用いれば、詳細なデータが取得できるので、事故解析には有益である。
このような構成とすることにより、CGや音声によってナビゲーションを実行することができ、より使いやすいナビゲーション装置を提供することができる。
このような構成とすることにより、三次元機械地図の更新を、リアルタイム映像で行うことが可能となる。
三次元機械地図は記録映像から生成されるので、更新が必要である。走行しながら、リアルタイム映像と違いがあるときは、同じアルゴリズムとして置くことで、リアルタイム映像から三次元機械地図に部分更新をかけることができる。
本発明に係るナビゲーション装置は、高度な判断を行うナビゲーション装置であるから、判断結果、前記更新情報や進路変更等コマンドを他車両に伝えることで、コミュニケーション走行が可能となる。
このような構成とすることにより、道路定点に設置されているカメラからのリアルタイム映像を、三次元機械地図上に視点を合致させて重ねて表示することで、定点映像がより具体的に理解できることになる。このときに限って、三次元機械地図は見るための映像でもあることになる。
さらに、本発明の自動運転装置は、請求項16に記載するように、リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新する構成としてある。
さらに、当該車両に設置された計測機器のデータを追加することで、それらの双方を用いることでさらに精度を向上させ、絶対精度も付加したCV値を取得できる。
このようにして取得されたCV値を解析して、当該車両の三次元的位置、速度、加速度、回転姿勢、回転速度、回転角速度等を取得することができる。
また、CV値を解析して、当該車両の周囲にあって走行に係わる静止物体の位置と概略形状を取得することができる。
さらに、CV値を解析して、当該車両以外の移動体の概略形状、三次元的位置、姿勢、回転速度、速度、回転速度、加速度、回転角速度等を取得することができる。
これらリアルタイム映像から取得されたCV値を元として、当該車両を最適化制御し、安全運行を保持することができる自動運転装置を実現することができる。
そして、高精度のCV値により、高精度の当該車両の三次元的位置、速度、加速度、回転姿勢、回転速度、回転角速度等を取得し、また、CV値と追加された計測機器データを解析して、当該車両の周囲にあって走行に係わる静止物体の位置と概略形状を取得し、さらに、CV値と追加された前記計測機器データを解析して、当該車両以外の移動体の概略形状、三次元的位置、姿勢、回転速度、速度、回転速度、加速度、回転角速度等を取得する。
そして、これら取得された各種物理的力学的データを元にして、当該車両を最適化制御し、安全運行を保持することができる。
なお、生成された制御信号により当該車両を実際に制御する方法(自動運転方法)は既知の技術により実現できるので、詳細な説明は省略する。
また、CV値は最初に定義した全周映像による特徴点抽出、特徴点トラッキング、CV演算という流れによらずに、広義なCV値として、後述するように例えば三次元機械地図とリアルタイム映像とのマッチングから、算出されるような場合であっても、カメラ位置(車両位置)と姿勢を表記する場合全てに対して定義されるものとする。
従って、これまでのCV値の定義を、自車両と移動する他車両間との間の関係に拡張することで、まったく同様に二者間の、及び多者間の相対運動を定義できる。これを利用して前記移動体の位置、回転、速度、加速度等を求めることができ、これらの信号を使って車両を安全にコントロールすることができるようになる。
リアルタイム処理は、精度において困難さが有るが、ドライブレコーダーのように記録した映像を用いれば、精度の高い詳細なデータが取得できるので、事故解析には有益である。
このような構成とすることにより、CGや音声によってナビゲーションを実行することができ、より使いやすいナビゲーション装置を提供することができる。
このような構成とすることにより、三次元機械地図の更新を、リアルタイム映像で行うことが可能となる。
三次元機械地図は記録映像から生成されるので、更新が必要である。走行しながら、リアルタイム映像と違いがあるときは、同じアルゴリズムとして置くことで、リアルタイム映像から三次元機械地図に部分更新をかけることができる。
三次元機械地図は単純幾何学図形により構成することができるが、その場合には、元となる映像の中に単純幾何学図形の元となる画像断片がなければならない。ところが、画像断片の中に単純幾何学図形の元となる映像が無い場合も存在する。
そこで、本発明では、リアルタイム映像を三次元地図と同様のアルゴリズムで分析し、解析し、単純幾何学図形を抽出するようにしてある。
本発明に係る自動運転装置は、高度な判断と制御を行うナビゲーション装置でもあることから、判断結果、前記更新情報や進路変更等コマンドを他車両に伝えることで、コミュニケーション走行が可能となる。
このような構成とすることにより、道路定点に設置されているカメラからのリアルタイム映像を単純幾何学図形に分解して、三次元機械地図上に視点を合致させて重ねて取り込むことで、定点映像がより具体的に理解できることになる。
本発明の元となっているCV演算及びCV値(特開2005−295495号)は、全周カメラによる動画像の球面画像から生まれた。動画像を球面画像として扱うことで焦点距離及び光軸の概念から解放され、動画像を視覚に適したかたちで二次元面を持ったまま、古典的な三角測量の原理に戻って三次元化し、簡単に取り扱うことができるようになった。さらに動画像における単純化されたCV値基準の概念の導入により、動画像処理が面のまま単純化されて三次元化し、動画像の領域分割及びそのトラッキングが容易となり、しかも高精度となったことで一気に進展した。
ここで、以下に示す本発明の三次元機械地図生成装置やナビゲーション装置、自動運転装置、その他の装置は、いずれもプログラム(ソフトウェア)の命令によりコンピュータで実行される処理,手段,機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出,抽出した基準点の自動追跡,基準点の三次元座標の算出,CV(カメラベクトル)値の演算等を行わせる。
このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク,光ディスク,半導体メモリ,その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
まず、全周映像から三次元機械地図を生成する実施形態を示す。
機械地図とリアルタイム映像側の目標は以下の通りである。
○三次元機械地図側の目標
・三次元機械地図は、人間ではなく機械が見るもの。→機械が位置と姿勢及び周囲との相対関係、目的までの方向を三次元的に確認する。
・三次元機械地図のデータ量を極力軽くする。(地図データ配信を可能とする)
・三次元機械地図の作成は、CV映像データベースから生成することで、安価に、できるだけ自動化する(+指定対象物を手動で付加)。
・三次元機械地図の更新は安価に、容易に、軽作業で、さらには自動で行う。
・三次元機械地図へ道路標示、道路標識、案内版等の座標付加、属性付加を行う。
・リアルタイム映像側と三次元機械地図とを、できるだけ共通アルゴリズムとし、変更更新部位を即時更新可能とする。(目標)
・車両からの実像、又は全周映像ではない、通常の広角カメラによるリアルタイム映像を用いて、その映像内に案内指示CGを合成して案内表示する。
・三次元機械地図及びリアルタイム映像にタグを貼り付け、メモ付加機能とする。
・三次元機械地図とリアルタイム映像解析による危険回避行動機能付加。(目標)
・車両走行記録、及び記録解析。(車両CV値記録、及び記録解析)
・車両走行記録解析データによる事故解析。
・車両走行記録解析データによる三次元機械地図の更新。
・更新データの自動配信により、他車両とのデータ共有。
・道路定点カメラからの情報取得。
以下、本発明に係る三次元機械地図を生成する三次元地図生成装置の一実施形態について、図1を参照して説明する。
図1は、本発明の一実施形態に係る三次元地図生成装置110の構成を示すブロック図である。
三次元機械地図を生成するには、車載全周映像撮影装置111により、車両に全周囲カメラを積載し、走行中の車両から全周映像(図5参照)を取得することができる。
取得した全周映像はメルカトール(図11参照)であるが、その一部を平面に投影して遠近法的に表現したものが図5である。撮影位置説明のための例としての図5は、片側二車線の内の右車線上の車両から撮影したものであることが後に意味を持つ。
また、位置情報を取得するためにGPSやIMU、ジャイロ等を積載することで、概略位置と概略姿勢が既知となるため、後の処理が楽になる。但し、校正する精度の高い地図が存在すれば、原理的にGPSやIMU、ジャイロ等は無くても良いものである。
また製造の初期工程において、概略位置を知っておくことは演算上も有利であることから、これらGPSやIMU、ジャイロ等を同時積載してデータを取得することが望ましい。
また、後の処理において鉛直が重要な情報となるので鉛直計を積載して置くことが望ましい。
即ち、全フレームについてx,y,z,θx,θy,θz,の6自由度のそれぞれの係数を演算で決定することになる。
なお、CV演算及びCV演算装置については後で更に詳述する(図13〜図25参照)。
ここで、幾何学的単純図形とは、点、線、端点、面、直角カド、円、円弧等であるが、この実施例では、点、線、端点を検出している。
例えば、昼間の映像からは、道路標示の白線、ビルの縁、窓枠等から、直線と直線の端点を主として抽出するが、夜間の映像からは街灯やビル内のライトから、点を主として抽出することになる。
従って、前記幾何学的単純図形として、点と線と端点を同時に再構成することで、昼夜とも三次元機械地図として利用できることになる。
図6は、全周映像を平面に投影した画像であり、そこに幾何学的単純図形として、直線と直線の端点を自動検出したものである。自動検出した前記幾何学的単純図形を隣接する複数のフレームにトラッキングすることで、その三次元座標を取得したものが図7である。これは既に三次元機械地図の一部である。
また、CV演算で得られる座標は相対座標であるので、地図上の既知のデータや高精度のGPSのデータから、後処理で絶対座標を付加することになる。
本実施形態では、本願出願人に係るPRM認識(米国特許6614932,国際公開WO02/01505)技術により、前もって用意したパタンとの比較により、認識し、前記幾何学的単純図形を形状分類しておけば、形状分類が属性情報となる。色が必要であれば色情報が属性情報となる。
また、交通標識等、道路交通に必要な対象物も、上記PRM技術により、認識して、その属性を登録することができる。
ここでは、線と端点を属性として登録(図7参照)している。幾何学的単純図形の代表座標をデータとして、その三次元形状を属性情報とすることも可能である。ここで属性とは広範囲の意味を持つ。
具体的には、PRM技術は、前もって予想される対象物の形状と属性を部品(オペレータ部品)としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、PRM技術によりその認識は容易に行える。また、対象物をCV映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
なお、PRM認識によって、あらゆる監視対象物(予測される対象物、障害物、不審物等)が認識されるとは限らない。すなわち、記憶となるデータベースに情報が存在しない対象物は認識できない。しかし、これは特に問題となるものではない。人間であっても記憶にないものは認識できないのと同様である。認識とはそのもの、あるいは、そのものに近いものの記憶との対比によって得られるものであるからである。
これは既に三次元機械地図であるが、三次元機械地図記録装置115では、これから再構築された三次元機械地図を利用するフォーマットに従って記録し、目的に応じて、他の必要な情報を統合することで目的に応じた三次元機械地図を完成させる。
これらを有することを特徴とするものが三次元機械地図生成装置である。
図3は、三次元機械地図を俯瞰的に表現したものであり、図4は、画像取得時の車両目線で表現したものである。三次元機械地図を視覚的に表現すると、一方向からのみ見ることになるが、本来三次元機械地図は機械(コンピュータ)が判断するものであり、全方向、及び全ての視点に変換可能なデータを持っている。
但し、三次元機械地図は人間が見るためのものではないので、ここに示したものは、敢えて目に見える形式に表現したものであり、実際には、このように目に見える形式にして利用するものではない。
次に、上述した三次元機械地図を利用した本発明のナビゲーション装置の一実施形態について、本願出願人に係る上記国際公開WO2005/038402及び特開2007−114916号で提案された方法に従って、図2を参照しつつ説明する。
同図に示すように、本実施形態に係るナビゲーション装置120は、上述した三次元機械地図121(図3、図4参照)と、移動する車両に積載されたカメラからのリアルタイム映像122(図8参照)とを、比較演算装置123において比較する。
これによって、機械が自動的に車両の位置と姿勢を判断し(図9参照)、位置方向評定出力装置124で現在位置を三次元機械地図上に特定し(図10参照)、これによって、ナビゲーション装置を実現している。
ここで、図8に示す三次元機械地図を作成するための映像は右車線であったが、例として示したリアルタイム映像は左車線であることが重要である。
三次元機械地図取得時の車線とは関係なく、リアルタイム映像の撮影位置が自由に選択されていることが重要である。
図9では、始めに三次元機械地図をリアルタイム映像に投影する。
次に三次元機械地図の横ラインと映像のエッジ成分を合わせる。
調整された三次元機械地図とリアルタイム映像上で、次に三次元機械地図の縦ラインと映像のエッジ成分を合わせる。
この作業を繰り返し、三次元機械地図とリアルタイム映像の一致点を求めることで、一致した三次元機械地図の座標から、現在位置と姿勢を取得する。
図10には、連続するフレームについて、実際に位置と姿勢を評定した結果を、三次元機械地図内に視覚的に示してある。但し、実際はコンビュータ内部のデータ処理としてなされていて目に見えるわけでない。
また、自車両のみならず、映像内に写り込んでいる他車両についても、その中に特徴点を抽出し、トラッキングすることで、その他車両の位置、速度、加速度、姿勢までも計測でき、移動体の回転姿勢をも取得でき、これを用いて、車両の衝突回避、危険回避等の制御が可能となる。
さらに、不幸にも事故が起こってしまったときには、記録された車載カメラの映像から、自車両のみ成らず、映像内の事故に関係する車両の全ての位置、回転、加速度、速度を求めることができることになる。
また、せっかくリアルタイム映像を用いることから、これを見るための映像としても利用し、このリアルタイム映像上に案内CGを表示し(案内表示126)、あるいは、情報タグを貼り付け、情報タグに情報を入力し、又は記録し、呼び出すことがきる。
図12に、映像上に案内CGを表示した一例を示す。
三次元機械地図は機械が見るためのものであるが、これは明らかに人間が見るためのものである。
以上、本実施形態のナビゲーション装置の一例を示したが、本発明に係るナビゲーション装置は上記実施形態のみに限定されるものではない。
次に、以上のような本発明の三次元機械地図生成装置における三次元機械地図の生成処理の前提となるCV演算について図13〜図25を参照しつつ説明する。
CV演算とはCV値を求める方法の一つであり、CV演算により求められた結果をCV値,CVデータと呼ぶ。CVという表記は、カメラベクトル:CameraVectorの略記であり、カメラベクトル(CV)とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と3軸回転姿勢を示す値である。
CV演算は、動画像(ビデオ映像)を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの3軸回転姿勢を求めるものである。
また、動画像から演算で求められるCV値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してCV値が求められる特性は、CV演算でしか実現し得ない、優れた特徴である。
但し、CV値は、例えば、他の方法による計測手段(GPSとジャイロ、又はIMU等)より求めることもできる。従って、CV値の取得はCV演算による場合には限られない。
なお、GPSとジャイロ、又はIMU等によりCV値を取得する場合には、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、かつ完全に同期させる必要がある。
また、CVデータを画像から取得する場合は、取得されたデータは相対値であり、絶対値に変換するには既知の地点でのキャリブレーションが必要であるが、CV値と同時に取得される特徴点三次元位置座標と姿勢により、又は新たに画像内に指定して取得した特徴点により、画像内の任意の対象物との位置関係を計測することができるという、他の方法では実現困難な優れた特性を備える。
また、画像に対応したCV値が求まるので、画像との相性が良く、画像から取得したCV値である限り、その画像内では矛盾が無いので、画像以外から求めるCV値と比較して、画像から直接にカメラ位置とその3軸回転姿勢を求めることができるCV演算は画像内計測や画像内測量に好適となる。
そして、本発明では、このCV演算により得られたCV値データに基づいて三次元機械地図を生成するものである。
CV演算は、上述した三次元機械地図生成装置110のCV演算装置112(図1参照)として機能する、図13に示すCV演算部2で行われる。
CV演算部2は、図13に示すように、全周ビデオ映像部1から入力されるビデオ映像について所定のCV演算処理を行うことでCV値を求めるようになっており、具体的には、特徴点抽出部2-1と、特徴点対応処理部2-2と、カメラベクトル演算部2-3と、誤差最小化部2-4と、三次元情報追跡部2-5と、高精度カメラベクトル演算部2-6とを備えている。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので(図16参照)、これを例えば等距離図法のように平面展開表示することで、通常の遠近法映像に変換表示できるからである。
なお、移動体1-1aには、その位置座標を取得する目的で、例えば、絶対座標を取得するGPS機器単独やIMU機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体1-1aに搭載される全周ビデオカメラ1-1としては、広範囲映像を撮影,取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、360度周囲に回転可能なカメラ等がある。本実施形態では、図14及び図15に示すように、車輌に複数のカメラが一体的に固定され、移動体1-1aの移動に伴って広範囲映像を撮影する全周ビデオカメラ1-1を使用している。
ここで、全周ビデオカメラ1-1は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、CV演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像(360度画像)データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図16(a)は球面画像が貼り付けられる仮想球面の外観イメージであり、同図(b)は仮想球面に貼り付けられた球面画像の一例である。また、同図(c)は、(b)の球面画像をメルカトール図法に従って平面展開した画像例を示す。
CV演算部2では、まず、特徴点抽出部2-1が、全周ビデオ映像部1の全周ビデオカメラ1-1で撮影されて一時記録された動画像データの中から、十分な数の特徴点(基準点)を自動抽出する。
特徴点対応処理部2-2は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部2-3は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部2-4は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。
高精度カメラベクトル演算部2-6は、三次元情報追跡部2-5で得られた追跡データに基づいて、カメラベクトル演算部2-3で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成,出力する。
そして、以上のようにして得られたカメラベクトルが、後述する三次元機械地図生成装置200に入力され、CVタグの生成や貼り付け処理に利用されることになる。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することで、三地点の座標で構成される単位の三角形を、その十倍以上の多くの特徴点から求めることになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
一般に、静止した三次元物体は、位置座標(X,Y,Z)と、それぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標(X,Y,Z)とそれぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
まず、上述した全周カメラ映像部10の全周ビデオカメラ1-1で取得された画像データは、間接に又は直接に、CV演算部2の特徴点抽出部2-1に入力され、特徴点抽出部2-1で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部2-2で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図17〜図19に示す。図中「+」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される(図19に示す対応点1〜4参照)。
ここで、特徴点の抽出は、図20に示すように、各画像中に充分に多くの特徴点を指定,抽出することが望ましく(図20の○印参照)、例えば、100点程度の特徴点を抽出する。
本実施形態では、例えば、360度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動(カメラ位置とカメラ回転)を計算するようになっている。また、これを三角測量として説明すれば、方位と俯角仰角を測量する機器を車載して、対象となる複数の測量地点を、移動する測量機器により同一対象物を計測して取得したデータから、各対象地点の座標と測量機器の移動の軌跡を求める場合と同じである。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてt及びRを計算することができる。この演算を対応する複数フレームに適用し演算する。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、全周映像は対象物の方向がそのまま緯度経度で表現されていることから、きわめて有利である。図19に示す360度全周画像のような広角レンズによる画像の方が特徴点を数多く選択し、複数フレームに渡って追跡し易くなる。また、狭角レンズによる映像あっても、同一対象物の周りを移動しながら様々な方向から撮影する場合には特徴点が視界から逃げないので有効である。
そこで、本実施形態では、CV演算に360度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図19は、CV演算部2における処理を理解し易くするために、1台又は複数台のカメラで撮影した画像を合成した360度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のCV演算では、必ずしもメルカトール図法による展開画像である必要はない。
さらに、誤差の分布が大きい特徴点については削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
図21では、図19の画像1,2に示した特徴点1〜4の三次元座標と、画像1と画像2の間で移動するカメラベクトル(X,Y,Z)が示されている。
図22及び図23は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
具体的には、CV演算部2では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるn番目とn+m番目の二つのフレーム画像FnとFn+mに着目して単位演算とし、nとmを適切に設定した単位演算を繰り返すことができる。
mはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどmが大きくなるように設定し、カメラから特徴点までの距離が近いほどmが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
このようにして、フレーム画像FnとFn+mに着目した単位演算を行うことにより、m枚毎にサンプリングした各フレーム間(フレーム間は駒落ちしている)では、長時間かけて精密カメラベクトルを演算し、フレーム画像FnとFn+mの間のm枚のフレーム(最小単位フレーム)では、短時間処理で行える簡易演算とすることができる。
このようにして、画像の進行とともにnが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
具体的には、まず、三次元情報追跡部2-5で、カメラベクトル演算部2-3,誤差最小化部2-4を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報(三次元形状)に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部2-5で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部2-6においてより高精度なカメラベクトルが求められる。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報(三次元形状)を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部2-3により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
例えば、図25に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。CVデータは、その三次元位置と3軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでCV値を同時に観察できる。CVデータをビデオ映像に重ねて表示した画像例を図25に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、CV値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのCV値が重なって表示されてしまうので、例えば図25に示すように、敢えてカメラ位置から真下に1メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにCV値を表示するのがより適切である。
次に、上述した三次元機械地図及びCV演算を利用した本発明の自動運転装置の一実施形態について、図26を参照しつつ説明する。
同図に示すように、本実施形態に係る自動運転装置130は、上述したナビゲーション装置120と同様、三次元機械地図121(図3、図4参照)と、移動する車両に積載されたカメラからのリアルタイム映像122(図8参照)とを、比較演算する構成となっている。
具体的には、自動運転装置130は、車載カメラ装置131と、アルタイム映像生成装置132と、比較装置133と、三次元機械地図121と、再生探索装置134と、一致出力装置135と、CV値取得装置136と、走行情報取得装置137と、対象物情報取得装置138と、自動走行装置139とを備えている。
リアルタイム映像生成装置132は、車載カメラ131から出力するリアルタイム映像を取得する。
比較装置133は、車両に車載された三次元機械地図121と、車載カメラ131で撮影されたリアルタイム映像を、例えばPC(パーソナルコンピュータ)等、車両に搭載した情報処理装置で保持・格納し、当該PCのメモリ内で比較する。
一致出力装置135は、リアルタイム映像の複数部分が三次元機械地図の複数部分に一致したときの三次元機械地図の位置座標と、同様に一致したときの回転座標を出力する。
CV値取得装置136は、当該車両の走行時のリアルタイム映像の各フレームについて、その位置座標と回転座標を求めることで、リアルタイム映像のCV値を取得する。
なお、CV値の取得については、上述したCV演算により行う(図13〜図25参照)。
対象物情報取得装置138は、CV値取得装置136で得られたCV値から、リアルタイム映像内の自車両以外の車両及び障害物等の位置と姿勢、速度、加速度、方向、角速度、角速度等を演算して、リアルタイムで取得する。
そして、自動走行装置139は、上記各装置で得られたデータに基づき生成された制御信号により、当該車両の走行車線と走行速度と走行方向を決定して走行させる。
この自動走行装置139による車両の制御(自動運転)については、既知の技術により実現できる。
以上により、三次元機械地図及びリアルタイム映像に基づく自動運転装置130が構成される。
上述した三次元機械地図を備えた自動運転装置においては、三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応により、リアルタイム映像を取得したカメラのCV値を取得し、それを車両位置として、車両をコントロールすることになる。
このため、三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応が常に取れる場合はよいが、映像は予想できないことがあり、また、天候や時間帯、特に夜間、降雪時などの場合には、適切な単純幾何学図形に対応する映像が見えない場合(リアルタイム映像の対応が取れない)も想定される。
そこで、以下に示す案内マーカを利用することにより、三次元機械地図と走行する車両からのリアルタイム映像の対応が常に取れるようにすることが可能となる。
同図に示すように、本発明の一実施形態に係る案内マーカ140は、指定案内マーカ141、統一形状案内マーカ142からなり、これら案内マーカ140により案内マーカ図形143と案内マーカ画像144を生成して、三次元機械地図生成装置110に入力するようになっている。
具体的には、案内マーカ140は、自動運転による車両走行時の座標基準とするために、機械地図生成装置110で使用される。
統一形状案内マーカ図形142は、形状が既知である案内マーカを、前もって、例えば道路又は道路近傍に適切な密度で設置し、それを三次元機械地図生成装置110により、三次元機械地図に対応して反映させた案内マーカ図形を三次元機械地図の三次元空間に対応させたものである。
案内マーカ画像144は、案内マーカ図形143の元となる映像の一部画像を、そのまま案内マーカ画像として、三次元機械地図の三次元空間に対応させたものである。
そして、指定案内マーカ図形141と統一形状案内マーカ図形142内で、図形によるものを案内マーカ図形として属性登録しておくことができる。
また画像によるものを案内マーカ画像として属性登録しておくことができる。
これら案内マーカ図形143・案内マーカ画像144の組み合わせによって、三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応が取れないような場合にも、三次元機械地図と走行する車両からのリアルタイム映像の対応が常に取れるようにすることができるようになる。
まず、三次元機械地図を構成する単純幾何学図形に特に特徴のある図形に着目し、それを案内マーカ図形として重点的に対応させる(指定案内マーカ図形141)。
また、単純幾何学図形に特徴がない地域においては、積極的に案内マーカを実際の道路又はその近傍に設置することにする(統一形状案内マーカ図形142)。この場合、赤外線や偏光を利用して、カメラ側には赤外線に感度を持つCCDや赤外線フィルタを用い、人間には視認しにくくすることも可能である。
この場合、演算処理するPC等の情報処理装置で認識されやすい、日照や気候の影響を受けにくい形状と図形を選択することができる。例えば、○と+を組み合わせ図形などは、スケール及び回転に強い図形として利用が可能である。
また、PC側で、これらの図形を検出して認識する場合は、いわゆる高度な認識作業ではなく、既に形状も属性も既知である物体の確認作業を行うことになる。
また、マーカのみから車両位置を計測するには、遠方のマーカも必要となるので、遠方の案内マーカにおいては反射板として利用し、カメラではなく、案内マーカに直接レーザ光を当ててその位置を計測して確認することでも可能である。
また、三次元機械地図生成においても、統一形状案内マーカにおいては、実際に現地に設置することになるので、その後の地図生成処理においても正しく確実に統一形状案内マーカを捉えるように、単純な幾何学図形が適している。
そして、三次元機械地図はこれら案内マーカ図形から構成されることになる。
なお、案内マーカの設置密度、又は指定密度は、車載カメラで取得されるリアルタイム映像の視野内に、同時に複数の案内マーカを同時に検出できるような密度とする必要がある。例えば、リアルタイム映像内には、最低三個の案内マーカが同時に映っている必要がある。
図28は、案内マーカを利用する自動運転装置の一実施形態の構成を示す機能ブロック図である。
同図に示すように、本実施形態に係る自動運転装置150は、上述した案内マーカ図形として登録されている三次元機械地図を備えた自動運転装置であり、案内マーカ検出装置151と、案内マーカ地図対応装置152と、車両CV値取得装置153と、マーカ座標読み取り装置154と、繰り返し演算装置155と、出力装置156とを備えている。
案内マーカ地図対応装置152は、検出された案内マーカ映像と三次元機械地図上の案内マーカ図形とを対応させる。
車両CV値取得装置153は、案内マーカ地図対応装置により、対応した複数の案内マーカ図形が持っているそれぞれの座標から、当該車両の座標と姿勢を演算で求める。
マーカ座標読み取り装置154は、当該車両の進行に応じて、次々と新しく現れる案内マーカの座標を三次元機械地図上の新しい案内マーカ図形の座標を読み取る。
出力装置156は、上記の繰り返し作業による車両位置と姿勢を連続的に出力することで、常に車両位置を安定的に検出し続ける。
以上により、本実施形態に係る自動運転装置150では、車両の座標と姿勢を常に取得しながら進行させることができるようになる。
また、リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新することもできる。
図29は、本発明に係る三次元機械地図を備えた自動運転装置の好ましい一実施形態の概略構成を示すブロック図である。
同図に示す自動運転装置160は、自動運転を行う車両のおかれている場を認識する場認識装置161と、人間ではなく、機械(コンピュータ)が判断するための三次元機械地図を格納・記憶する三次元機械地図データベース162と、当該車両周辺の障害物認識装置163と、自己位置と姿勢を評定する自己位置評定装置164と、上記各装置の情報から、車両をコントロールするに必要な信号を生成して、車両をコントロールする自動走行装置165を備えている。
三次元機械地図データベース162は、車両が利用する全ての空間の三次元機械地図を格納している。
ここには、車両の存在する空間、これから向かうべき空間とその属性を登録してある。
また、三次元機械地図は他の装置との連携もあり、その利用範囲も多い。他の装置との関連での利用では、必ずしも三次元機械地図を必要としない装置(例えば三次元機械地図データベース162、自動走行装置165等)もあるが、有ることでその装置の機能を高度に発揮できることになる。
自己位置評定装置164は、三次元機械地図の中での自分の位置と姿勢を精度良く決定するという、自動運転にとって最も基本的な作業を行う。
具体的には、自己位置評定装置164による自己位置評定は、車両に設置したカメラからのリアルタイム映像と三次元機械地図を比較して、三次元機械地図に対しての自車両の位置と姿勢を精読良く求めることになる。位置と姿勢を表す物理的パラメータの数は6であり、6自由度を持つカメラ位置と姿勢を決定することに等しい。さらに、リアルタイム映像のみからも、相対値としてのCV値を取得することが可能であり、双方から精度の高い自己位置評定を行う。
自動走行装置165は、上記の場認識装置161、三次元機械地図データベース162、障害物認識装置163、自己位置評定装置164からの情報を統合し、自動走行に必要な制御信号を生成する。
まず、本発明の一実施形態に係る自動運転装置の基本原理について、図30を参照して説明する。
同図に示すように、本実施形態に係る自動運転装置170は、三次元機械地図装置171を備えるとともに、空間解析装置172と、概略位置評定装置173と、相対自己位置姿勢評定装置174と、絶対自己位置姿勢評定装置175と、移動体分離装置176と、移動***置姿勢評定装置177と、対象物認識装置178と、移動体認識装置179と、判断装置180と、制御装置181と、表示装置182と、CV映像更新装置183と、CV映像データベース184とを備えた構成となっている。
空間解析装置172は、三次元機械地図と車両に積載したカメラにより取得されるリアルタイム映像の対応により、自動運転を行う車両のおかれている環境に関して三次元的に解析する。
概略位置評定装置173は、例えばGPS等の既知の技術により、車両の概略位置を評定・特定する。
相対自己位置姿勢評定装置174は、リアルタイム映像をCV演算して、相対的な座標と姿勢を求める。
移動体分離装置176は、リアルタイム映像に関する多くの特徴点をトラッキングし、その中から、移動体のトラッキング成分を演算により抽出し、静止座標系から移動体映像成分を分離する。
移動***置姿勢評定装置177は、移動体分離装置176で得られた移動体映像成分に係わる移動体トラッキング成分から移動体の位置と姿勢を抽出する。
移動体認識装置179は、移動体の属性を知る必要がある場合には、登録されている属性と比較して、移動体の属性種別を決定する。
判断装置180は、上記の全ての装置の全部又は一部からの情報、又はその一部を取り入れて、安全を判断し、適切な進路を選択し、車両制御に必要な信号を生成する。
制御装置181は、車両制御に必要な信号によって車両を安全で適切に制御する。
表示装置182は、上記の全装置からの情報、又はその一部の信号、制御内容等を表示する。
CV映像データベース184は、CV映像更新装置183から取り込まれたCV映像を格納・記憶する記憶手段であり、CV映像更新装置183により更新又は追加されたCV映像により、随時データベースの内容が更新される。
そして、このCV映像データベース184により、三次元機械地図装置171の内容が更新される。
空間解析装置172では、自動運転を行う「場」である環境そのものの情報を取得する。
具体的には、車両が存在する環境の三次元空間、気候、時間、場所等の情報を取得する。
この空間解析装置172により、場の情報の中に、車両自身を位置づけることで初めて自動運転の条件が整う。
このCV値の演算は、上述したCV値取得装置136(図26参照)におけるのと同様に行うことができる(図13〜図25参照)。
ここで、リアルタイム映像を取得するには、例えば、上述した図14に示したような車載カメラにより取得できるが、本実施形態では、図31に示すように、複数のカメラを車両の屋根等に所定の配置レイアウトで設定することでリアルタイム映像を取得するようにしてある。
このような対のカメラを車両の4カ所(車両前方2カ所、後方2カ所)に取り付けて、水平方向には360度の全周視野を確保し、後述するように、一部重複視野としてその視差も利用する。重複視野については後述する。
これにより、本実施形態では、4カ所計8個のカメラで水平方向全視野を確保していることになる。この計8個のカメラから得られる映像を結合合成して全周映像を生成する。以下これをリアルタイム映像として扱う。
なお、図31に示すように、車両の屋根中央部分(図31のA)の位置に、水平全方向を撮影できる全周カメラを取り付けるようにしても良い。
一方、三次元機械地図は三次元機械地図装置に記録してあり、概略位置評定装置173で、概略位置を指定して、その付近の三次元機械地図を取り出すことができる。
三次元機械地図を生成するには、全周映像をCV演算し、鉛直補正し、絶対座標を付加するなどの処理の後に、CV映像を生成する。
そして、CV映像から、新たな特徴点を三次元計測しながら、単純幾何学図形に分解することで、三次元機械地図を生成する。
三次元機械地図とリアルタイム映像の対比により、リアルタイム映像のカメラ位置を演算で求める方法は上述した通りである(図26参照)。
このように、本実施形態では、地図と現実が一致しない地区を走行する場合と、地図に存在しない地域を走行する場合には、三次元機械地図の元となるCV映像を追加又は更新しながら進むことができる。
CV映像そのものであっても、三次元機械地図の目的は達成することができるので、CV映像をそのまま三次元機械地図の代わりにすることが可能である。三次元機械地図装置171に格納される三次元機械地図は、データ量を極力少なくすることを最大の目的としているのであり、例えば、データ量が問題とならないような場合には、CV映像を三次元機械地図の代わりとすることは可能である。
このようにして、本実施形態では、地図のないところは地図を作りながら走行することが可能となる。
CV映像は記録され、後処理で三次元機械地図に変換される。更新情報は通信で他社に伝達することも可能である。
実際には、地図のない地域では地図生成専用の車両を走行させ、地図データの更新には更新専用車両を走行させることが一般的である。
一方、空間解析装置172からのリアルタイム映像をCV演算することにより、相対自己位置姿勢評定装置174で相対的な自己位置と姿勢が決定される。
ここで、「相対的」とは、緯度経度高度に関する絶対座標を持たないことを意味する。
なお、本実施形態の自動運転装置170では、空間解析装置172の8個のカメラの視野が重複しているので(図31参照)、一部視差のある映像を取得することができ、距離長さに関しては相対的ではなく、長さの単位スケールを持つことができる。
本実施形態では、この三次元機械地図とリアルタイム映像の比較に、端点、直接による単純幾何学図形と指定マーカ図形、統一形状マーカ図形を用いるものとする(図27参照)。
これにより、三次元機械地図は、端点、直線以外に、案内マーカが登録されていて、中心座標を示していることで、その絶対三次元座標を取得することが可能となる。
すなわち、単純幾何学図形とマーカ図形を一致する地点と姿勢を探し出す作業を自動的に行うことで、カメラのそれぞれの位置を三次元機械地図上で決定できることになる。このようにして当該車両の絶対自己位置と姿勢が求められる。
さらに、リアルタイム映像から毎秒5フレームの間欠フレームで、絶対自己位置姿勢を精度良く求め、その中間は毎秒30フレームのリアルタイム映像を直接CV演算したCV値(相対自己位置姿勢評定装置174の出力)を内挿して求める。あるいは、内挿のための信号にはこれ以外にも、自車両の車速パルス又は加速度計とジャイロの組み合わせ等でも良い。
絶対自己位置姿勢が演算によって求まることで、CV映像を利用することができ、これによって、対象物を三次元空間で切り取ることが容易になる。
対象物は複数のCV映像のフレームで重複しているが、三次元座標の絶対値が求められていることで、関連する複数のフレームから対象物を切り出して処理することができることになり、精度、認識確度が向上する。
移動***置姿勢評定装置177では、移動体座標系に属する特徴点のトラッキングデータと、重複する視野の視差からスケールを求め、移動体の静止座標系に対する位置、速度、加速度、姿勢、方向、角速度、角加速度等を演算で求めることができる。
これは、並進する車両や対向車の速度のみならず、その姿勢や回転角速度等も全て自車両と同様に演算で求めることを意味する。
従って、自車両の速度姿勢のコントロールのための情報としてのみならず、当該情報を記録しておくことで、走行の解析や、自己解析にも極めて有益である。
ここまでで、リアルタイム映像のCV値、自車両の位置と姿勢の絶対値、速度、加速度、回転、進行方向、回転角速度、三次元機械地図における座標値付近の属性部品、対象物認識結果、対向車両、並進車両等の位置と姿勢の絶対値、速度、加速度、回転、進行方向、回転角速度、移動体認識結果、等の情報が取得される。
そして、これらの情報が判断装置180に入力され、人工知能により安全走行条件と適性走行条件を満たす自車両の走行条件を決定し、自車両の制御信号に変換される。
制御装置181では、このようにして取得された自車両の制御信号により、自車両の速度、方向、さらには複数のサスペンション、ホイールをそれぞれ独立にコントロールし、あるいはヘッドライト方向をコントロールすることで、実際の車両走行をコントロールすることができる。
また、車両の自動運転・手動運転は、任意に切り替えことが可能で、運転者が同乗している場合もあるので、コントロール信号を可視化して、表示装置182に表示することができるようになっている。
この表示装置182における表示例を図32〜図34に示す。
図32はサラウンドビュウの表示例、図33は超広角バックモニターの表示例、図34はリアルタイムCV映像にCGガイドを付加した表示例である。
例えば、三次元機械地図に目的地や通過地をセットすることで、リアルタイム映像の中に、案内CGを表示することができる。また、表示画面上の案内CGを指先等の手段でクリックすると案内の内容が表示され、案内先との通信が可能となる。
また、三次元機械地図又はCV映像を当該表示装置に表示し、予定の基本走行経路を三次元機械地図上に自動又は手動で記載し、その基本走行経路を自動走行し、障害物や交通状況に応じて、進路変更し、経路変更し、速度変更し、障害物を避け、目的地まで到達することができる。
さらに、道路定点の設置されたカメラからの映像を、通信手段を介して受信し、三次元機械地図やV映像に座標統合して合成することができ、表示装置182を介して、矛盾の無い位置と姿勢の関係で表示することもできる。
例えば、本発明のナビゲーション装置及び自動運転装置は、三次元地図を持つことから、適用する移動体は、地上を走行する車両に限らず、三次元空間を航行するものであっても良い。飛行機でも利用可能であるから、着陸時の精度の高いナビゲーションや自動運転が可能である。ロボットは究極の自動運転でありそのままの利用が可能である。また、宇宙船から見える星や星座を特徴点として、宇宙規模でのナビゲーションや自動運転も可能である。
110 三次元機械地図生成装置
111 全周映像撮影装置
112 CV演算装置
113 幾何学的単純図形検出装置
114 三次元座標付加装置
115 属性登録装置
116 三次元機械地図記録装置
120 ナビゲーション装置
121 三次元機械地図
122 リアルタイム映像
123 比較演算装置
124 位置方向評定出力装置
125 車両制御装置
126 案内表示
Claims (16)
- 目的となる三次元空間の一部又は大部分が複数の幾何学的単純図形で置換され、
単純化されて再構成された単純化三次元空間データを持ち、
それら単純化三次元空間データがコンピュータによって読み取られることで、幾何学的単純図形が前記三次元空間に対応した座標、姿勢、及び/又は属性等の関連データを共に出力する
ことを特徴とする三次元機械地図。 - 現実空間から取り出した幾何学的単純図形とともに、使用目的に合致した対象物を前記幾何学的単純図形として、再構築した単純化三次元データを持ち、
目的となる現実の三次元空間を使用目的に合致させて再構築することで、コンピュータで読み取り、又は書き込み可能であって、
前記図形の全ての座標、姿勢、及び/又は属性等の関連データを共に出力する請求項1記載の三次元機械地図。 - 交通を目的とする場合において、
交通標識、道路表示、道路幅員、道路案内板等の交通に必要な対象物を幾何学的単純図形として形状分類し、属性情報として、三次元空間に追加して配置する請求項1又は2記載の三次元機械地図。 - 自動運転を目的とする場合において、
本来運転者が読み取る目的で設置された交通標識、道路表示(地物)、道路案内板等の対象物を幾何学的単純図形として形状分類し、その属性情報と共に対象物が存在する三次元空間の座標に追加して配置し、
さらに、現実には直接数値表示されていない走行中心線、道路幅員、車線数、道路勾配、回転半径等の自動運転、又は運転アシストに必要な数値属性情報を、車両走行のための三次元空間に対応させて配置する請求項1又は2記載の三次元機械地図。 - 走行中の車両から全周映像を取得する車載全周映像撮影装置と、
全周CV映像を取得するCV演算装置と、
前記全周CV映像から、幾何学的単純図形を抽出し、選択し、分離し、その位置座標と姿勢を三次元的に求める幾何学的単純図形検出装置と、
検出された前記幾何学的単純図形に三次元座標を与える三次元座標付加装置と、
検出された前記幾何学的単純図形に属性を与える属性登録装置と、
検出された前記幾何学的単純図形から、三次元空間を再構築し、目的に応じた他の情報を付加することで請求項1乃至3記載の三次元機械地図を生成して記録する三次元機械地図記録装置と、
を有することを特徴とする三次元機械地図生成装置。 - 請求項1乃至4記載の三次元機械地図を備えたナビゲーション装置であって、
リアルタイム映像から、及び/又は当該ナビゲーション装置で取得された車両のCV値を用いて解析し、映像内の静止物体の位置と姿勢及び、移動する自車以外の車両の位置、姿勢、回転、速度、加速度等の力学的数値を求め、危険回避行動を行わせることを特徴とするナビゲーション装置。 - 請求項1乃至4記載の三次元機械地図を備えたナビゲーション装置であって、
リアルタイム映像の記録、及び/又は当該ナビゲーション装置から得られたCV値の記録から、事故時の自車を含む関連対象物の力学的解析を行うことを特徴とするナビゲーション装置。 - 請求項1乃至4記載の三次元機械地図を備えたナビゲーション装置であって、
現実の空間に、及び/又はリアルタイム映像に矢印等の案内用のCGを合成し、又は音声によりナビゲーションを実行することを特徴とするナビゲーション装置。 - 請求項1乃至3記載の三次元機械地図を備えたナビゲーション装置であって、
リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新することを特徴とするナビゲーション装置。 - 請求項1乃至4記載の三次元機械地図を備えたナビゲーション装置であって、
取得された自車両の情報を他車両に配信することにより、当該他車両とで情報交換を行うことを特徴とするナビゲーション装置。 - 請求項1乃至4記載の三次元機械地図を備えたナビゲーション装置であって、
道路定点に設置されたカメラからの映像を前記三次元機械地図上に、座標統合して、合成して、矛盾無い位置と姿勢の関係で表示することを特徴とするナビゲーション装置。 - 請求項1乃至3記載の三次元機械地図を備えた自動運転装置であって、
車両に固定されて設置され、車両周囲の映像を取得する車載カメラ装置と、
当該車載カメラから出力するリアルタイム映像を取得するリアルタイム映像生成装置と、
当該車両に車載された三次元機械地図と前記リアルタイム映像を比較する比較装置と、
当該車両が走行していると予想される地域の範囲で、前記リアルタイム映像内の複数の領域で、一部分の幾何学的成分が前記三次元機械地図の一部分の幾何学成分との対応位置を求めながら、三次元機械地図の視点位置と視点姿勢と視点方向とが近づくように調整し、三次元機械地図の限定された範囲内を探索する再生探索装置と、
前記リアルタイム映像の複数部分が前記三次元機械地図の複数部分に一致したときの三次元機械地図の位置座標と、同様に一致したときの回転座標を出力する一致出力装置と、
当該車両の走行時のリアルタイム映像の各フレームについて、その位置座標と回転座標を求めることで、前記リアルタイム映像のCV値を取得するCV値取得装置と、
当該車両位置と姿勢、速度、加速度、方向、角速度、角加速度等を演算して、リアルタイムで取得する走行情報取得装置と、
前記CV値から、リアルタイム映像内の自車両以外の車両及び障害物等の位置と姿勢、速度、加速度、方向、角速度、角速度等を演算して、リアルタイムで取得する対象物情報取得装置と、
当該車両の走行車線と走行速度と走行方向を決定して走行させる自動走行装置と
を備えることを特徴とする自動運転装置。 - 自動運転による車両走行時の座標基準とするために、前記前記三次元機械地図を構成する幾何学的単純図形の中から、選択した図形又は画像を案内マーカ図形又は案内マーカ画像を三次元機械地図の三次元空間に対応させた指定案内マーカ図形と、
形状が既知である案内マーカを、前もって道路又は道路近傍に適切な密度で設置し、それを前記三次元機械地図生成装置により、三次元機械地図に対応して反映させた案内マーカ図形を三次元機械地図の三次元空間に対応させた統一形状案内マーカ図形と、
前記案内マーカ図形の元となる映像の一部画像を、そのまま案内マーカ画像として、三次元機械地図の三次元空間に対応させた案内マーカ画像と、を備え、
前記指定案内マーカ図形と統一形状案内マーカの内で図形によるものを案内マーカ図形として属性登録するとともに、画像によるものを案内マーカ画像として属性登録してこれらを組み合わせる請求項12記載の自動運転装置。 - 前記車載カメラによる道路及び道路近傍のリアルタイム映像内に写っている案内マーカ映像を検出する案内マーカ検出装置と、
検出された前記案内マーカ映像と三次元機械地図上の案内マーカ図形とを対応させる案内マーカ地図対応装置と、
前記案内マーカ地図対応装置により、対応した複数の案内マーカ図形が持っているそれぞれの座標から、当該車両の座標と姿勢を演算で求める車両CV値取得装置と、
当該車両の進行に応じて、次々と新しく現れる案内マーカの座標を前記三次元機械地図上の新しい案内マーカ図形の座標を読み取るマーカ座標読み取り装置と、
前記座標を予想位置として前記座標付近をリアルタイム映像内に検索して、前記案内マーカ地図対応装置で、新しい案内マーカ映像と新しい案内マーカ図形とを対応させ、対応の取れた複数の案内マーカ図形が属性として持つ座標から、前記車両CV値取得装置により、前位置より先に進行した車両の座標と姿勢を演算で求める作業を連続的に続ける繰り返し演算装置と、
繰り返し作業による車両位置と姿勢を連続的に出力することで、常に車両位置を安定的に検出し続ける出力装置と、を備え、
車両の座標と姿勢を取得しながら進行させる請求項13記載の自動運転装置。 - 当該車両に積載したリアルタイム映像の記録、及び/又は当該自動運転装置から得られたCV値の記録に基づいて、事故等の特殊な時点において、当該車両を含む関連対象物それぞれの、及びそれらの関係についての力学的解析を行う請求項12乃至14のいずれか一項記載の自動運転装置。
- リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新する請求項12乃至15のいずれか一項記載の自動運転装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008105003A JP5227065B2 (ja) | 2008-01-25 | 2008-04-14 | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008015267 | 2008-01-25 | ||
JP2008015267 | 2008-01-25 | ||
JP2008105003A JP5227065B2 (ja) | 2008-01-25 | 2008-04-14 | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009199572A true JP2009199572A (ja) | 2009-09-03 |
JP5227065B2 JP5227065B2 (ja) | 2013-07-03 |
Family
ID=41142959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008105003A Active JP5227065B2 (ja) | 2008-01-25 | 2008-04-14 | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5227065B2 (ja) |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011086111A (ja) * | 2009-10-15 | 2011-04-28 | Mitsubishi Electric Corp | 撮像装置校正方法及び画像合成装置 |
JP2011102799A (ja) * | 2009-11-11 | 2011-05-26 | Northrop Grumman Guidance & Electronics Co Inc | ヘディングを決定するためのシステムおよび方法 |
CN102939742A (zh) * | 2010-06-16 | 2013-02-20 | 高通股份有限公司 | 相机视图与地图视图之间的用户界面转变 |
WO2013133129A1 (ja) | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | 移動物***置姿勢推定装置及び移動物***置姿勢推定方法 |
JP2013186718A (ja) * | 2012-03-08 | 2013-09-19 | Nissan Motor Co Ltd | 移動物***置姿勢推定装置及び方法 |
JP2013185871A (ja) * | 2012-03-06 | 2013-09-19 | Nissan Motor Co Ltd | 移動物***置姿勢推定装置及び方法 |
WO2014091877A1 (ja) * | 2012-12-12 | 2014-06-19 | 日産自動車株式会社 | 移動物***置姿勢角推定装置及び移動物***置姿勢角推定方法 |
KR20140138635A (ko) * | 2012-03-27 | 2014-12-04 | 오토리브 에이에스피, 인크. | 관성 센서 향상 |
US9197863B2 (en) | 2012-04-27 | 2015-11-24 | Fujitsu Ten Limited | Display system that displays augmented reality image of posted data icons on captured image for vehicle-mounted apparatus |
KR20170008505A (ko) * | 2015-07-14 | 2017-01-24 | 서울대학교산학협력단 | 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 |
KR20170076695A (ko) * | 2014-11-04 | 2017-07-04 | 코너트 일렉트로닉스 리미티드 | 자동차의 운전자 보조 시스템 조작 방법, 운전자 보조 시스템 및 자동차 |
WO2017168900A1 (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 情報処理装置 |
KR20170133013A (ko) * | 2016-05-25 | 2017-12-05 | 현대모비스 주식회사 | 탑-뷰 영상 생성 장치 및 그 방법 |
JP6272572B1 (ja) * | 2017-02-03 | 2018-01-31 | 三菱電機株式会社 | 表示制御装置および表示制御方法 |
US9921585B2 (en) | 2014-04-30 | 2018-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Detailed map format for autonomous driving |
JP2018081008A (ja) * | 2016-11-16 | 2018-05-24 | 株式会社岩根研究所 | 基準映像地図を用いた自己位置姿勢標定装置 |
US10118614B2 (en) | 2014-04-30 | 2018-11-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Detailed map format for autonomous driving |
JP2019039851A (ja) * | 2017-08-28 | 2019-03-14 | 株式会社トプコン | 写真測量システム及び写真測量方法 |
CN109544443A (zh) * | 2018-11-30 | 2019-03-29 | 北京小马智行科技有限公司 | 一种路线图生成方法及装置 |
US10353397B2 (en) | 2014-08-21 | 2019-07-16 | Panasonic Intellectual Property Management Co., Ltd. | Information management device, vehicle, and information management method |
CN110126731A (zh) * | 2018-02-09 | 2019-08-16 | 丰田自动车株式会社 | 显示装置 |
JP2019185404A (ja) * | 2018-04-10 | 2019-10-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
JP2019197453A (ja) * | 2018-05-11 | 2019-11-14 | パイオニア株式会社 | 情報処理装置 |
WO2019230474A1 (ja) * | 2018-05-29 | 2019-12-05 | 日立オートモティブシステムズ株式会社 | 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム |
KR20200011612A (ko) * | 2015-02-10 | 2020-02-03 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
WO2021075318A1 (ja) * | 2019-10-18 | 2021-04-22 | 株式会社Nttドコモ | 測位システム及び端末 |
CN113008263A (zh) * | 2016-11-01 | 2021-06-22 | 松下电器(美国)知识产权公司 | 数据生成方法及数据生成装置 |
CN113091756A (zh) * | 2019-12-23 | 2021-07-09 | 歌乐株式会社 | 位置推定装置、以及位置推定方法 |
JP2022118096A (ja) * | 2014-11-19 | 2022-08-12 | エイディシーテクノロジー株式会社 | 自動運転制御装置及び車両 |
US11449048B2 (en) | 2017-06-28 | 2022-09-20 | Panasonic Intellectual Property Corporation Of America | Moving body control apparatus, moving body control method, and training method |
CN115100362A (zh) * | 2022-08-23 | 2022-09-23 | 航天正通汇智(北京)科技股份有限公司 | 基于四色图和倾斜摄影的空间自动化建模和可视化方法 |
CN115239899A (zh) * | 2022-06-29 | 2022-10-25 | 北京百度网讯科技有限公司 | 位姿图生成方法、高精地图生成方法和装置 |
JP7506876B2 (ja) | 2018-12-11 | 2024-06-27 | セーフ エーアイ,インコーポレイテッド | 自律車両における運動挙動推定および動的挙動推定のための技術 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6798779B2 (ja) | 2015-11-04 | 2020-12-09 | トヨタ自動車株式会社 | 地図更新判定システム |
CN111341094B (zh) * | 2020-03-31 | 2020-12-11 | 江苏超聚新能源科技有限公司 | 一种新能源驱动的站牌式导航仪 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
-
2008
- 2008-04-14 JP JP2008105003A patent/JP5227065B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
Cited By (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011086111A (ja) * | 2009-10-15 | 2011-04-28 | Mitsubishi Electric Corp | 撮像装置校正方法及び画像合成装置 |
JP2011102799A (ja) * | 2009-11-11 | 2011-05-26 | Northrop Grumman Guidance & Electronics Co Inc | ヘディングを決定するためのシステムおよび方法 |
CN102939742A (zh) * | 2010-06-16 | 2013-02-20 | 高通股份有限公司 | 相机视图与地图视图之间的用户界面转变 |
JP2013538332A (ja) * | 2010-06-16 | 2013-10-10 | クアルコム,インコーポレイテッド | カメラビューとマップビューとの間のユーザインターフェースの移行 |
US9684989B2 (en) | 2010-06-16 | 2017-06-20 | Qualcomm Incorporated | User interface transition between camera view and map view |
WO2013133129A1 (ja) | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | 移動物***置姿勢推定装置及び移動物***置姿勢推定方法 |
JP2013185871A (ja) * | 2012-03-06 | 2013-09-19 | Nissan Motor Co Ltd | 移動物***置姿勢推定装置及び方法 |
US9797981B2 (en) | 2012-03-06 | 2017-10-24 | Nissan Motor Co., Ltd. | Moving-object position/attitude estimation apparatus and moving-object position/attitude estimation method |
JP2013186718A (ja) * | 2012-03-08 | 2013-09-19 | Nissan Motor Co Ltd | 移動物***置姿勢推定装置及び方法 |
KR20140138635A (ko) * | 2012-03-27 | 2014-12-04 | 오토리브 에이에스피, 인크. | 관성 센서 향상 |
KR102038482B1 (ko) * | 2012-03-27 | 2019-10-30 | 비오니어 유에스, 인크. | 관성 센서 향상 |
US9197863B2 (en) | 2012-04-27 | 2015-11-24 | Fujitsu Ten Limited | Display system that displays augmented reality image of posted data icons on captured image for vehicle-mounted apparatus |
JP5962771B2 (ja) * | 2012-12-12 | 2016-08-03 | 日産自動車株式会社 | 移動物***置姿勢角推定装置及び移動物***置姿勢角推定方法 |
WO2014091877A1 (ja) * | 2012-12-12 | 2014-06-19 | 日産自動車株式会社 | 移動物***置姿勢角推定装置及び移動物***置姿勢角推定方法 |
JPWO2014091877A1 (ja) * | 2012-12-12 | 2017-01-05 | 日産自動車株式会社 | 移動物***置姿勢角推定装置及び移動物***置姿勢角推定方法 |
CN104854637B (zh) * | 2012-12-12 | 2016-08-24 | 日产自动车株式会社 | 移动物***置姿态角推定装置及移动物***置姿态角推定方法 |
CN104854637A (zh) * | 2012-12-12 | 2015-08-19 | 日产自动车株式会社 | 移动物***置姿态角推定装置及移动物***置姿态角推定方法 |
EP2933790A4 (en) * | 2012-12-12 | 2016-03-02 | Nissan Motor | ATTITUDE ANGLE ESTIMATING DEVICE / MOBILE OBJECT LOCATION AND ATTITUDE ANGLE ESTIMATION METHOD / MOBILE OBJECT PLACE |
US9740942B2 (en) | 2012-12-12 | 2017-08-22 | Nissan Motor Co., Ltd. | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method |
US10118614B2 (en) | 2014-04-30 | 2018-11-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Detailed map format for autonomous driving |
US9921585B2 (en) | 2014-04-30 | 2018-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Detailed map format for autonomous driving |
US10353397B2 (en) | 2014-08-21 | 2019-07-16 | Panasonic Intellectual Property Management Co., Ltd. | Information management device, vehicle, and information management method |
KR20170076695A (ko) * | 2014-11-04 | 2017-07-04 | 코너트 일렉트로닉스 리미티드 | 자동차의 운전자 보조 시스템 조작 방법, 운전자 보조 시스템 및 자동차 |
KR102004062B1 (ko) * | 2014-11-04 | 2019-07-25 | 코너트 일렉트로닉스 리미티드 | 자동차의 운전자 보조 시스템 조작 방법, 운전자 보조 시스템 및 자동차 |
JP2023021159A (ja) * | 2014-11-19 | 2023-02-09 | エイディシーテクノロジー株式会社 | 自動運転制御装置及び車両 |
JP2022118096A (ja) * | 2014-11-19 | 2022-08-12 | エイディシーテクノロジー株式会社 | 自動運転制御装置及び車両 |
JP7427280B2 (ja) | 2014-11-19 | 2024-02-05 | エイディシーテクノロジー株式会社 | 自動運転制御装置及び車両 |
KR20200011612A (ko) * | 2015-02-10 | 2020-02-03 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
KR20200011593A (ko) * | 2015-02-10 | 2020-02-03 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
JP2021103525A (ja) * | 2015-02-10 | 2021-07-15 | モービルアイ ビジョン テクノロジーズ リミテッド | ナビゲーション情報を処理する方法、ナビゲーション情報を処理する地図サーバコンピュータプログラム、自律車両のナビゲーションを支援する車両システム、および自律車両 |
JP7176811B2 (ja) | 2015-02-10 | 2022-11-22 | モービルアイ ビジョン テクノロジーズ リミテッド | 自律車両ナビゲーションのための疎な地図 |
KR102534792B1 (ko) * | 2015-02-10 | 2023-05-19 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
JP2021012708A (ja) * | 2015-02-10 | 2021-02-04 | モービルアイ ビジョン テクノロジーズ リミテッド | 車両の動作を制御するための車両の装置、車両のナビゲーション制御システムによって実行される方法、車両、プログラム、および少なくとも1つの機械可読記憶媒体 |
CN112146669A (zh) * | 2015-02-10 | 2020-12-29 | 御眼视觉技术有限公司 | 服务器***、方法及机器可读介质 |
KR102624434B1 (ko) * | 2015-02-10 | 2024-01-15 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
US11781870B2 (en) | 2015-02-10 | 2023-10-10 | Mobileye Vision Technolgies Ltd. | Crowd sourcing data for autonomous vehicle navigation |
JP2020115136A (ja) * | 2015-02-10 | 2020-07-30 | モービルアイ ビジョン テクノロジーズ リミテッド | 自律車両ナビゲーションのための疎な地図 |
US11774251B2 (en) | 2015-02-10 | 2023-10-03 | Mobileye Vision Technologies Ltd. | Systems and methods for identifying landmarks |
JP7280465B2 (ja) | 2015-02-10 | 2023-05-24 | モービルアイ ビジョン テクノロジーズ リミテッド | ナビゲーション情報を処理する方法、ナビゲーション情報を処理する地図サーバコンピュータプログラム、自律車両のナビゲーションを支援する車両システム、および自律車両 |
US11422554B2 (en) | 2015-02-10 | 2022-08-23 | Mobile Vision Technologies Ltd. | Self-aware system for adaptive navigation |
KR20170008505A (ko) * | 2015-07-14 | 2017-01-24 | 서울대학교산학협력단 | 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 |
KR101711964B1 (ko) * | 2015-07-14 | 2017-03-13 | 서울대학교산학협력단 | 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 |
JP2017181870A (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 情報処理装置及び情報処理サーバ |
WO2017168900A1 (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 情報処理装置 |
CN108780615A (zh) * | 2016-03-31 | 2018-11-09 | 索尼公司 | 信息处理设备 |
KR102457265B1 (ko) * | 2016-05-25 | 2022-10-20 | 현대모비스 주식회사 | 탑-뷰 영상 생성 장치 및 그 방법 |
KR20170133013A (ko) * | 2016-05-25 | 2017-12-05 | 현대모비스 주식회사 | 탑-뷰 영상 생성 장치 및 그 방법 |
CN113008263B (zh) * | 2016-11-01 | 2024-04-30 | 松下电器(美国)知识产权公司 | 数据生成方法及数据生成装置 |
CN113008263A (zh) * | 2016-11-01 | 2021-06-22 | 松下电器(美国)知识产权公司 | 数据生成方法及数据生成装置 |
JP2018081008A (ja) * | 2016-11-16 | 2018-05-24 | 株式会社岩根研究所 | 基準映像地図を用いた自己位置姿勢標定装置 |
WO2018142580A1 (ja) * | 2017-02-03 | 2018-08-09 | 三菱電機株式会社 | 表示制御装置および表示制御方法 |
JP6272572B1 (ja) * | 2017-02-03 | 2018-01-31 | 三菱電機株式会社 | 表示制御装置および表示制御方法 |
US11449048B2 (en) | 2017-06-28 | 2022-09-20 | Panasonic Intellectual Property Corporation Of America | Moving body control apparatus, moving body control method, and training method |
JP7152137B2 (ja) | 2017-08-28 | 2022-10-12 | 株式会社トプコン | 写真測量システム及び写真測量方法 |
JP2019039851A (ja) * | 2017-08-28 | 2019-03-14 | 株式会社トプコン | 写真測量システム及び写真測量方法 |
CN110126731A (zh) * | 2018-02-09 | 2019-08-16 | 丰田自动车株式会社 | 显示装置 |
CN110126731B (zh) * | 2018-02-09 | 2022-08-16 | 丰田自动车株式会社 | 显示装置 |
JP7158881B2 (ja) | 2018-04-10 | 2022-10-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
JP2019185404A (ja) * | 2018-04-10 | 2019-10-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
JP7352331B2 (ja) | 2018-05-11 | 2023-09-28 | ジオテクノロジーズ株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2019197453A (ja) * | 2018-05-11 | 2019-11-14 | パイオニア株式会社 | 情報処理装置 |
JPWO2019230474A1 (ja) * | 2018-05-29 | 2021-06-17 | 日立Astemo株式会社 | 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム |
WO2019230474A1 (ja) * | 2018-05-29 | 2019-12-05 | 日立オートモティブシステムズ株式会社 | 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム |
JP6997868B2 (ja) | 2018-05-29 | 2022-01-18 | 日立Astemo株式会社 | 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム |
US11136022B2 (en) | 2018-05-29 | 2021-10-05 | Hitachi Automotive Systems, Ltd. | Road marker detection method |
CN109544443A (zh) * | 2018-11-30 | 2019-03-29 | 北京小马智行科技有限公司 | 一种路线图生成方法及装置 |
CN109544443B (zh) * | 2018-11-30 | 2023-03-10 | 北京小马智行科技有限公司 | 一种路线图生成方法及装置 |
JP7506876B2 (ja) | 2018-12-11 | 2024-06-27 | セーフ エーアイ,インコーポレイテッド | 自律車両における運動挙動推定および動的挙動推定のための技術 |
JP7185786B2 (ja) | 2019-10-18 | 2022-12-07 | 株式会社Nttドコモ | 測位システム及び端末 |
JPWO2021075318A1 (ja) * | 2019-10-18 | 2021-04-22 | ||
WO2021075318A1 (ja) * | 2019-10-18 | 2021-04-22 | 株式会社Nttドコモ | 測位システム及び端末 |
CN113091756A (zh) * | 2019-12-23 | 2021-07-09 | 歌乐株式会社 | 位置推定装置、以及位置推定方法 |
CN115239899B (zh) * | 2022-06-29 | 2023-09-05 | 北京百度网讯科技有限公司 | 位姿图生成方法、高精地图生成方法和装置 |
CN115239899A (zh) * | 2022-06-29 | 2022-10-25 | 北京百度网讯科技有限公司 | 位姿图生成方法、高精地图生成方法和装置 |
CN115100362A (zh) * | 2022-08-23 | 2022-09-23 | 航天正通汇智(北京)科技股份有限公司 | 基于四色图和倾斜摄影的空间自动化建模和可视化方法 |
CN115100362B (zh) * | 2022-08-23 | 2022-11-11 | 航天正通汇智(北京)科技股份有限公司 | 基于四色图和倾斜摄影的空间自动化建模和可视化方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5227065B2 (ja) | 2013-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5227065B2 (ja) | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 | |
JP7040867B2 (ja) | システム、方法およびプログラム | |
JP7432285B2 (ja) | レーンマッピング及びナビゲーション | |
US20210311490A1 (en) | Crowdsourcing a sparse map for autonomous vehicle navigation | |
JP7125214B2 (ja) | プログラムおよびコンピューティングデバイス | |
CN110057373B (zh) | 用于生成高精细语义地图的方法、装置和计算机存储介质 | |
JP4767578B2 (ja) | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 | |
US20210247193A1 (en) | Creation and use of enhanced maps | |
US10248124B2 (en) | Localizing vehicle navigation using lane measurements | |
JP4273119B2 (ja) | ナビゲーション装置 | |
Brenner | Extraction of features from mobile laser scanning data for future driver assistance systems | |
JP6821154B2 (ja) | 基準映像地図を用いた自己位置姿勢標定装置 | |
CN108362295A (zh) | 车辆路径引导设备和方法 | |
JP4980617B2 (ja) | 二次元図面と映像の合成表示装置 | |
US20230341239A1 (en) | Systems and methods for road segment mapping | |
CN115735168A (zh) | 用于对交通工具进行导航的控制回路 | |
Soheilian et al. | Generation of an integrated 3D city model with visual landmarks for autonomous navigation in dense urban areas | |
JP4773794B2 (ja) | 新旧映像座標統合装置 | |
BR112019000918B1 (pt) | Método e sistema para construir representação de linha de característica da superfície de estrada e meio não transitório legível por computador |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090616 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090824 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120824 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130111 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130315 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5227065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |