JP2004297808A - 移動体周辺監視装置 - Google Patents
移動体周辺監視装置 Download PDFInfo
- Publication number
- JP2004297808A JP2004297808A JP2004090275A JP2004090275A JP2004297808A JP 2004297808 A JP2004297808 A JP 2004297808A JP 2004090275 A JP2004090275 A JP 2004090275A JP 2004090275 A JP2004090275 A JP 2004090275A JP 2004297808 A JP2004297808 A JP 2004297808A
- Authority
- JP
- Japan
- Prior art keywords
- display image
- vehicle
- environment information
- image
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012806 monitoring device Methods 0.000 title claims description 35
- 238000000034 method Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 3
- 239000002131 composite material Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】 移動体のオペレータに、取得した移動体周辺の状況を立体的に伝える。
【解決手段】 移動体周辺の環境情報を検出すると共に前記環境情報を出力する環境情報検出手段と、前記移動体の移動状況を継続的に検出する軌跡推定手段を有する移動体情報検出手段と、前記環境情報検出手段が検出した前記環境情報に基づいて前記移動体周辺の3次元環境情報を構築する3次元環境情報構築手段と、少なくとも1つの前記環境情報と前記3次元環境情報を蓄積する蓄積手段と、前記3次元環境情報を基に表示画像を作成する表示画像作成手段と、前記表示画像を表示する表示手段とを備え、オペレータに移動体周辺風景および表示される風景中の障害物の3次元表示を提供する。これにより効果的に死角が解消され、現在カメラで撮像されていない障害物も容易に把握できるようになる。さらに、運転者は障害物との衝突を回避するためにあらゆる視点からこのモデルを見ることができる。
【選択図】 図1
【解決手段】 移動体周辺の環境情報を検出すると共に前記環境情報を出力する環境情報検出手段と、前記移動体の移動状況を継続的に検出する軌跡推定手段を有する移動体情報検出手段と、前記環境情報検出手段が検出した前記環境情報に基づいて前記移動体周辺の3次元環境情報を構築する3次元環境情報構築手段と、少なくとも1つの前記環境情報と前記3次元環境情報を蓄積する蓄積手段と、前記3次元環境情報を基に表示画像を作成する表示画像作成手段と、前記表示画像を表示する表示手段とを備え、オペレータに移動体周辺風景および表示される風景中の障害物の3次元表示を提供する。これにより効果的に死角が解消され、現在カメラで撮像されていない障害物も容易に把握できるようになる。さらに、運転者は障害物との衝突を回避するためにあらゆる視点からこのモデルを見ることができる。
【選択図】 図1
Description
本発明は車両に使用する移動体周辺監視装置に関し、特に、自動車の駐車支援を行うものである。具体的には、衝突防止を考慮した自動運転システムが開発されており、この分野で画像処理技術が役立てられる。つまり、画像処理技術が車両運転者により簡単に車両または駐車時の状況を認知できるようにする付加情報を提供する。
例えば、後方ビデオカメラを用いた後退支援システムが公知である。このシステムは一般公知のシステムと同様に、ビデオカメラを用いて車両運転者に2次元画像情報を提供し、駐車操作時に死角を表示することで運転者を支援するものである。
運転状態と車両周囲の状況を知るため車両の死角を表示する監視装置が開示されている。次にそのいくつかの例を示す。
特許文献1:特開昭62−278477号公報には、距離センサおよびハンドル角センサからの出力信号をもとに自動車の走行軌跡を演算するコンピュータを備え、車両周辺の障害物の位置および予想走行軌跡を表示する自動車の車庫入れ支援システムが提案されている。
特許文献2:また、特開平1−141137号公報には、車両前部の左右両側に障害物検出センサを設け、該検出センサにより車両の前部両側の障害物への接近を検出し、該検出情報をモニタ画面に後方視界と同時にモニタ画面に表示するようにした車両の後方視界表示装置が提案されている。
特許文献3:特開2001−187553号公報には、単一のカメラによって撮像された画像を基に、車両と車両周囲の障害物との間の距離を算出し、該算出されたデータに基づいて第3の画像を生成し表示する装置について記載されている。
特許文献4:また、特開2002−052999号公報には、自車両の停止位置マーカと横方向距離計測マーカをモニタ画面に重合描画し、測距センサを設けることなく、カメラ画像と舵角センサを利用し、自車両と基準物との相対位置を検出し得る相対位置検出装置が提案されている。
以上に記載の装置によれば、車両の後方視界はカメラで撮像されてモニタ画面に表示される。しかしながら、これらの装置では車両のコーナー付近はカメラの視界から外れており、この領域はモニタ画面に表示されない。このため、運転状況と車両周囲の状況によって表示される画像が制限されてしまう。
これに対処するため、適当な視野角を有するカメラを車両に配置すればよい。しかしながら、車種によってはカメラの配置により意匠を損なうことがあり、この方法を全ての車種に適用することはできない。
特許文献5:特開平8−48198号公報には、センサを車両に配置し、車両と周囲との相対関係の画像を表示することによって車両周囲の状況を運転者に通知する車両位置推定装置が記載されている。
しかし、この車両位置推定装置は、車両周囲の任意の視点から撮像された画像を表示することができないから、車両周囲の3次元情報を構築することができない。その代わりに多くとも2種類の平面図を表示する。
非特許文献1:一方、非特許文献として「CyberSity Spatial Information System(SIS)」(Proc. 20th Asian Conference on Remote Sensing,November, Hong Kong)誌の121頁から128頁に(1999年)「ハイブリッドGISにおける3D都市モデル管理の新コンセプト」と題するA.Gruen氏およびX.Wang氏の仮想物体および世界境界から構成される仮想世界に関する論文が掲載されている。ここで、前記仮想物体はいくつかの質感または色を付けた要素(例えば三角形)により構成される。前記世界境界は背景要素から遠方にあり、それは通常、空のテクスチャーまたは他の背景のテクスチャーと同様に質感付けされる。仮想現実系において、背景の境界は仮想物体および仮想カメラの位置から遠く離れているため、前記背景の現実感は許容できる。しかし、遠い背景と近くの物体の間に質感の格差がある場合や、背景の質感を現実時間内で復元できない場合が生じることがある。
非特許文献2:「レンジおよびイメージデータを用いた3Dモデル構築」(Ioannis Stamos氏およびPeter K. Allen氏著。CVPR2000に提出)と題する自動風景モデリングシステムに関する論文が開示されている。開示されたシステムでは例えば木などの複雑な形状を持つものが取り扱われていない。さらに、コストと信頼性のために入手困難なレンジイメージ(濃淡深度推定)が必要となってしまう。
非特許文献3:また、ウェブサイト「http://www.hotelbeausite.net/」(リンク:virtual tour)では複雑な風景モデリングと複雑な光の合成を考慮した仮想現実システムの例が開示されている。パノラマあるいはモザイク再構築法として知られるこの方法は、実際には純粋な2次元のものである。事実、このシステムは深さの推定なしに3次元の錯覚を作ると見せかけるものである。このシステムは固定された位置の周囲を仮想景色が回転することしか考慮せず、仮想カメラがその位置を変えることは考慮されていない。このシステムが純粋な2次元システムであると同時に、景色の中でカメラの位置を連続的に変化させることができないから、現実感のある仮想訪問のためには適さない。
特開昭62−278477号公報
特開平1−141137号公報
特開2001−187553号公報
特開2002−052999号公報
特開平8−48198号公報
ハイブリッドGISにおける3D都市モデル管理の新コンセプト
レンジおよびイメージデータを用いた3Dモデル構築
ウェブサイト「http://www.hotelbeausite.net/」
以上の従来技術で示されるように、現在の後方確認用2Dシステムの欠点は、ドライバーが全体の風景を一度に見ることができなかったということである。
本発明は以上の課題を解決するもので、リアルタイムに取得した周辺環境の感覚を立体的に使用者に伝える仮想現実システムを提供することを目的とする。この技術は、移動体の移動中に撮像した風景の要素を3Dモデル中に記憶することを可能にする。この仮想3Dモデルを用い、移動体のオペレータは常にあらゆる視点からの風景を見ることができるようになる。
従って、本発明の移動体周辺監視装置は、移動体周辺の環境情報を検出すると共に前記環境情報を出力する環境情報検出手段と、前記移動体の移動状況を継続的に検出する軌跡推定手段を有する移動体情報検出手段と、前記環境情報検出手段が検出した前記環境情報に基づいて前記移動体周辺の3次元環境情報を構築する3次元環境情報構築手段と、少なくとも1つの前記環境情報と前記3次元環境情報を蓄積する蓄積手段と、前記3次元環境情報を基に表示画像を作成する表示画像作成手段と、前記表示画像を表示する表示手段とを備える。
本発明の他の好適な特徴は従属請求項で明らかにされる。
本発明の移動体周辺監視装置によれば、運転者に移動体周辺風景および表示される風景中の障害物の部分3次元表示を提供できることとなる。装置は移動体後部に取付けられたカメラで撮像された風景の一部を3次元モデルとして記憶できる。これにより効果的に死角が解消され、現在カメラで撮像されていない障害物も容易に把握できるようになる。さらに、既知のコンピュータグラフィック技術を利用することにより、運転者は障害物との衝突を回避するためにあらゆる視点からこのモデルを見ることができる。
本発明に係る監視装置の他の特徴および効果は、以下の説明で明らかにされる。それは添付図面を参照することのみに限定されない。
本発明の移動体周辺監視装置は、自動車、移動可能ロボット、および工場内で操作される輸送車等に適用可能である。
本発明の移動体周辺監視装置によれば、車両のオペレータは車両と車両周辺の物体要素との位置関係を、モニタ上で把握することができる。従って、オペレータが車両周辺の物体要素に注意しながら車両を操作する場合に、モニタ上の画像を見ながら車両を操作でき、車両と物体要素との接触を防止できる。
本発明の移動体周辺監視装置によれば、画像を表示するため、カメラ等の環境情報検出手段1の数や位置に関係なく所定位置での車両の視野が適切に確保される。特に、移動体情報検出手段2の使用により、1つの環境情報検出手段1のみで周辺情報を簡単に検出できる。従って、装置の製造コストを下げることができる。更に、速度検出器が移動状況検出手段として作用する構成としたから、製造コストをより低く抑えることができる。
本発明の移動体周辺監視装置は車両周辺の3次元環境の全体または一部分を含む画像を表示できるよう構成した。従って、車両が中間方向(arbitral direction)へ旋回する際に中間の(arbitral)視点からの車両周辺の画像を表示できる。
更に、移動体のオペレータが表示画像を決定できるような構成としたから、画像をオペレータの向きに応じて容易に望みの画像に切り替えることができる。更に、表示画像を自動的に決定できるような構成にすれば、運転状況や車両周辺の状態に応じて、画像の補助無しにオペレータが気づかない視点を得られることとなる。
更に、移動体の情報を表示画像に貼り付ける構成としたから、移動体と移動体周辺との位置関係を極めて詳細に確認できることとなる。
更に、テクスチャーを非構造的な垂直面に重合描写し、環境に基づいて3次元環境を適用する構成としたから、移動体と移動体周辺との関係を極めて明確に確認できることとなる。
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図1に本発明の第1実施形態の移動体周辺監視装置の構成を示す。図3は自動車などの移動体に搭載された周囲監視装置を示す。
移動体周囲監視装置は、車両(移動体)に搭載され、車両周囲の画像を撮像する、例えばビデオカメラなどの環境情報検出手段1を備えている。前記環境情報検出手段1により撮像された画像情報は、3次元環境情報構築手段3に出力される。また、連続的に前記車両の移動状況を検出する車両移動体情報検出手段2を備えている。また、前記3次元環境情報構築手段3は、前記環境情報検出手段1によって撮像された画像を基に車両周囲の3次元環境情報を構築する。また、少なくとも1つの画像情報と前記3次元環境情報を蓄積する蓄積手段4を備えている。さらに、前記3次元環境情報に基づいて表示画像を作成する表示画像作成手段5、および前記表示画像を表示する表示手段6を備えている。前記表示手段6は、例えば車両に搭載されたモニタにより構成される。
図2は本発明の第2実施形態の移動体周辺監視装置の構成を示す。第2実施形態においては、前記第1実施形態の構成に加えて特定の表示画像を決定する決定手段7(特定視界決定手段またはセットアップ手段)を備えている。さらに、第2実施形態では前記表示画像作成手段5が複数の表示画像を作成し、画像選択結果に応じて必要な表示画像を切り替えられるような構成となっている。前記車両の使用者が特定の表示画像を決定する場合、機械的スイッチまたは前記モニタ上のタッチパネル等が決定手段7として適用可能である。
前記決定手段7が車両と車両周辺との状況に応じて自動的に表示画像を決定する場合、前記決定手段7が組み込まれた構成となる。例えば、車両が車両周辺の障害物に接近しているかどうかによって、あるいは車両の速度や車両の推定移動位置のような状況に応じて、表示画像を自動的に決定する等の判断が可能である。車両が自動車に相当する場合の移動体周囲監視装置を図3および図4に示す。
図3に前記移動体周囲監視装置を装備した自動車の全体の構成を示す。図に示したように、前記移動体周囲監視装置は、前記環境情報検出手段1に相当するカメラ、電子制御装置ECD、前記表示手段6に相当するモニタ、シフトレバースイッチ8、操舵角センサ9、複数の車輪速度センサ10(速度検出器)を備える。前記電子制御装置ECDは、例えばスチール容器などの高強度の容器に収容されており、中央演算処理装置CPUを備え、さらに前記移動体情報検出手段2、前記3次元環境情報構築手段3、前記蓄積手段4、前記表示画像作成手段5、および前記表示手段を備える(図4の符号11で示される)。表示画像が自動的に決定される場合、例えばソフトウェアのように、前記決定手段7も電子制御装置ECDに含まれる。
図4は車両の周囲を表示する前記電子制御装置ECDを備えた前記車両周囲監視装置の詳細を示すブロック図である。前記操舵角センサ9、前記シフトレバースイッチ8、および前記車輪速度センサ10は前記電気制御装置ECDに配されたCPUに接続されている。前記カメラ1は画像認識モジュール12および画像描画モジュール11に接続される。前記CPU,前記画像認識モジュール12、前記画像描画モジュール11、およびメモリ4(前記蓄積手段)は信号ワイヤを通じてそれぞれ接続される。
本発明の実施例によれば、前記カメラ1および前記車輪速度センサ10などからの信号によって得られた前記車両周辺の画像は、計算のため前記CPUに供給される。この計算結果を基に画像が描かれ、前記モニタ上に表示される。
前記カメラ1によって撮像された車両周辺の画像は、前記メモリ4に蓄積される。従って、前記カメラ1の移動によって広範囲の画像の撮像が可能となる。前記カメラ1による撮像範囲は、図5に示される視野角αに相当する。
車両が第1の状態から第2の状態へと移動する際、前記3次元環境情報構築手段3により前記第1の状態および前記第2の状態それぞれについて撮像された画像から特徴点と対応する座標が検出される。前記移動体情報検出手段2により、前記第1の状態および前記第2の状態における車両の位置および姿勢が検出される。これにより、前記第1の状態および前記第2の状態における前記カメラ1の位置と姿勢が検出される。3次元情報は、車両の位置と姿勢、および前記第1の状態および前記第2の状態において撮像された画像の基準点の座標を基に構成される。
3次元情報の構成は公知の画像を用いた三角法の原理に基づいて行われる。この技術は、例えば「空間データの数理」と題する書籍(金谷健一著。1995年3月10日初版第1刷。朝倉書店発行)の161頁および162頁に開示されされている。
3次元画像の構成には走行記録が使用される。以下その具体的な方法について図6から図8を用い説明する。図6は2箇所のカメラ位置間の幾何学的相関関係を示す。少なくとも2つのカメラ位置(左右のoおよびo’で示される)から空間中の同一の点Mを観測しているとき、各カメラの画像で観測された点m1,m2とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義できる。ここで、各光線の交点は空間中の点の位置Mを表す。また、対象視界中の3次元の点Mは一連の画像間で同定される必要がある。3次元再構成を行うには画像中の対象物の抽出とその追跡が必要である。その一例を図7に示す。さらに、カメラの内部パラメータ(スケールファクタ、項軸位置座標、歪みモデルなど)および外部パラメータ(車両に対するカメラの位置および姿勢など)は既知である(即ち予め較正されている)必要がある。以上の条件を前提に3次元再構成が行われる。
連続的な対象視界の動きに特徴点を対応させ、三角法を用いて対象物の3次元構造を復元するために、ステレオ対応、例えば、点m1,m2それぞれを同一の点M(即ち3次元の座標点M)に対応させる、という手段を使うことができる。即ち、カメラの内部パラメータおよび外部パラメータが予め較正されている場合、異なる位置および姿勢で撮像された時系列画像を用い、それぞれの画像の特徴点を対応付けることによって、3次元構造を復元できることとなる。カメラ外部パラメータは既知の方法、即ちデッドレコニングシステムにより較正できる。具体的に述べると、デッドレコニングによる特定軸を調査した走行記録がここで使用される。走行記録は画像を取得するカメラの時系列位置および方向を効果的に決定できる。外部較正を一旦行えば、特徴点(例えば障害物上に位置する)は時系列画像取得において追跡可能となり、これをもとに対象視界の3次元構造中に障害物の位置を復元できる。
この場合、撮像された画像中の特徴点を特定する必要があり、これにより3次元環境中の特徴点が再構成される。即ち、一連の撮像画像において特徴点の相関を識別することにより、対象視界の3次元構造が復元可能となる。
対象視界からの特徴点の検出に関しては、対象視界の特徴となるべきいくつかの特徴点が検出される。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象である。このような特徴点の検出には、下記(数1)式に示す行列Aによる自動相関(automatic correlation)を用いることができる。行列Aは画像中の点p(x,y)を含むウインドウ領域W中に含まれる画像信号の導関数を平均化するように機能する。従って、この行列Aを用いて最適な特徴点を得ることができる。即ち、追跡に適する特徴点は一般にはコーナーや直線の交点(例えば図7の左側に示される柱状体のコーナーの点)であり、行列Aはこれらの特徴点を検出するものである。
次に、特徴点の追跡(feature tracking)に関し、u=[x,y]Tが画像点の座標であるような画像列I(u,t)を考慮する。サンプリング周期が十分短ければ微小時間後の画像はその輝度値は変化しないと仮定し、下記(数2)式が成立する。
上記の(数2)式において、δ(u)はモーションフィールド(3次元の運動ベクトルの画像への投影)を表す。サンプリング周期は十分に短いので下記(数3)式に示すように、運動を並進成分のみで近似することができ、回転成分を考慮しなくても良い。ここで、(数3)式の記号dは変位ベクトルを表す。
選択された獲得頂点に対し、また、画像列での追跡された各点でのペアに対してその変位ベクトルdを計算するため、トラッカー(tracker)が用いられる。実際にはノイズの影響により画像のモーションモデルを完全に表現できないので、(数2)式は十分に機能しない。従って、下記(数4)式に示すように、差の二乗和(sum of square difference)によって変位ベクトルdを計算する。そして、この(数4)式の残余を最小にする変位ベクトルdは、図7に示されるように変位ベクトルdの方向に特徴点を追跡するによって求められる。(数4)式の記号Wは点uから移動する特徴点検出のためのウインドウを表す。画像中の座標uに位置する特徴点が与えられ、座標uの近くで微小時間経過後の画像の輝度値は変化しないと仮定してその特徴点の位置が検出される。
図8にトラッキングの一例を示す。トラック(tracks)とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点はそれぞれの3次元点の投影像である。画像列の中でトラックを見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって検出できなくなった場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において検出された特徴点の集合から開始し、前の画像(図8のImg A)での特徴点は次の画像(図8のImg B)で追跡される。画像(Img A)のうちの一部のトラックが停止すると、画像(Img B)において新しい特徴点を探すことになる。この新しい特徴点がその後のトラッキングの起点となる。
トラックに対応する3次元特徴点の再構成について、問題はmi=PiMに従う(即ち、miおよびPiMは同一線上にある)点M=(X Y Z 1)tを再構成することに集約される。この等式はそれらがスケールに一致していることを意味している。記号Piは撮像された画像それぞれに対応する射影行列を意味する。ここで、歪みは射影の線形成分のみを取り扱う次の段階で古典的な方法で除去される。
再構成は2段階で行われる。まず、パラメータMの初期条件が必要になる。次に、再射影残余(reprojection residues)(即ち、再射影された点とそのトラッキングプロセスにより示された点との間の画像平面内の距離)が、3次元点Mの座標をより正確にするために最小化される。
古典的にはPiは射影行列、即ち3×4行列、Pi=Ai[Riti]である。ここで、Aiはカメラの線形内部パラメータを含んだ3×3行列で、Riは外部パラメータの回転成分を含んだ3×3行列で、tiはカメラの外部パラメータの変位成分または位置を含んだ3成分ベクトルである。この推定において、Mはまさに推定されるパラメータのベクトルである。
最終的に、3つの未知数のある系が、Mについて解かれるB4×3nM1×4=03nの形で得られる。この問題の解は古典的にはBの最小の固有値に対応するBの固有ベクトルである。この問題は行列Bの特異値分解(SVD)の計算と同様である。
これらの計算には全ての画像を使う必要がない。実際に少なくとも2つの画像があれば理論的には計算可能である。従って、効率を上げるために画像列に均一に分布した数個、多くてもn=10の画像があれば良い。
この最小化はLevenberg-Marquardtアルゴリズムを用いて行われる。そのためにmi−m iの計算のみが必要とされる。
そのような計算は以下の方法でなされる。
mi=(u v 1)t は追跡された特徴点の位置を示す。この位置は既知である。値m i=(u v 1)t (パラメータの現在の値)は点Mの射影から計算する必要がある。
直前の座標が1となるように、ベクトルはその直前の座標で割られる。これは正しい座標を求めるために必要な規格化である。これにより残余mi−m iが計算可能になる。
次に、車両位置検出について説明する。図1に示されるように、移動体情報検出手段2はデッドレコニングシステム(図4の破線で示される)を備え、これが運転する車両の位置を検出し、追跡するように構成した。前記の目的を達成するために、デッドレコニングシステムは少なくとも一つのセンサを備え、これが車両の速度、操舵状態、および旋回状況などの車両移動状況を検出する。さらに、前記デッドレコニングシステムは少なくとも一つのCPUおよびメモリも備えている。図4に示されるように、CPUおよびメモリはまた、他の仕事やグローバルシステムの一部として使用することも可能である。本発明の上記の実施形態によれば、車輪速度センサ10は前記デッドレコニングシステムとして働く。実際には走行記録計を用いて車輪の移動量から車両の位置を判断できる。走行記録計はいくつかのタイプの誤差を生じてしまう傾向があることが知られているが、本発明に係る移動***置検出システムとして利用可能である。その理由は、位置検出システムが駐車する場所と障害物とに対する車両の相対位置を提供する目的として十分なものだからである。路面が平面で、カメラの高さ、傾き、揺れは既知で一定であるという仮定のもと、相対移動量は外部カメラの較正を行うのに十分有効である。一例を挙げると、後部左右に設けられたアンチロックブレーキシステム(ABS)からの信号によって位置を推定できる。好都合なことに、後退信号もまた車両の進行方向を決定するのに使用できる。
第1の状態と第2の状態において検出された車両の位置と姿勢、および第1の状態と第2の状態においてカメラで撮像された画像中の特徴点の抽出およびトラッキングによって識別された画像間の点の対応に基づいて後述の方法で処理が行われる。その後、撮像された画像中の物体が撮像範囲の3次元座標を推定するのに識別される。
次に、検出された特徴点から物体の情報を作成する方法を図9および図10に基づいて説明する。
対象物の構造は、検出された特徴点群に初期のメッシュを適合させ、それから、カメラで撮像された画像から物体の表面を再構成するか、または、特徴点群に適合させたメッシュを所定の物体モデルに適合させる、反復法により再構成される。このモデル再現法を図9に示した。ここで、特徴点群より大きい初期メッシュが洗練され、特徴点群に適合するように変形される様子が図示されている。得られたモデルは物体を再現する3次元メッシュである。図10は上記の処理がどのように行われるかを示すフローチャートである。ステップs1で物体形状再現が始まる。ステップs2では、物体を再現するために検出された特徴点群、および頂点に“未完”と標識を付けた所定のメッシュモデルの入力により、プロセスの初期化が行われる。後者のメッシュモデルは、様々な物体、または物体の認識が前もって行われた場合には車両などの特定のモデルに適用可能な全ての検出された特徴点を取り入れた一般モデルとなり得る。そしてステップs3において前記モデルが変形される。変形は、一定の手順でモデルの頂点(“未完”と標識を付けた)を、内部(即ち特徴点群の中心方向)に向いた局所的な法線に沿って移動させることによりなされる。ステップs4において、特徴点が物体モデルの外にあるかどうかが判断される。もしそうなら、ステップs5でモデルが再選定され、即ち頂点がその直前の位置に戻され、関係する頂点が“完了”と標識付けられる。もしそうでなければ、変形がステップs3と同じ方法で行われ、反復法が適用される。その場合、変形される頂点は、同じ頂点か残りの“未完”の標識を付けた頂点のいずれかで可能である。できれば頂点の選択は、物体の形状の全体的な特徴を保つために、前に移動させた頂点の隣のものが望ましい。次にステップs6でモデルの全ての頂点が“完了”と標識付けられたかどうかが判断される。もしそうでない場合、ステップs3が再び行われる。もしそうなら、形状の復元を続行する必要がないので、次のステップs7で完了となる。
3次元環境中に存在する路面、垂直パネル、および障害物は、再構成される3次元環境に使用される物体要素となる。
例えば、路面が物体要素として適用される場合を考える。路面はたいてい他の物体に適用されるから、図11に示すように路面はレベルゼロ平面の表面部から物体を取り除くことによって抽出され得る。同様に、図11に示すように、背景は架空の壁面によって定義可能で、仮想側面として表示される。
再構成された環境の現実感を増すために、仮想環境に境界を追加する必要がある。これらの境界は立体感および現実感を向上させる。境界は、路面モデルを描写する少なくとも一つの平面もしくは水平要素と、風景モデルを描写する少なくとも一つの垂直要素とから作られる。図12にこれらの要素を示す。当業者の理解において、水平および垂直平面の使用は一例に過ぎない。路面または風景を描写する平面要素の他の向きも同様に使用してもよい。図12に示される各要素は単に原理を簡単に理解できるようにするためのものである。テクスチャーについては、画像から抽出され、明るさと幾何学的な異常を修正する。このことは、水平要素についてはよく知られている。垂直要素については、テクスチャーが構造的意味を持たない風景の要素の上に描かれる。理論的には、このような状態で存在しない要素のテクスチャーを再現することは不可能である。要するに、要素として使用されるテクスチャーの画像を注意深く選ぶことにより、現実感が向上する。実際に、できるだけ広範囲の画像を選べば、要素の一部に人工的な構造を加える必要がなくなる。この一つ目の方法は、仮想カメラが連続画像を撮像するカメラのセットに遠すぎない限り、完全な現実感に近づくことを可能にする。他の現実感を向上させ、仮想カメラの位置を増やす二つ目の方法としては、異なる画像の組み合わせを選ぶことによって要素のテクスチャーを再計算することが挙げられる。この選択は仮想カメラの可能な位置(即ち、仮想カメラ近辺)の組み合わせに基づく。これは図13の範囲1および範囲2に示される。
少なくとも、仮想カメラが異なる組み合わせの位置を移動する場合、色の混合による滑らかな変化が可能である。このアルゴリズムを図13に示す。ここでは水平要素を考慮せず、垂直要素のみを取り扱う。この方法は、車両周辺に現実の垂直面がない場合にも車両周辺の環境の仮想視界を与える。本発明に係る仮想視界は、パノラマ(垂直面)を作成するのに使用される画像を撮像するカメラの軌道付近の視界に限定されない。
本発明に係る実施例によれば、デッドレコニングシステムが配され、それが車両の状態、即ち車両の位置および方向(垂直軸に対する角度)を、車輪速度センサによる車輪速度信号に基づいて検出する構成となっている。
次に、車両状態を検出する方法について説明する。図14に本発明の実施例に係る車両のモデルを示す。車両の位置と方向は3つの変数(x,y,θ)で定義される。車両速度が車両速度Vとして、また角速度が角速度ωとして定義されるとき、車両状態、車両速度および角速度の間には次の式が成立する。即ち、
ここで、Vrrは後部右側車輪の車輪速度、Vrlは後部左側車輪の車輪速度、そしてLtは車両のトレッド長を表す。
図15に、所定の3次元座標系における、車両の初期位置の座標および方向から、移動後の座標および方向の検出法および追跡法の一例を示す。即ち図15は、3次元座標系(X0,Y0,Z0)において車両がX0-Y0平面上(Z0=0)を旋回する状況を示す。第1の位置(座標(x1,y1))および方向(角度θ1)で定義される第1の車両状態と、第2の位置位置(座標(x2,y2))および方向(角度θ2)で定義される第2の車両状態との位置関係は決定できる。車両位置(即ち座標)および方向(即ち角度)は、本発明の実施形態のように車両後部左右に設けられた車輪速度センサにより検出される車輪速度に基づいて検出されるが、車両位置および方向は操舵角センサ、ヨーレートセンサ(図示せず)、距離センサ(図示せず)またはそれらの組み合わせを用いて検出しても良い。図15は単純な軌道上の動きを示しているが、車両の動きは車両の座標と向きとに基づいて、複数の円弧や直線が組み合わされた軌跡に対し上記の方法で追跡できる。
一方、図1および図2に示された前記3次元環境構築手段3により推定される3次元環境は、前記メモリ4に3次元座標(X,Y,Z)を有する3次元空間として格納される。前記3次元空間には、カメラにより撮像された他車両(運転者自身の車両ではない)、障害物、および建物が含まれる。移動体情報検出手段2により得られる位置および姿勢の、車両周辺環境に対する関係は、3次元空間に対して補正される。即ち、3次元空間における車両位置(座標)および姿勢(方角)が特定される。
表示される画像は車両周辺の3次元環境全体または一部を含む画像として特定される。そしてそれは、構造の外観を作成する所定の処理によりなされる。
上記の所定の処理は、車両周辺の3次元環境情報を作成するために、前記環境情報検出手段1により取得される3次元環境を表現する構造情報に合わせるためのテクスチャーを重合することにより行われる。この方法により、図16に示すように、物体を構成する特徴点を頂点として有する複数の表面が、再現される物体の3次元構造の表面上に作成される。例えば、物体を構成する頂点を伴って複数の三角形が形成される。前記特徴点を物体表面に持つ画像の範囲は前記環境情報検出手段1により撮像された画像から抽出される。従って、画像の範囲の抽出は、物体と各表面との間の位置および構造の相関関係を考慮してなされる。抽出された画像は、作成された車両周辺情報を含む物体表面に描画される。従って、表示画像は前記環境情報検出手段1により得られた画像領域を含むから、表示画像はより現実感が増すこととなる。
物体は再現画像として重合される物体として特定されるのに対し、環境を構成する路面および壁面は、再現画像として重合される物体として特定される。路面が再現画像として重合される物体として特定される場合、図17に示すように、路面モデルの画像が重合される。環境を構成する壁面が再現画像として重合される物体として特定される場合、図18に示すように、壁面モデルの画像が重合される。
仮想世界の境界は、初期段階で長方形底面に設定される。このことは全プロセスを通じ同様に行われるが、車両の移動等により必要が生じた場合には、境界の最適合を行う必要がある。つまり、現実感を得るために現実世界の外形が適用される。このことは、例えば車両の運転者にとって危険だと思われる全ての障害物を表示するのに使用される。図19は適用可能な状態の概観を示す。この方法で環境を適用させることは、固定された世界の境界に対してより現実感のある世界の再現を可能にする。3次元環境の適用は3次元空間の中で実現される。このことはまた、路面パネルが斜面または路面形状に適用可能なことを意味する。一例を、衝突の場合(衝突の様子は図19に示されない)について図19の断面図に示す。
表示される画像を作成する空間は、構築した3次元環境情報を示すために、所定の色を、空間を表現する物体要素のモデルに適用させることによって作成される。このことはより単純な表示画像の作成を可能にする。
作成された空間への表示画像の作成法において、表示画像は空間中に仮想カメラを置き、この仮想カメラにより撮像された仮想空間をモニタ上に表示することにより作成される。
仮想カメラは、車両の運転者に必要な画像を表示する位置に置かれる。例えば図20に示すように、車両周辺の俯瞰画像を表示することができる。この場合、仮想カメラは車両重心の直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両および車両周辺の領域を一度に見ることができる。
また、表示画像の他の例として、図21に示すように表示画像が車両の前の対象物要素と車両前部との位置関係を示すように仮想カメラを置くことも可能である。この場合、仮想カメラは車両と車両前の対象物との間の所定位置直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両前部および対象物を一度に見ることができる。
また、表示画像の他の例として、図22に示すように表示画像が車両の後ろの対象物要素と車両後部との位置関係を示すように仮想カメラを置くことも可能である。この場合、仮想カメラは車両と車両後ろの対象物との間の所定位置直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両後部および対象物を一度に見ることができる。
また、表示画像の他の例として、図23に示すように表示画像が車両の横の対象物要素と車両側部との位置関係を示すように仮想カメラを置くことも可能である。この場合、仮想カメラは車両と車両横の対象物との間の所定位置直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両側部および対象物を一度に見ることができる。
また、表示画像の他の例として、図24に示すように表示画像が車両のコーナー部周辺の対象物要素と車両コーナー部との位置関係を示すように仮想カメラを置くことも可能である。この場合、仮想カメラは車両と車両コーナー部周辺の対象物との間の所定位置直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両コーナー部および対象物を一度に見ることができる。
また、仮想カメラは下に向けるだけでなく、例えば斜め方向等、他の方向に向けても良い。
上記の画像のうち一つを表示する方法、および所定の方法で画像を切り替える方法を備えたことにより、場面に応じて効果的な画像をモニタに表示することができる。例えば、車両の絵を描いたボタンを車両の計器板上に配し、運転者(操作者)が車両の選択部位を押すことによって、選択部位がモニタに表示されるように構成しても良い。従って、運転者は場面に応じて適切な車両周辺画像の表示方法を決定できる。
また、車両周辺の表示画像を自動的に決定するように構成しても良い。例えば、運転状況、操舵角、車両が前後どちらに動いているか、車両周辺の状況 、および対象物の分布等が判断要因として考えられる。これにより、運転者は表示される画像の補助無しに知ることができない情報を得ることができるようになる。
また、自車両の画像を表示画像に重合描画することにより、自車両と自車両周辺との間の関係をより詳細に示すことができる。
本発明の実施形態は上記のみに限定されなく、以下の例のように変更しても良い。
上記の本実施形態ではカメラを車両後部に配置する構成としたが、カメラは車両の前部または側部に配置しても良い。さらに、複数のカメラも適用可能である。
上記の本実施形態において、車両の絵を描いたボタンを車両の計基板上に配し、車両の選択部位を押すことによって運転者(操作者)が表示画像を選択可能な構成とした。これに対し、音声認識やモニタ上のタッチパネルを用いて表示画像を選択できるように構成しても良い。
上記の本実施形態において、例えば車両と車両周辺の対象物との間隔等、車両および車両周囲の状況に応じて表示画像を選択するように構成した。これに対し、運転者がギアを前進から後退または後退から前進に変えたり、旋回インジケータをオンにしたり、ブレーキペダルを踏んだり、ハンドルを操作した場合に、表示画像を決定する構成としても良い。
上記の本実施形態において、自車両のモデルを表示画像に重合描画するように構成した。これに対し、実際の自車両の構造モデルを表示画像に重合描画するように構成しても良い。この場合、運転者が違和感なく自車両が表示されている表示画像を見ることができる。
1 環境情報検出手段、
2 移動体情報検出手段,
3 3次元環境情報構築手段、
4 蓄積手段、
5 表示画像作成手段、
6 表示手段、
7 特定視界決定手段、
10 速度検出器
2 移動体情報検出手段,
3 3次元環境情報構築手段、
4 蓄積手段、
5 表示画像作成手段、
6 表示手段、
7 特定視界決定手段、
10 速度検出器
Claims (20)
- 移動体周辺の環境情報を検出すると共に前記環境情報を出力する環境情報検出手段と、前記移動体の移動状況を継続的に検出する軌跡推定手段を有する移動体情報検出手段と、前記環境情報検出手段が検出した前記環境情報に基づいて前記移動体周辺の3次元環境情報を構築する3次元環境情報構築手段と、少なくとも1つの前記環境情報と前記3次元環境情報を蓄積する蓄積手段と、前記3次元環境情報を基に表示画像を作成する表示画像作成手段と、前記表示画像を表示する表示手段とを備えたことを特徴とする移動体周辺監視装置。
- 前記移動体情報検出手段が少なくとも2箇所の移動***置の間での前記移動体の移動状況を検出するように構成し、前記環境情報検出手段を前記移動体の所定位置に固定された少なくとも1つの環境情報検出装置により構成し、前記3次元環境情報構築手段が少なくとも2箇所の異なる移動***置で前記環境情報検出手段により撮像された画像を基に前記移動体の周辺の前記3次元環境情報を構築するように構成したことを特徴とする請求項1記載の移動体周辺監視装置。
- 前記移動体情報検出手段が前記移動体の移動速度を検出する速度検出器を備え、前記速度検出器の検出結果を基に少なくとも2箇所の異なる移動***置の間の距離を測定するように構成したことを特徴とする請求項2記載の移動体周辺監視装置。
- 特定の表示画像を決定する特定視界決定手段を備えたことを特徴とする請求項1から3のいずれか一項に記載の移動体周辺監視装置。
- 前記特定視界決定手段が前記移動体を操作する使用者が特定の表示画像を決定するように構成したことを特徴とする請求項4記載の移動体周辺監視装置。
- 前記特定視界決定手段が前記移動体および前記移動体周辺の状況によって前記表示画像を自動的に決定するように構成したことを特徴とする請求項4記載の移動体周辺監視装置。
- 前記表示画像が前記移動体と移動体周辺の対象物との位置的な相互関係によって自動的に決定されるように構成したことを特徴とする請求項6記載の移動体周辺監視装置。
- 少なくとも1つの前記表示画像が、車両周辺の俯瞰画像となるように構成したことを特徴とする請求項1から7のいずれか一項に記載の移動体周辺監視装置。
- 少なくとも1つの前記表示画像が、移動体の前の対象物と移動体前部との位置的な相互関係を表示するように構成したことを特徴とする請求項1から7のいずれか一項に記載の移動体周辺監視装置。
- 少なくとも1つの前記表示画像が、移動体の後ろの対象物と移動体後部との位置的な相互関係を表示するように構成したことを特徴とする請求項1から7のいずれか一項に記載の移動体周辺監視装置。
- 少なくとも1つの前記表示画像が、移動体の横の対象物と移動体側部との位置的な相互関係を表示するように構成したことを特徴とする請求項1から7のいずれか一項に記載の移動体周辺監視装置。
- 少なくとも1つの前記表示画像が、移動体のコーナー周辺の対象物と移動体コーナー部との位置的な相互関係を表示するように構成したことを特徴とする請求項1から7のいずれか一項に記載の移動体周辺監視装置。
- 前記表示画像作成手段が、前記3次元環境を示す構造情報の外観に所定の処理を行うことによって、前記移動体周辺の前記3次元情報の全体または一部を含んだ画像に関係する表示画像を作成するように構成したことを特徴とする請求項1から12のいずれか一項に記載の移動体周辺監視装置。
- 前記表示画像作成手段が、前記環境情報検出手段により取得されたテクスチャーを前記3次元環境を示す構造情報に適合させて合成することによって、前記移動体の周辺の前記3次元環境情報を作成する前記所定処理を行うことを特徴とする請求項13記載の移動体周辺監視装置。
- 前記環境情報検出手段により取得された前記テクスチャーを合成する際に、構造的意味を持つ必要がない面へ画像を合成することにより、前記表示画像作成手段が構造情報を使用するように構成したことを特徴とする請求項1から14のいずれか一項に記載の移動体周辺監視装置。
- 前記面が水平面および垂直面となるように構成したことを特徴とする請求項16記載の移動体周辺監視装置。
- 前記表示画像作成手段が、前記3次元環境における視点を移動させるたびに合成画像を変化させるように構成したことを特徴とする請求項15または16に記載の移動体周辺監視装置。
- 前記表示画像作成手段が、前記3次元環境自体の機能として前記3次元環境の幾何学構成を連続的に適合させるように構成したことを特徴とする請求項1から14のいずれか一項に記載の移動体周辺監視装置。
- 前記表示画像作成手段が、人工的に作られた画像およびまたはテクスチャーを、前記3次元環境を示す構造情報に合成するように構成したことを特徴とする請求項13記載の移動体周辺監視装置。
- 前記表示画像作成手段が、前記移動体の画像を表示する画像に合成するように構成したことを特徴とする請求項1から19のいずれか一項に記載の移動体周辺監視装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0303630A FR2853121B1 (fr) | 2003-03-25 | 2003-03-25 | Dispositif de surveillance des alentours d'un vehicule |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004297808A true JP2004297808A (ja) | 2004-10-21 |
Family
ID=32799735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004090275A Withdrawn JP2004297808A (ja) | 2003-03-25 | 2004-03-25 | 移動体周辺監視装置 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP1462762B1 (ja) |
JP (1) | JP2004297808A (ja) |
DE (1) | DE602004029837D1 (ja) |
FR (1) | FR2853121B1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101378337B1 (ko) | 2012-10-30 | 2014-03-27 | 주식회사 이미지넥스트 | 카메라의 영상 처리 장치 및 방법 |
KR20140114373A (ko) * | 2012-01-19 | 2014-09-26 | 로베르트 보쉬 게엠베하 | 차량 주변 환경을 시각화하는 방법과 장치 |
US9478061B2 (en) | 2012-10-25 | 2016-10-25 | Fujitsu Limited | Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings |
JP2017515727A (ja) * | 2014-05-08 | 2017-06-15 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 車両の車両周辺部の歪無い表示のための方法、並びに、装置 |
JP2020042790A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 実データ拡張方法、装置及び端末 |
JP2021177168A (ja) * | 2020-07-20 | 2021-11-11 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1717757A1 (de) | 2005-04-28 | 2006-11-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs |
JP4600760B2 (ja) * | 2005-06-27 | 2010-12-15 | アイシン精機株式会社 | 障害物検出装置 |
JP2007180803A (ja) * | 2005-12-27 | 2007-07-12 | Aisin Aw Co Ltd | 運転支援方法及び運転支援装置 |
JP2009017462A (ja) * | 2007-07-09 | 2009-01-22 | Sanyo Electric Co Ltd | 運転支援システム及び車両 |
FR2922029A1 (fr) * | 2007-10-08 | 2009-04-10 | Imra Europ Sas Soc Par Actions | Dispositif et methode de detection d'objet |
US9880010B2 (en) | 2007-11-07 | 2018-01-30 | Tomtom Global Content B.V. | Method of and arrangement for mapping range sensor data on image sensor data |
DE102008060684B4 (de) * | 2008-03-28 | 2019-05-23 | Volkswagen Ag | Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs |
FR2929196B1 (fr) * | 2008-03-31 | 2010-04-30 | Imra Europ Sas | Assistant de manoeuvre avec affichage a realite augmentee |
EP2107503A1 (en) | 2008-03-31 | 2009-10-07 | Harman Becker Automotive Systems GmbH | Method and device for generating a real time environment model for vehicles |
DE102008034594B4 (de) | 2008-07-25 | 2021-06-24 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges |
WO2011158285A1 (ja) | 2010-06-15 | 2011-12-22 | 三菱電機株式会社 | 車両周辺監視装置 |
FR2968262B1 (fr) * | 2010-12-06 | 2012-11-23 | Peugeot Citroen Automobiles Sa | Dispositif d'aide pour permettre a un conducteur d'un vehicule de verifier d'une zone de stationnement quittee |
DE102011082475A1 (de) * | 2011-09-12 | 2013-03-14 | Robert Bosch Gmbh | Fahrerassistenzsystem zur Unterstützung eines Fahrers in kollisionsrelevanten Situationen |
CN103167276A (zh) * | 2011-12-19 | 2013-06-19 | 富泰华工业(深圳)有限公司 | 车辆监控***和车辆监控方法 |
EP2620917B1 (en) * | 2012-01-30 | 2019-08-28 | Harman Becker Automotive Systems GmbH | Viewing system and method for displaying an environment of a vehicle |
DE102012203171A1 (de) * | 2012-02-29 | 2013-08-29 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten |
WO2013148675A1 (en) * | 2012-03-26 | 2013-10-03 | Robert Bosch Gmbh | Multi-surface model-based tracking |
DE102012014466A1 (de) | 2012-07-21 | 2014-01-23 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Darstellung einer Szene für ein Fahrzeug |
DE102012024997A1 (de) * | 2012-12-19 | 2014-06-26 | Connaught Electronics Ltd. | Verfahren zum Verfolgen eines Zielobjekts ausgehend von einem Stillstandzustand, Kamerasystem und Kraftfahrzeug |
DE102013220005A1 (de) * | 2013-10-02 | 2015-04-02 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem |
EP3084719B1 (en) * | 2013-12-19 | 2019-11-20 | Apple Inc. | Slam on a mobile device |
US10249088B2 (en) * | 2014-11-20 | 2019-04-02 | Honda Motor Co., Ltd. | System and method for remote virtual reality control of movable vehicle partitions |
DE102015202863A1 (de) * | 2015-02-17 | 2016-08-18 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges |
JP6941472B2 (ja) * | 2017-04-26 | 2021-09-29 | 株式会社デンソーテン | 映像再生装置、映像再生システム、及び映像再生方法 |
CN107972585A (zh) * | 2017-11-30 | 2018-05-01 | 惠州市德赛西威汽车电子股份有限公司 | 结合雷达信息的自适应3d环视场景重建***与方法 |
US10417911B2 (en) | 2017-12-18 | 2019-09-17 | Ford Global Technologies, Llc | Inter-vehicle cooperation for physical exterior damage detection |
US10600234B2 (en) | 2017-12-18 | 2020-03-24 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self imaging |
US20200349367A1 (en) * | 2018-01-19 | 2020-11-05 | Sony Corporation | Image processing device, image processing method, and program |
US10745005B2 (en) | 2018-01-24 | 2020-08-18 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self height estimation |
DE102018203590A1 (de) * | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
US10628690B2 (en) | 2018-05-09 | 2020-04-21 | Ford Global Technologies, Llc | Systems and methods for automated detection of trailer properties |
DE102018210812A1 (de) | 2018-06-30 | 2020-01-02 | Robert Bosch Gmbh | Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung |
CN110570513B (zh) * | 2018-08-17 | 2023-06-20 | 创新先进技术有限公司 | 一种展示车损信息的方法和装置 |
CN112740007B (zh) * | 2018-09-21 | 2023-06-30 | 本田技研工业株式会社 | 车辆检查*** |
CN109829935B (zh) * | 2018-12-29 | 2021-02-19 | 百度在线网络技术(北京)有限公司 | 车辆的场景序列跟踪处理方法、装置及车辆 |
US11351917B2 (en) | 2019-02-13 | 2022-06-07 | Ford Global Technologies, Llc | Vehicle-rendering generation for vehicle display based on short-range communication |
CN112124199B (zh) * | 2019-06-24 | 2024-04-12 | 博世汽车部件(苏州)有限公司 | 车辆行驶路况的成像方法、成像***及车辆 |
DE102019219017A1 (de) * | 2019-12-05 | 2021-06-10 | Robert Bosch Gmbh | Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62278477A (ja) | 1986-05-28 | 1987-12-03 | Mitsubishi Electric Corp | 自動車の車庫入れ支援システム |
JP2630604B2 (ja) | 1987-11-26 | 1997-07-16 | 本田技研工業株式会社 | 車両の後方視界表示装置 |
JP3475507B2 (ja) | 1994-08-08 | 2003-12-08 | 日産自動車株式会社 | 車両用周囲モニタ装置 |
JP2000161915A (ja) * | 1998-11-26 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 車両用単カメラ立体視システム |
JP3494434B2 (ja) | 1999-10-21 | 2004-02-09 | 松下電器産業株式会社 | 駐車支援装置 |
DE60009000T2 (de) * | 1999-10-21 | 2005-03-10 | Matsushita Electric Industrial Co., Ltd., Kadoma | System zur Einparkhilfe |
JP3693912B2 (ja) | 2000-05-30 | 2005-09-14 | アイシン精機株式会社 | 相対位置検出装置及びその相対位置検出装置を備えた駐車補助装置 |
JP2003063340A (ja) * | 2001-08-28 | 2003-03-05 | Aisin Seiki Co Ltd | 運転補助装置 |
-
2003
- 2003-03-25 FR FR0303630A patent/FR2853121B1/fr not_active Expired - Fee Related
-
2004
- 2004-03-25 EP EP04007207A patent/EP1462762B1/en not_active Expired - Fee Related
- 2004-03-25 JP JP2004090275A patent/JP2004297808A/ja not_active Withdrawn
- 2004-03-25 DE DE602004029837T patent/DE602004029837D1/de not_active Expired - Lifetime
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140114373A (ko) * | 2012-01-19 | 2014-09-26 | 로베르트 보쉬 게엠베하 | 차량 주변 환경을 시각화하는 방법과 장치 |
KR102034189B1 (ko) * | 2012-01-19 | 2019-10-18 | 로베르트 보쉬 게엠베하 | 차량 주변 환경을 시각화하는 방법과 장치 |
US9478061B2 (en) | 2012-10-25 | 2016-10-25 | Fujitsu Limited | Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings |
US9633266B2 (en) | 2012-10-25 | 2017-04-25 | Fujitsu Limited | Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings |
KR101378337B1 (ko) | 2012-10-30 | 2014-03-27 | 주식회사 이미지넥스트 | 카메라의 영상 처리 장치 및 방법 |
JP2017515727A (ja) * | 2014-05-08 | 2017-06-15 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 車両の車両周辺部の歪無い表示のための方法、並びに、装置 |
JP2020042790A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 実データ拡張方法、装置及び端末 |
US11205289B2 (en) | 2018-09-07 | 2021-12-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and terminal for data augmentation |
JP7227867B2 (ja) | 2018-09-07 | 2023-02-22 | バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド | 実データ拡張方法、装置及び端末 |
JP2021177168A (ja) * | 2020-07-20 | 2021-11-11 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム |
US11435186B2 (en) | 2020-07-20 | 2022-09-06 | Beijing Baidu Netcom Science and Technology Co., Ltd | Dead reckoning method and apparatus for vehicle, device and storage medium |
JP7299261B2 (ja) | 2020-07-20 | 2023-06-27 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1462762A1 (en) | 2004-09-29 |
EP1462762B1 (en) | 2010-11-03 |
FR2853121B1 (fr) | 2006-12-15 |
DE602004029837D1 (de) | 2010-12-16 |
FR2853121A1 (fr) | 2004-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1462762B1 (en) | Circumstance monitoring device of a vehicle | |
KR102275310B1 (ko) | 자동차 주변의 장애물 검출 방법 | |
US7379564B2 (en) | Movable body circumstance monitoring apparatus | |
JP4636346B2 (ja) | 車載カメラの校正装置、方法、及びプログラム | |
US6172601B1 (en) | Three-dimensional scope system with a single camera for vehicles | |
CN108269235A (zh) | 一种基于opengl的车载环视多视角全景生成方法 | |
CN107465890B (zh) | 车辆的图像处理装置 | |
JP2004198212A (ja) | 移動体周辺監視装置 | |
CN104204847B (zh) | 用于可视化车辆的周围环境的方法和装置 | |
JP2004114977A (ja) | 移動体周辺監視装置 | |
JP6079131B2 (ja) | 画像処理装置、方法、及びプログラム | |
US20130141547A1 (en) | Image processing apparatus and computer-readable recording medium | |
EP2631696B1 (en) | Image generator | |
JP4192680B2 (ja) | 移動体周辺監視装置 | |
JP5240527B2 (ja) | 車載カメラの校正装置、方法、及びプログラム | |
JP2011529569A (ja) | ナビゲーションデータを三次元で表示するコンピュータ装置および方法 | |
JP4154980B2 (ja) | 移動体周辺監視装置 | |
JP2010028803A (ja) | 駐車補助のための画像表示方法 | |
JP3301421B2 (ja) | 車両周囲状況提示装置 | |
JP2004203068A (ja) | 移動体周辺監視装置 | |
EP1403139B1 (en) | Movable body circumstance monitoring apparatus | |
KR20160107529A (ko) | 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법 | |
KR101071061B1 (ko) | 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체 | |
JP4310987B2 (ja) | 移動体周辺監視装置 | |
JP4006272B2 (ja) | 運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070222 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090914 |