JP2004297808A - 移動体周辺監視装置 - Google Patents

移動体周辺監視装置 Download PDF

Info

Publication number
JP2004297808A
JP2004297808A JP2004090275A JP2004090275A JP2004297808A JP 2004297808 A JP2004297808 A JP 2004297808A JP 2004090275 A JP2004090275 A JP 2004090275A JP 2004090275 A JP2004090275 A JP 2004090275A JP 2004297808 A JP2004297808 A JP 2004297808A
Authority
JP
Japan
Prior art keywords
display image
vehicle
environment information
image
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004090275A
Other languages
English (en)
Inventor
Sylvain Bougnoux
シルヴァン ブニュー
Katia Fintzel
カティア フィンツェル
Christophe Vestri
クリストフ ヴェストリ
Remy Bendahan
レミ ベンダハン
Shuji Yamamoto
修司 山本
Toshiaki Kakinami
俊明 柿並
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of JP2004297808A publication Critical patent/JP2004297808A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】 移動体のオペレータに、取得した移動体周辺の状況を立体的に伝える。
【解決手段】 移動体周辺の環境情報を検出すると共に前記環境情報を出力する環境情報検出手段と、前記移動体の移動状況を継続的に検出する軌跡推定手段を有する移動体情報検出手段と、前記環境情報検出手段が検出した前記環境情報に基づいて前記移動体周辺の３次元環境情報を構築する３次元環境情報構築手段と、少なくとも１つの前記環境情報と前記３次元環境情報を蓄積する蓄積手段と、前記３次元環境情報を基に表示画像を作成する表示画像作成手段と、前記表示画像を表示する表示手段とを備え、オペレータに移動体周辺風景および表示される風景中の障害物の３次元表示を提供する。これにより効果的に死角が解消され、現在カメラで撮像されていない障害物も容易に把握できるようになる。さらに、運転者は障害物との衝突を回避するためにあらゆる視点からこのモデルを見ることができる。
【選択図】 図１

Description

本発明は車両に使用する移動体周辺監視装置に関し、特に、自動車の駐車支援を行うものである。具体的には、衝突防止を考慮した自動運転システムが開発されており、この分野で画像処理技術が役立てられる。つまり、画像処理技術が車両運転者により簡単に車両または駐車時の状況を認知できるようにする付加情報を提供する。
例えば、後方ビデオカメラを用いた後退支援システムが公知である。このシステムは一般公知のシステムと同様に、ビデオカメラを用いて車両運転者に２次元画像情報を提供し、駐車操作時に死角を表示することで運転者を支援するものである。
運転状態と車両周囲の状況を知るため車両の死角を表示する監視装置が開示されている。次にそのいくつかの例を示す。
特許文献１：特開昭６２−２７８４７７号公報には、距離センサおよびハンドル角センサからの出力信号をもとに自動車の走行軌跡を演算するコンピュータを備え、車両周辺の障害物の位置および予想走行軌跡を表示する自動車の車庫入れ支援システムが提案されている。
特許文献２：また、特開平１−１４１１３７号公報には、車両前部の左右両側に障害物検出センサを設け、該検出センサにより車両の前部両側の障害物への接近を検出し、該検出情報をモニタ画面に後方視界と同時にモニタ画面に表示するようにした車両の後方視界表示装置が提案されている。
特許文献３：特開２００１−１８７５５３号公報には、単一のカメラによって撮像された画像を基に、車両と車両周囲の障害物との間の距離を算出し、該算出されたデータに基づいて第３の画像を生成し表示する装置について記載されている。
特許文献４：また、特開２００２−０５２９９９号公報には、自車両の停止位置マーカと横方向距離計測マーカをモニタ画面に重合描画し、測距センサを設けることなく、カメラ画像と舵角センサを利用し、自車両と基準物との相対位置を検出し得る相対位置検出装置が提案されている。
以上に記載の装置によれば、車両の後方視界はカメラで撮像されてモニタ画面に表示される。しかしながら、これらの装置では車両のコーナー付近はカメラの視界から外れており、この領域はモニタ画面に表示されない。このため、運転状況と車両周囲の状況によって表示される画像が制限されてしまう。
これに対処するため、適当な視野角を有するカメラを車両に配置すればよい。しかしながら、車種によってはカメラの配置により意匠を損なうことがあり、この方法を全ての車種に適用することはできない。
特許文献５：特開平８−４８１９８号公報には、センサを車両に配置し、車両と周囲との相対関係の画像を表示することによって車両周囲の状況を運転者に通知する車両位置推定装置が記載されている。
しかし、この車両位置推定装置は、車両周囲の任意の視点から撮像された画像を表示することができないから、車両周囲の３次元情報を構築することができない。その代わりに多くとも２種類の平面図を表示する。
非特許文献１：一方、非特許文献として「CyberSity Spatial Information System(SIS)」（Proc. 20th Asian Conference on Remote Sensing，November, Hong Kong）誌の１２１頁から１２８頁に（１９９９年）「ハイブリッドＧＩＳにおける３Ｄ都市モデル管理の新コンセプト」と題するA.Gruen氏およびX.Wang氏の仮想物体および世界境界から構成される仮想世界に関する論文が掲載されている。ここで、前記仮想物体はいくつかの質感または色を付けた要素（例えば三角形）により構成される。前記世界境界は背景要素から遠方にあり、それは通常、空のテクスチャーまたは他の背景のテクスチャーと同様に質感付けされる。仮想現実系において、背景の境界は仮想物体および仮想カメラの位置から遠く離れているため、前記背景の現実感は許容できる。しかし、遠い背景と近くの物体の間に質感の格差がある場合や、背景の質感を現実時間内で復元できない場合が生じることがある。
非特許文献２：「レンジおよびイメージデータを用いた３Ｄモデル構築」（Ioannis Stamos氏およびPeter K. Allen氏著。CVPR2000に提出）と題する自動風景モデリングシステムに関する論文が開示されている。開示されたシステムでは例えば木などの複雑な形状を持つものが取り扱われていない。さらに、コストと信頼性のために入手困難なレンジイメージ（濃淡深度推定）が必要となってしまう。
非特許文献３：また、ウェブサイト「http://www.hotelbeausite.net/」（リンク：virtual tour）では複雑な風景モデリングと複雑な光の合成を考慮した仮想現実システムの例が開示されている。パノラマあるいはモザイク再構築法として知られるこの方法は、実際には純粋な２次元のものである。事実、このシステムは深さの推定なしに３次元の錯覚を作ると見せかけるものである。このシステムは固定された位置の周囲を仮想景色が回転することしか考慮せず、仮想カメラがその位置を変えることは考慮されていない。このシステムが純粋な２次元システムであると同時に、景色の中でカメラの位置を連続的に変化させることができないから、現実感のある仮想訪問のためには適さない。
特開昭６２−２７８４７７号公報 特開平１−１４１１３７号公報 特開２００１−１８７５５３号公報 特開２００２−０５２９９９号公報 特開平８−４８１９８号公報 ハイブリッドＧＩＳにおける３Ｄ都市モデル管理の新コンセプト レンジおよびイメージデータを用いた３Ｄモデル構築 ウェブサイト「http://www.hotelbeausite.net/」
以上の従来技術で示されるように、現在の後方確認用２Ｄシステムの欠点は、ドライバーが全体の風景を一度に見ることができなかったということである。
本発明は以上の課題を解決するもので、リアルタイムに取得した周辺環境の感覚を立体的に使用者に伝える仮想現実システムを提供することを目的とする。この技術は、移動体の移動中に撮像した風景の要素を３Ｄモデル中に記憶することを可能にする。この仮想３Ｄモデルを用い、移動体のオペレータは常にあらゆる視点からの風景を見ることができるようになる。
従って、本発明の移動体周辺監視装置は、移動体周辺の環境情報を検出すると共に前記環境情報を出力する環境情報検出手段と、前記移動体の移動状況を継続的に検出する軌跡推定手段を有する移動体情報検出手段と、前記環境情報検出手段が検出した前記環境情報に基づいて前記移動体周辺の３次元環境情報を構築する３次元環境情報構築手段と、少なくとも１つの前記環境情報と前記３次元環境情報を蓄積する蓄積手段と、前記３次元環境情報を基に表示画像を作成する表示画像作成手段と、前記表示画像を表示する表示手段とを備える。
本発明の他の好適な特徴は従属請求項で明らかにされる。
本発明の移動体周辺監視装置によれば、運転者に移動体周辺風景および表示される風景中の障害物の部分３次元表示を提供できることとなる。装置は移動体後部に取付けられたカメラで撮像された風景の一部を３次元モデルとして記憶できる。これにより効果的に死角が解消され、現在カメラで撮像されていない障害物も容易に把握できるようになる。さらに、既知のコンピュータグラフィック技術を利用することにより、運転者は障害物との衝突を回避するためにあらゆる視点からこのモデルを見ることができる。
本発明に係る監視装置の他の特徴および効果は、以下の説明で明らかにされる。それは添付図面を参照することのみに限定されない。
本発明の移動体周辺監視装置は、自動車、移動可能ロボット、および工場内で操作される輸送車等に適用可能である。
本発明の移動体周辺監視装置によれば、車両のオペレータは車両と車両周辺の物体要素との位置関係を、モニタ上で把握することができる。従って、オペレータが車両周辺の物体要素に注意しながら車両を操作する場合に、モニタ上の画像を見ながら車両を操作でき、車両と物体要素との接触を防止できる。
本発明の移動体周辺監視装置によれば、画像を表示するため、カメラ等の環境情報検出手段１の数や位置に関係なく所定位置での車両の視野が適切に確保される。特に、移動体情報検出手段２の使用により、１つの環境情報検出手段１のみで周辺情報を簡単に検出できる。従って、装置の製造コストを下げることができる。更に、速度検出器が移動状況検出手段として作用する構成としたから、製造コストをより低く抑えることができる。
本発明の移動体周辺監視装置は車両周辺の３次元環境の全体または一部分を含む画像を表示できるよう構成した。従って、車両が中間方向(arbitral direction)へ旋回する際に中間の(arbitral)視点からの車両周辺の画像を表示できる。
更に、移動体のオペレータが表示画像を決定できるような構成としたから、画像をオペレータの向きに応じて容易に望みの画像に切り替えることができる。更に、表示画像を自動的に決定できるような構成にすれば、運転状況や車両周辺の状態に応じて、画像の補助無しにオペレータが気づかない視点を得られることとなる。
更に、移動体の情報を表示画像に貼り付ける構成としたから、移動体と移動体周辺との位置関係を極めて詳細に確認できることとなる。
更に、テクスチャーを非構造的な垂直面に重合描写し、環境に基づいて３次元環境を適用する構成としたから、移動体と移動体周辺との関係を極めて明確に確認できることとなる。
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図１に本発明の第１実施形態の移動体周辺監視装置の構成を示す。図３は自動車などの移動体に搭載された周囲監視装置を示す。
移動体周囲監視装置は、車両（移動体）に搭載され、車両周囲の画像を撮像する、例えばビデオカメラなどの環境情報検出手段１を備えている。前記環境情報検出手段１により撮像された画像情報は、３次元環境情報構築手段３に出力される。また、連続的に前記車両の移動状況を検出する車両移動体情報検出手段２を備えている。また、前記３次元環境情報構築手段３は、前記環境情報検出手段１によって撮像された画像を基に車両周囲の３次元環境情報を構築する。また、少なくとも１つの画像情報と前記３次元環境情報を蓄積する蓄積手段４を備えている。さらに、前記３次元環境情報に基づいて表示画像を作成する表示画像作成手段５、および前記表示画像を表示する表示手段６を備えている。前記表示手段６は、例えば車両に搭載されたモニタにより構成される。
図２は本発明の第２実施形態の移動体周辺監視装置の構成を示す。第２実施形態においては、前記第１実施形態の構成に加えて特定の表示画像を決定する決定手段７（特定視界決定手段またはセットアップ手段）を備えている。さらに、第２実施形態では前記表示画像作成手段５が複数の表示画像を作成し、画像選択結果に応じて必要な表示画像を切り替えられるような構成となっている。前記車両の使用者が特定の表示画像を決定する場合、機械的スイッチまたは前記モニタ上のタッチパネル等が決定手段７として適用可能である。
前記決定手段７が車両と車両周辺との状況に応じて自動的に表示画像を決定する場合、前記決定手段７が組み込まれた構成となる。例えば、車両が車両周辺の障害物に接近しているかどうかによって、あるいは車両の速度や車両の推定移動位置のような状況に応じて、表示画像を自動的に決定する等の判断が可能である。車両が自動車に相当する場合の移動体周囲監視装置を図３および図４に示す。
図３に前記移動体周囲監視装置を装備した自動車の全体の構成を示す。図に示したように、前記移動体周囲監視装置は、前記環境情報検出手段１に相当するカメラ、電子制御装置ＥＣＤ、前記表示手段６に相当するモニタ、シフトレバースイッチ８、操舵角センサ９、複数の車輪速度センサ１０（速度検出器）を備える。前記電子制御装置ＥＣＤは、例えばスチール容器などの高強度の容器に収容されており、中央演算処理装置ＣＰＵを備え、さらに前記移動体情報検出手段２、前記３次元環境情報構築手段３、前記蓄積手段４、前記表示画像作成手段５、および前記表示手段を備える（図４の符号１１で示される）。表示画像が自動的に決定される場合、例えばソフトウェアのように、前記決定手段７も電子制御装置ＥＣＤに含まれる。
図４は車両の周囲を表示する前記電子制御装置ＥＣＤを備えた前記車両周囲監視装置の詳細を示すブロック図である。前記操舵角センサ９、前記シフトレバースイッチ８、および前記車輪速度センサ１０は前記電気制御装置ＥＣＤに配されたＣＰＵに接続されている。前記カメラ１は画像認識モジュール１２および画像描画モジュール１１に接続される。前記ＣＰＵ，前記画像認識モジュール１２、前記画像描画モジュール１１、およびメモリ４（前記蓄積手段）は信号ワイヤを通じてそれぞれ接続される。
本発明の実施例によれば、前記カメラ１および前記車輪速度センサ１０などからの信号によって得られた前記車両周辺の画像は、計算のため前記ＣＰＵに供給される。この計算結果を基に画像が描かれ、前記モニタ上に表示される。
前記カメラ１によって撮像された車両周辺の画像は、前記メモリ４に蓄積される。従って、前記カメラ１の移動によって広範囲の画像の撮像が可能となる。前記カメラ１による撮像範囲は、図５に示される視野角αに相当する。
車両が第１の状態から第２の状態へと移動する際、前記３次元環境情報構築手段３により前記第１の状態および前記第２の状態それぞれについて撮像された画像から特徴点と対応する座標が検出される。前記移動体情報検出手段２により、前記第１の状態および前記第２の状態における車両の位置および姿勢が検出される。これにより、前記第１の状態および前記第２の状態における前記カメラ１の位置と姿勢が検出される。３次元情報は、車両の位置と姿勢、および前記第１の状態および前記第２の状態において撮像された画像の基準点の座標を基に構成される。
３次元情報の構成は公知の画像を用いた三角法の原理に基づいて行われる。この技術は、例えば「空間データの数理」と題する書籍（金谷健一著。１９９５年３月１０日初版第１刷。朝倉書店発行）の１６１頁および１６２頁に開示されされている。
３次元画像の構成には走行記録が使用される。以下その具体的な方法について図６から図８を用い説明する。図６は２箇所のカメラ位置間の幾何学的相関関係を示す。少なくとも２つのカメラ位置（左右のｏおよびｏ’で示される）から空間中の同一の点Ｍを観測しているとき、各カメラの画像で観測された点ｍ１，ｍ２とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義できる。ここで、各光線の交点は空間中の点の位置Ｍを表す。また、対象視界中の３次元の点Ｍは一連の画像間で同定される必要がある。３次元再構成を行うには画像中の対象物の抽出とその追跡が必要である。その一例を図７に示す。さらに、カメラの内部パラメータ（スケールファクタ、項軸位置座標、歪みモデルなど）および外部パラメータ（車両に対するカメラの位置および姿勢など）は既知である（即ち予め較正されている）必要がある。以上の条件を前提に３次元再構成が行われる。
連続的な対象視界の動きに特徴点を対応させ、三角法を用いて対象物の３次元構造を復元するために、ステレオ対応、例えば、点ｍ１，ｍ２それぞれを同一の点Ｍ（即ち３次元の座標点Ｍ）に対応させる、という手段を使うことができる。即ち、カメラの内部パラメータおよび外部パラメータが予め較正されている場合、異なる位置および姿勢で撮像された時系列画像を用い、それぞれの画像の特徴点を対応付けることによって、３次元構造を復元できることとなる。カメラ外部パラメータは既知の方法、即ちデッドレコニングシステムにより較正できる。具体的に述べると、デッドレコニングによる特定軸を調査した走行記録がここで使用される。走行記録は画像を取得するカメラの時系列位置および方向を効果的に決定できる。外部較正を一旦行えば、特徴点（例えば障害物上に位置する）は時系列画像取得において追跡可能となり、これをもとに対象視界の３次元構造中に障害物の位置を復元できる。
この場合、撮像された画像中の特徴点を特定する必要があり、これにより３次元環境中の特徴点が再構成される。即ち、一連の撮像画像において特徴点の相関を識別することにより、対象視界の３次元構造が復元可能となる。
対象視界からの特徴点の検出に関しては、対象視界の特徴となるべきいくつかの特徴点が検出される。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象である。このような特徴点の検出には、下記（数１）式に示す行列Ａによる自動相関(automatic correlation)を用いることができる。行列Ａは画像中の点ｐ（ｘ，ｙ）を含むウインドウ領域Ｗ中に含まれる画像信号の導関数を平均化するように機能する。従って、この行列Ａを用いて最適な特徴点を得ることができる。即ち、追跡に適する特徴点は一般にはコーナーや直線の交点（例えば図７の左側に示される柱状体のコーナーの点）であり、行列Ａはこれらの特徴点を検出するものである。
下記の（数１）式において、Ｉ（ｘ，ｙ）は画像の関数、Ｉｘはｘ軸に沿った画像の勾配、Ｉｙはｙ軸に沿った画像の勾配、（ｘｋ，ｙｋ）は（ｘ，ｙ）を中心としたウインドウＷ中の画像点それぞれを表す。
Figure 2004297808
次に、特徴点の追跡(feature tracking)に関し、ｕ＝[x,y]Tが画像点の座標であるような画像列Ｉ(u,t)を考慮する。サンプリング周期が十分短ければ微小時間後の画像はその輝度値は変化しないと仮定し、下記（数２）式が成立する。
Figure 2004297808
上記の（数２）式において、δ(u)はモーションフィールド（３次元の運動ベクトルの画像への投影）を表す。サンプリング周期は十分に短いので下記（数３）式に示すように、運動を並進成分のみで近似することができ、回転成分を考慮しなくても良い。ここで、（数３）式の記号ｄは変位ベクトルを表す。
Figure 2004297808
選択された獲得頂点に対し、また、画像列での追跡された各点でのペアに対してその変位ベクトルｄを計算するため、トラッカー(tracker)が用いられる。実際にはノイズの影響により画像のモーションモデルを完全に表現できないので、（数２）式は十分に機能しない。従って、下記（数４）式に示すように、差の二乗和(sum of square difference)によって変位ベクトルｄを計算する。そして、この（数４）式の残余を最小にする変位ベクトルｄは、図７に示されるように変位ベクトルｄの方向に特徴点を追跡するによって求められる。（数４）式の記号Ｗは点ｕから移動する特徴点検出のためのウインドウを表す。画像中の座標ｕに位置する特徴点が与えられ、座標ｕの近くで微小時間経過後の画像の輝度値は変化しないと仮定してその特徴点の位置が検出される。
Figure 2004297808
図８にトラッキングの一例を示す。トラック(tracks)とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点はそれぞれの３次元点の投影像である。画像列の中でトラックを見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって検出できなくなった場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において検出された特徴点の集合から開始し、前の画像（図８のImg Ａ）での特徴点は次の画像（図８のImg Ｂ）で追跡される。画像（Img Ａ）のうちの一部のトラックが停止すると、画像（Img Ｂ）において新しい特徴点を探すことになる。この新しい特徴点がその後のトラッキングの起点となる。
トラックに対応する３次元特徴点の再構成について、問題はｍi=ＰiＭに従う（即ち、ｍiおよびＰiＭは同一線上にある）点Ｍ＝(X Y Z 1)tを再構成することに集約される。この等式はそれらがスケールに一致していることを意味している。記号Ｐiは撮像された画像それぞれに対応する射影行列を意味する。ここで、歪みは射影の線形成分のみを取り扱う次の段階で古典的な方法で除去される。
再構成は２段階で行われる。まず、パラメータＭの初期条件が必要になる。次に、再射影残余(reprojection residues)（即ち、再射影された点とそのトラッキングプロセスにより示された点との間の画像平面内の距離）が、３次元点Ｍの座標をより正確にするために最小化される。
各式の初期条件のためにｍi=ＰiＭは次のように書き換えられる。２つのベクトルが同一線上にあるとき（即ち、点が同じ位置にあるとき）、次の（数５）式が得られる。
Figure 2004297808
上記の（数５）式で、記号“×”は外積を意味する。例えば、２つの３成分ベクトルａ，ｂについては次の（数６）式のようになる。
Figure 2004297808
ｍiとＰiが既知の場合、（数７）式で示される系を得るために、それらを互いに合成することが可能である。
Figure 2004297808
ここでＢiが３×４の行列で、Ｍが未知の３成分ベクトルの場合、次の（数８）式が得られる。
Figure 2004297808
古典的にはＰiは射影行列、即ち３×４行列、Ｐi＝Ａi[Ｒiｔi]である。ここで、Ａiはカメラの線形内部パラメータを含んだ３×３行列で、Ｒiは外部パラメータの回転成分を含んだ３×３行列で、ｔiはカメラの外部パラメータの変位成分または位置を含んだ３成分ベクトルである。この推定において、Ｍはまさに推定されるパラメータのベクトルである。
従って、各点ｍi（トラック特徴点の２次元位置）はＢｉで定義されるＭに３つの線形方程式を与える。実際の処理においては、ｎ個の点ｍiを用いて次の（数９）式に示す系が解かれる。
Figure 2004297808
最終的に、３つの未知数のある系が、Ｍについて解かれるＢ4×3nＭ1×4＝０3nの形で得られる。この問題の解は古典的にはＢの最小の固有値に対応するＢの固有ベクトルである。この問題は行列Ｂの特異値分解（ＳＶＤ）の計算と同様である。
これらの計算には全ての画像を使う必要がない。実際に少なくとも２つの画像があれば理論的には計算可能である。従って、効率を上げるために画像列に均一に分布した数個、多くてもｎ＝１０の画像があれば良い。
古典的な方法によって残余の和を最小化することが可能である。
Figure 2004297808
この最小化はLevenberg-Marquardtアルゴリズムを用いて行われる。そのためにｍi−ｍ iの計算のみが必要とされる。
そのような計算は以下の方法でなされる。
ｍi＝(ｕ ｖ １)t は追跡された特徴点の位置を示す。この位置は既知である。値ｍ i＝(ｕ ｖ １)t （パラメータの現在の値）は点Ｍの射影から計算する必要がある。
３次元点Ｍを射影することによって、点の値が得られる。
Figure 2004297808
直前の座標が１となるように、ベクトルはその直前の座標で割られる。これは正しい座標を求めるために必要な規格化である。これにより残余ｍi−ｍ iが計算可能になる。
次に、車両位置検出について説明する。図１に示されるように、移動体情報検出手段２はデッドレコニングシステム（図４の破線で示される）を備え、これが運転する車両の位置を検出し、追跡するように構成した。前記の目的を達成するために、デッドレコニングシステムは少なくとも一つのセンサを備え、これが車両の速度、操舵状態、および旋回状況などの車両移動状況を検出する。さらに、前記デッドレコニングシステムは少なくとも一つのＣＰＵおよびメモリも備えている。図４に示されるように、ＣＰＵおよびメモリはまた、他の仕事やグローバルシステムの一部として使用することも可能である。本発明の上記の実施形態によれば、車輪速度センサ１０は前記デッドレコニングシステムとして働く。実際には走行記録計を用いて車輪の移動量から車両の位置を判断できる。走行記録計はいくつかのタイプの誤差を生じてしまう傾向があることが知られているが、本発明に係る移動***置検出システムとして利用可能である。その理由は、位置検出システムが駐車する場所と障害物とに対する車両の相対位置を提供する目的として十分なものだからである。路面が平面で、カメラの高さ、傾き、揺れは既知で一定であるという仮定のもと、相対移動量は外部カメラの較正を行うのに十分有効である。一例を挙げると、後部左右に設けられたアンチロックブレーキシステム（ＡＢＳ）からの信号によって位置を推定できる。好都合なことに、後退信号もまた車両の進行方向を決定するのに使用できる。
第１の状態と第２の状態において検出された車両の位置と姿勢、および第１の状態と第２の状態においてカメラで撮像された画像中の特徴点の抽出およびトラッキングによって識別された画像間の点の対応に基づいて後述の方法で処理が行われる。その後、撮像された画像中の物体が撮像範囲の３次元座標を推定するのに識別される。
次に、検出された特徴点から物体の情報を作成する方法を図９および図１０に基づいて説明する。
対象物の構造は、検出された特徴点群に初期のメッシュを適合させ、それから、カメラで撮像された画像から物体の表面を再構成するか、または、特徴点群に適合させたメッシュを所定の物体モデルに適合させる、反復法により再構成される。このモデル再現法を図９に示した。ここで、特徴点群より大きい初期メッシュが洗練され、特徴点群に適合するように変形される様子が図示されている。得られたモデルは物体を再現する３次元メッシュである。図１０は上記の処理がどのように行われるかを示すフローチャートである。ステップｓ１で物体形状再現が始まる。ステップｓ２では、物体を再現するために検出された特徴点群、および頂点に“未完”と標識を付けた所定のメッシュモデルの入力により、プロセスの初期化が行われる。後者のメッシュモデルは、様々な物体、または物体の認識が前もって行われた場合には車両などの特定のモデルに適用可能な全ての検出された特徴点を取り入れた一般モデルとなり得る。そしてステップｓ３において前記モデルが変形される。変形は、一定の手順でモデルの頂点（“未完”と標識を付けた）を、内部（即ち特徴点群の中心方向）に向いた局所的な法線に沿って移動させることによりなされる。ステップｓ４において、特徴点が物体モデルの外にあるかどうかが判断される。もしそうなら、ステップｓ５でモデルが再選定され、即ち頂点がその直前の位置に戻され、関係する頂点が“完了”と標識付けられる。もしそうでなければ、変形がステップｓ３と同じ方法で行われ、反復法が適用される。その場合、変形される頂点は、同じ頂点か残りの“未完”の標識を付けた頂点のいずれかで可能である。できれば頂点の選択は、物体の形状の全体的な特徴を保つために、前に移動させた頂点の隣のものが望ましい。次にステップｓ６でモデルの全ての頂点が“完了”と標識付けられたかどうかが判断される。もしそうでない場合、ステップｓ３が再び行われる。もしそうなら、形状の復元を続行する必要がないので、次のステップｓ７で完了となる。
３次元環境中に存在する路面、垂直パネル、および障害物は、再構成される３次元環境に使用される物体要素となる。
例えば、路面が物体要素として適用される場合を考える。路面はたいてい他の物体に適用されるから、図１１に示すように路面はレベルゼロ平面の表面部から物体を取り除くことによって抽出され得る。同様に、図１１に示すように、背景は架空の壁面によって定義可能で、仮想側面として表示される。
再構成された環境の現実感を増すために、仮想環境に境界を追加する必要がある。これらの境界は立体感および現実感を向上させる。境界は、路面モデルを描写する少なくとも一つの平面もしくは水平要素と、風景モデルを描写する少なくとも一つの垂直要素とから作られる。図１２にこれらの要素を示す。当業者の理解において、水平および垂直平面の使用は一例に過ぎない。路面または風景を描写する平面要素の他の向きも同様に使用してもよい。図１２に示される各要素は単に原理を簡単に理解できるようにするためのものである。テクスチャーについては、画像から抽出され、明るさと幾何学的な異常を修正する。このことは、水平要素についてはよく知られている。垂直要素については、テクスチャーが構造的意味を持たない風景の要素の上に描かれる。理論的には、このような状態で存在しない要素のテクスチャーを再現することは不可能である。要するに、要素として使用されるテクスチャーの画像を注意深く選ぶことにより、現実感が向上する。実際に、できるだけ広範囲の画像を選べば、要素の一部に人工的な構造を加える必要がなくなる。この一つ目の方法は、仮想カメラが連続画像を撮像するカメラのセットに遠すぎない限り、完全な現実感に近づくことを可能にする。他の現実感を向上させ、仮想カメラの位置を増やす二つ目の方法としては、異なる画像の組み合わせを選ぶことによって要素のテクスチャーを再計算することが挙げられる。この選択は仮想カメラの可能な位置（即ち、仮想カメラ近辺）の組み合わせに基づく。これは図１３の範囲１および範囲２に示される。
少なくとも、仮想カメラが異なる組み合わせの位置を移動する場合、色の混合による滑らかな変化が可能である。このアルゴリズムを図１３に示す。ここでは水平要素を考慮せず、垂直要素のみを取り扱う。この方法は、車両周辺に現実の垂直面がない場合にも車両周辺の環境の仮想視界を与える。本発明に係る仮想視界は、パノラマ（垂直面）を作成するのに使用される画像を撮像するカメラの軌道付近の視界に限定されない。
本発明に係る実施例によれば、デッドレコニングシステムが配され、それが車両の状態、即ち車両の位置および方向（垂直軸に対する角度）を、車輪速度センサによる車輪速度信号に基づいて検出する構成となっている。
次に、車両状態を検出する方法について説明する。図１４に本発明の実施例に係る車両のモデルを示す。車両の位置と方向は３つの変数（ｘ，ｙ，θ）で定義される。車両速度が車両速度Ｖとして、また角速度が角速度ωとして定義されるとき、車両状態、車両速度および角速度の間には次の式が成立する。即ち、
Figure 2004297808
車両速度Ｖおよび角速度ωは直接測定できない。しかし、この車両速度Ｖおよび角速度ωは以下に示すように、車輪速度センサ１０を用いて左右の後部車輪の車輪速度から算出できる。
Figure 2004297808
ここで、Ｖｒｒは後部右側車輪の車輪速度、Ｖｒｌは後部左側車輪の車輪速度、そしてＬｔは車両のトレッド長を表す。
上記の（数１３）式を用いると、時刻ｔにおける車両の状態（ｘ，ｙ，θ）は、ｔ＝０における初期値（ｘ0，ｙ0，θ0）が決まっていれば次のように表すことができる。
Figure 2004297808
即ち、車両の状態（ｘ，ｙ，θ）を下記（数１５）式のように表せる。
Figure 2004297808
図１５に、所定の３次元座標系における、車両の初期位置の座標および方向から、移動後の座標および方向の検出法および追跡法の一例を示す。即ち図１５は、３次元座標系(X0,Y0,Z0)において車両がX0-Y0平面上（Z0=0）を旋回する状況を示す。第１の位置（座標(x1,y1)）および方向（角度θ1）で定義される第１の車両状態と、第２の位置位置（座標(x2,y2)）および方向（角度θ2）で定義される第２の車両状態との位置関係は決定できる。車両位置（即ち座標）および方向（即ち角度）は、本発明の実施形態のように車両後部左右に設けられた車輪速度センサにより検出される車輪速度に基づいて検出されるが、車両位置および方向は操舵角センサ、ヨーレートセンサ（図示せず）、距離センサ（図示せず）またはそれらの組み合わせを用いて検出しても良い。図１５は単純な軌道上の動きを示しているが、車両の動きは車両の座標と向きとに基づいて、複数の円弧や直線が組み合わされた軌跡に対し上記の方法で追跡できる。
一方、図１および図２に示された前記３次元環境構築手段３により推定される３次元環境は、前記メモリ４に３次元座標(X,Y,Z)を有する３次元空間として格納される。前記３次元空間には、カメラにより撮像された他車両（運転者自身の車両ではない）、障害物、および建物が含まれる。移動体情報検出手段２により得られる位置および姿勢の、車両周辺環境に対する関係は、３次元空間に対して補正される。即ち、３次元空間における車両位置（座標）および姿勢（方角）が特定される。
表示される画像は車両周辺の３次元環境全体または一部を含む画像として特定される。そしてそれは、構造の外観を作成する所定の処理によりなされる。
上記の所定の処理は、車両周辺の３次元環境情報を作成するために、前記環境情報検出手段１により取得される３次元環境を表現する構造情報に合わせるためのテクスチャーを重合することにより行われる。この方法により、図１６に示すように、物体を構成する特徴点を頂点として有する複数の表面が、再現される物体の３次元構造の表面上に作成される。例えば、物体を構成する頂点を伴って複数の三角形が形成される。前記特徴点を物体表面に持つ画像の範囲は前記環境情報検出手段１により撮像された画像から抽出される。従って、画像の範囲の抽出は、物体と各表面との間の位置および構造の相関関係を考慮してなされる。抽出された画像は、作成された車両周辺情報を含む物体表面に描画される。従って、表示画像は前記環境情報検出手段１により得られた画像領域を含むから、表示画像はより現実感が増すこととなる。
物体は再現画像として重合される物体として特定されるのに対し、環境を構成する路面および壁面は、再現画像として重合される物体として特定される。路面が再現画像として重合される物体として特定される場合、図１７に示すように、路面モデルの画像が重合される。環境を構成する壁面が再現画像として重合される物体として特定される場合、図１８に示すように、壁面モデルの画像が重合される。
仮想世界の境界は、初期段階で長方形底面に設定される。このことは全プロセスを通じ同様に行われるが、車両の移動等により必要が生じた場合には、境界の最適合を行う必要がある。つまり、現実感を得るために現実世界の外形が適用される。このことは、例えば車両の運転者にとって危険だと思われる全ての障害物を表示するのに使用される。図１９は適用可能な状態の概観を示す。この方法で環境を適用させることは、固定された世界の境界に対してより現実感のある世界の再現を可能にする。３次元環境の適用は３次元空間の中で実現される。このことはまた、路面パネルが斜面または路面形状に適用可能なことを意味する。一例を、衝突の場合（衝突の様子は図１９に示されない）について図１９の断面図に示す。
表示される画像を作成する空間は、構築した３次元環境情報を示すために、所定の色を、空間を表現する物体要素のモデルに適用させることによって作成される。このことはより単純な表示画像の作成を可能にする。
作成された空間への表示画像の作成法において、表示画像は空間中に仮想カメラを置き、この仮想カメラにより撮像された仮想空間をモニタ上に表示することにより作成される。
仮想カメラは、車両の運転者に必要な画像を表示する位置に置かれる。例えば図２０に示すように、車両周辺の俯瞰画像を表示することができる。この場合、仮想カメラは車両重心の直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両および車両周辺の領域を一度に見ることができる。
また、表示画像の他の例として、図２１に示すように表示画像が車両の前の対象物要素と車両前部との位置関係を示すように仮想カメラを置くことも可能である。この場合、仮想カメラは車両と車両前の対象物との間の所定位置直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両前部および対象物を一度に見ることができる。
また、表示画像の他の例として、図２２に示すように表示画像が車両の後ろの対象物要素と車両後部との位置関係を示すように仮想カメラを置くことも可能である。この場合、仮想カメラは車両と車両後ろの対象物との間の所定位置直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両後部および対象物を一度に見ることができる。
また、表示画像の他の例として、図２３に示すように表示画像が車両の横の対象物要素と車両側部との位置関係を示すように仮想カメラを置くことも可能である。この場合、仮想カメラは車両と車両横の対象物との間の所定位置直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両側部および対象物を一度に見ることができる。
また、表示画像の他の例として、図２４に示すように表示画像が車両のコーナー部周辺の対象物要素と車両コーナー部との位置関係を示すように仮想カメラを置くことも可能である。この場合、仮想カメラは車両と車両コーナー部周辺の対象物との間の所定位置直上の所定高さにあり、真下を見下ろす状況とすればよい。これにより、車両コーナー部および対象物を一度に見ることができる。
また、仮想カメラは下に向けるだけでなく、例えば斜め方向等、他の方向に向けても良い。
上記の画像のうち一つを表示する方法、および所定の方法で画像を切り替える方法を備えたことにより、場面に応じて効果的な画像をモニタに表示することができる。例えば、車両の絵を描いたボタンを車両の計器板上に配し、運転者（操作者）が車両の選択部位を押すことによって、選択部位がモニタに表示されるように構成しても良い。従って、運転者は場面に応じて適切な車両周辺画像の表示方法を決定できる。
また、車両周辺の表示画像を自動的に決定するように構成しても良い。例えば、運転状況、操舵角、車両が前後どちらに動いているか、車両周辺の状況 、および対象物の分布等が判断要因として考えられる。これにより、運転者は表示される画像の補助無しに知ることができない情報を得ることができるようになる。
また、自車両の画像を表示画像に重合描画することにより、自車両と自車両周辺との間の関係をより詳細に示すことができる。
本発明の実施形態は上記のみに限定されなく、以下の例のように変更しても良い。
上記の本実施形態ではカメラを車両後部に配置する構成としたが、カメラは車両の前部または側部に配置しても良い。さらに、複数のカメラも適用可能である。
上記の本実施形態において、車両の絵を描いたボタンを車両の計基板上に配し、車両の選択部位を押すことによって運転者（操作者）が表示画像を選択可能な構成とした。これに対し、音声認識やモニタ上のタッチパネルを用いて表示画像を選択できるように構成しても良い。
上記の本実施形態において、例えば車両と車両周辺の対象物との間隔等、車両および車両周囲の状況に応じて表示画像を選択するように構成した。これに対し、運転者がギアを前進から後退または後退から前進に変えたり、旋回インジケータをオンにしたり、ブレーキペダルを踏んだり、ハンドルを操作した場合に、表示画像を決定する構成としても良い。
上記の本実施形態において、自車両のモデルを表示画像に重合描画するように構成した。これに対し、実際の自車両の構造モデルを表示画像に重合描画するように構成しても良い。この場合、運転者が違和感なく自車両が表示されている表示画像を見ることができる。
本発明の移動体周辺監視装置の第１実施形態の構成を示すブロック図である。 本発明の移動体周辺監視装置の第２実施形態の構成を示すブロック図である。 車両周囲表示システムを装備した自動車の斜視図である。 車両の周囲を表示する電子制御装置（ＥＣＤ）を備えた車両周囲表示システムの詳細を示すブロック図である。 周囲監視装置に係る後部搭載カメラの平面図である。 空間中の物体の特徴点を再構成するのに使われる２台のカメラの幾何学的関係を示す説明図である。 ３次元構築を行う際の特徴点の追跡の一例を示す説明図である。 ３次元再構築を行う際の特徴点の追跡の一例を示す説明図である。 ３次元再構築を行う際の特徴点から物体を再現する処理の一例を示す説明図である。 図９で示される処理のフローチャートである。 ３次元再構築を行う際の再構築された車両周囲の側面、路面および特徴点を含む仮想空間を示す説明図である。 仮想空間の説明図である。 仮想環境での垂直要素のテクスチャーを出す方法の説明図である。 本発明に係る車両モデルの平面図である。 ３次元座標空間における車両の移動開始位置の座標および方向を基準に、移動する車両の位置と方向を検出し追跡する方法の一例を示す平面図である。 物体を撮像し、再現した画像を３次元空間に貼り付ける処理を処理の一例を示す説明図である。 路面を撮像し、再現した画像を３次元空間に貼り付ける処理を処理の一例を示す説明図である。 壁面を撮像し、再現した画像を３次元空間に貼り付ける処理を処理の一例を示す説明図である。 本発明の一実施形態における仮想環境の適応可能な特性を示す仮想平面図である。 車両周辺の環境を示す仮想平面図を構築する処理の一例を示す説明図である。 車両の前の物体と車両前部との位置関係を示す画像を構築する処理の一例を示す説明図である。 車両の後ろの物体と車両後部との位置関係を示す画像を構築する処理の一例を示す説明図である。 車両の横の物体と車両側部との位置関係を示す画像を構築する処理の一例を示す説明図である。 車両のコーナー周辺の物体と車両コーナー部との位置関係を示す画像を構築する処理の一例を示す説明図である。
符号の説明
１ 環境情報検出手段、
２ 移動体情報検出手段，
３ ３次元環境情報構築手段、
４ 蓄積手段、
５ 表示画像作成手段、
６ 表示手段、
７ 特定視界決定手段、
１０ 速度検出器

Claims (20)

  1. 移動体周辺の環境情報を検出すると共に前記環境情報を出力する環境情報検出手段と、前記移動体の移動状況を継続的に検出する軌跡推定手段を有する移動体情報検出手段と、前記環境情報検出手段が検出した前記環境情報に基づいて前記移動体周辺の３次元環境情報を構築する３次元環境情報構築手段と、少なくとも１つの前記環境情報と前記３次元環境情報を蓄積する蓄積手段と、前記３次元環境情報を基に表示画像を作成する表示画像作成手段と、前記表示画像を表示する表示手段とを備えたことを特徴とする移動体周辺監視装置。
  2. 前記移動体情報検出手段が少なくとも２箇所の移動***置の間での前記移動体の移動状況を検出するように構成し、前記環境情報検出手段を前記移動体の所定位置に固定された少なくとも１つの環境情報検出装置により構成し、前記３次元環境情報構築手段が少なくとも２箇所の異なる移動***置で前記環境情報検出手段により撮像された画像を基に前記移動体の周辺の前記３次元環境情報を構築するように構成したことを特徴とする請求項１記載の移動体周辺監視装置。
  3. 前記移動体情報検出手段が前記移動体の移動速度を検出する速度検出器を備え、前記速度検出器の検出結果を基に少なくとも２箇所の異なる移動***置の間の距離を測定するように構成したことを特徴とする請求項２記載の移動体周辺監視装置。
  4. 特定の表示画像を決定する特定視界決定手段を備えたことを特徴とする請求項１から３のいずれか一項に記載の移動体周辺監視装置。
  5. 前記特定視界決定手段が前記移動体を操作する使用者が特定の表示画像を決定するように構成したことを特徴とする請求項４記載の移動体周辺監視装置。
  6. 前記特定視界決定手段が前記移動体および前記移動体周辺の状況によって前記表示画像を自動的に決定するように構成したことを特徴とする請求項４記載の移動体周辺監視装置。
  7. 前記表示画像が前記移動体と移動体周辺の対象物との位置的な相互関係によって自動的に決定されるように構成したことを特徴とする請求項６記載の移動体周辺監視装置。
  8. 少なくとも１つの前記表示画像が、車両周辺の俯瞰画像となるように構成したことを特徴とする請求項１から７のいずれか一項に記載の移動体周辺監視装置。
  9. 少なくとも１つの前記表示画像が、移動体の前の対象物と移動体前部との位置的な相互関係を表示するように構成したことを特徴とする請求項１から７のいずれか一項に記載の移動体周辺監視装置。
  10. 少なくとも１つの前記表示画像が、移動体の後ろの対象物と移動体後部との位置的な相互関係を表示するように構成したことを特徴とする請求項１から７のいずれか一項に記載の移動体周辺監視装置。
  11. 少なくとも１つの前記表示画像が、移動体の横の対象物と移動体側部との位置的な相互関係を表示するように構成したことを特徴とする請求項１から７のいずれか一項に記載の移動体周辺監視装置。
  12. 少なくとも１つの前記表示画像が、移動体のコーナー周辺の対象物と移動体コーナー部との位置的な相互関係を表示するように構成したことを特徴とする請求項１から７のいずれか一項に記載の移動体周辺監視装置。
  13. 前記表示画像作成手段が、前記３次元環境を示す構造情報の外観に所定の処理を行うことによって、前記移動体周辺の前記３次元情報の全体または一部を含んだ画像に関係する表示画像を作成するように構成したことを特徴とする請求項１から１２のいずれか一項に記載の移動体周辺監視装置。
  14. 前記表示画像作成手段が、前記環境情報検出手段により取得されたテクスチャーを前記３次元環境を示す構造情報に適合させて合成することによって、前記移動体の周辺の前記３次元環境情報を作成する前記所定処理を行うことを特徴とする請求項１３記載の移動体周辺監視装置。
  15. 前記環境情報検出手段により取得された前記テクスチャーを合成する際に、構造的意味を持つ必要がない面へ画像を合成することにより、前記表示画像作成手段が構造情報を使用するように構成したことを特徴とする請求項１から１４のいずれか一項に記載の移動体周辺監視装置。
  16. 前記面が水平面および垂直面となるように構成したことを特徴とする請求項１６記載の移動体周辺監視装置。
  17. 前記表示画像作成手段が、前記３次元環境における視点を移動させるたびに合成画像を変化させるように構成したことを特徴とする請求項１５または１６に記載の移動体周辺監視装置。
  18. 前記表示画像作成手段が、前記３次元環境自体の機能として前記３次元環境の幾何学構成を連続的に適合させるように構成したことを特徴とする請求項１から１４のいずれか一項に記載の移動体周辺監視装置。
  19. 前記表示画像作成手段が、人工的に作られた画像およびまたはテクスチャーを、前記３次元環境を示す構造情報に合成するように構成したことを特徴とする請求項１３記載の移動体周辺監視装置。
  20. 前記表示画像作成手段が、前記移動体の画像を表示する画像に合成するように構成したことを特徴とする請求項１から１９のいずれか一項に記載の移動体周辺監視装置。
JP2004090275A 2003-03-25 2004-03-25 移動体周辺監視装置 Withdrawn JP2004297808A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0303630A FR2853121B1 (fr) 2003-03-25 2003-03-25 Dispositif de surveillance des alentours d'un vehicule

Publications (1)

Publication Number Publication Date
JP2004297808A true JP2004297808A (ja) 2004-10-21

Family

ID=32799735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004090275A Withdrawn JP2004297808A (ja) 2003-03-25 2004-03-25 移動体周辺監視装置

Country Status (4)

Country Link
EP (1) EP1462762B1 (ja)
JP (1) JP2004297808A (ja)
DE (1) DE602004029837D1 (ja)
FR (1) FR2853121B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378337B1 (ko) 2012-10-30 2014-03-27 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
KR20140114373A (ko) * 2012-01-19 2014-09-26 로베르트 보쉬 게엠베하 차량 주변 환경을 시각화하는 방법과 장치
US9478061B2 (en) 2012-10-25 2016-10-25 Fujitsu Limited Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings
JP2017515727A (ja) * 2014-05-08 2017-06-15 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 車両の車両周辺部の歪無い表示のための方法、並びに、装置
JP2020042790A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 実データ拡張方法、装置及び端末
JP2021177168A (ja) * 2020-07-20 2021-11-11 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1717757A1 (de) 2005-04-28 2006-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP2007180803A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
FR2922029A1 (fr) * 2007-10-08 2009-04-10 Imra Europ Sas Soc Par Actions Dispositif et methode de detection d'objet
US9880010B2 (en) 2007-11-07 2018-01-30 Tomtom Global Content B.V. Method of and arrangement for mapping range sensor data on image sensor data
DE102008060684B4 (de) * 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
FR2929196B1 (fr) * 2008-03-31 2010-04-30 Imra Europ Sas Assistant de manoeuvre avec affichage a realite augmentee
EP2107503A1 (en) 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
DE102008034594B4 (de) 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
WO2011158285A1 (ja) 2010-06-15 2011-12-22 三菱電機株式会社 車両周辺監視装置
FR2968262B1 (fr) * 2010-12-06 2012-11-23 Peugeot Citroen Automobiles Sa Dispositif d'aide pour permettre a un conducteur d'un vehicule de verifier d'une zone de stationnement quittee
DE102011082475A1 (de) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Fahrerassistenzsystem zur Unterstützung eines Fahrers in kollisionsrelevanten Situationen
CN103167276A (zh) * 2011-12-19 2013-06-19 富泰华工业（深圳）有限公司 车辆监控***和车辆监控方法
EP2620917B1 (en) * 2012-01-30 2019-08-28 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle
DE102012203171A1 (de) * 2012-02-29 2013-08-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten
WO2013148675A1 (en) * 2012-03-26 2013-10-03 Robert Bosch Gmbh Multi-surface model-based tracking
DE102012014466A1 (de) 2012-07-21 2014-01-23 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung einer Szene für ein Fahrzeug
DE102012024997A1 (de) * 2012-12-19 2014-06-26 Connaught Electronics Ltd. Verfahren zum Verfolgen eines Zielobjekts ausgehend von einem Stillstandzustand, Kamerasystem und Kraftfahrzeug
DE102013220005A1 (de) * 2013-10-02 2015-04-02 Continental Automotive Gmbh Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem
EP3084719B1 (en) * 2013-12-19 2019-11-20 Apple Inc. Slam on a mobile device
US10249088B2 (en) * 2014-11-20 2019-04-02 Honda Motor Co., Ltd. System and method for remote virtual reality control of movable vehicle partitions
DE102015202863A1 (de) * 2015-02-17 2016-08-18 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
JP6941472B2 (ja) * 2017-04-26 2021-09-29 株式会社デンソーテン 映像再生装置、映像再生システム、及び映像再生方法
CN107972585A (zh) * 2017-11-30 2018-05-01 惠州市德赛西威汽车电子股份有限公司 结合雷达信息的自适应3d环视场景重建***与方法
US10417911B2 (en) 2017-12-18 2019-09-17 Ford Global Technologies, Llc Inter-vehicle cooperation for physical exterior damage detection
US10600234B2 (en) 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
US20200349367A1 (en) * 2018-01-19 2020-11-05 Sony Corporation Image processing device, image processing method, and program
US10745005B2 (en) 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation
DE102018203590A1 (de) * 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
US10628690B2 (en) 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
DE102018210812A1 (de) 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
CN110570513B (zh) * 2018-08-17 2023-06-20 创新先进技术有限公司 一种展示车损信息的方法和装置
CN112740007B (zh) * 2018-09-21 2023-06-30 本田技研工业株式会社 车辆检查***
CN109829935B (zh) * 2018-12-29 2021-02-19 百度在线网络技术（北京）有限公司 车辆的场景序列跟踪处理方法、装置及车辆
US11351917B2 (en) 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
CN112124199B (zh) * 2019-06-24 2024-04-12 博世汽车部件(苏州)有限公司 车辆行驶路况的成像方法、成像***及车辆
DE102019219017A1 (de) * 2019-12-05 2021-06-10 Robert Bosch Gmbh Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62278477A (ja) 1986-05-28 1987-12-03 Mitsubishi Electric Corp 自動車の車庫入れ支援システム
JP2630604B2 (ja) 1987-11-26 1997-07-16 本田技研工業株式会社 車両の後方視界表示装置
JP3475507B2 (ja) 1994-08-08 2003-12-08 日産自動車株式会社 車両用周囲モニタ装置
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
JP3494434B2 (ja) 1999-10-21 2004-02-09 松下電器産業株式会社 駐車支援装置
DE60009000T2 (de) * 1999-10-21 2005-03-10 Matsushita Electric Industrial Co., Ltd., Kadoma System zur Einparkhilfe
JP3693912B2 (ja) 2000-05-30 2005-09-14 アイシン精機株式会社 相対位置検出装置及びその相対位置検出装置を備えた駐車補助装置
JP2003063340A (ja) * 2001-08-28 2003-03-05 Aisin Seiki Co Ltd 運転補助装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140114373A (ko) * 2012-01-19 2014-09-26 로베르트 보쉬 게엠베하 차량 주변 환경을 시각화하는 방법과 장치
KR102034189B1 (ko) * 2012-01-19 2019-10-18 로베르트 보쉬 게엠베하 차량 주변 환경을 시각화하는 방법과 장치
US9478061B2 (en) 2012-10-25 2016-10-25 Fujitsu Limited Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings
US9633266B2 (en) 2012-10-25 2017-04-25 Fujitsu Limited Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings
KR101378337B1 (ko) 2012-10-30 2014-03-27 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
JP2017515727A (ja) * 2014-05-08 2017-06-15 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 車両の車両周辺部の歪無い表示のための方法、並びに、装置
JP2020042790A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 実データ拡張方法、装置及び端末
US11205289B2 (en) 2018-09-07 2021-12-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method, device and terminal for data augmentation
JP7227867B2 (ja) 2018-09-07 2023-02-22 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 実データ拡張方法、装置及び端末
JP2021177168A (ja) * 2020-07-20 2021-11-11 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム
US11435186B2 (en) 2020-07-20 2022-09-06 Beijing Baidu Netcom Science and Technology Co., Ltd Dead reckoning method and apparatus for vehicle, device and storage medium
JP7299261B2 (ja) 2020-07-20 2023-06-27 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム

Also Published As

Publication number Publication date
EP1462762A1 (en) 2004-09-29
EP1462762B1 (en) 2010-11-03
FR2853121B1 (fr) 2006-12-15
DE602004029837D1 (de) 2010-12-16
FR2853121A1 (fr) 2004-10-01

Similar Documents

Publication Publication Date Title
EP1462762B1 (en) Circumstance monitoring device of a vehicle
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
US7379564B2 (en) Movable body circumstance monitoring apparatus
JP4636346B2 (ja) 車載カメラの校正装置、方法、及びプログラム
US6172601B1 (en) Three-dimensional scope system with a single camera for vehicles
CN108269235A (zh) 一种基于opengl的车载环视多视角全景生成方法
CN107465890B (zh) 车辆的图像处理装置
JP2004198212A (ja) 移動体周辺監視装置
CN104204847B (zh) 用于可视化车辆的周围环境的方法和装置
JP2004114977A (ja) 移動体周辺監視装置
JP6079131B2 (ja) 画像処理装置、方法、及びプログラム
US20130141547A1 (en) Image processing apparatus and computer-readable recording medium
EP2631696B1 (en) Image generator
JP4192680B2 (ja) 移動体周辺監視装置
JP5240527B2 (ja) 車載カメラの校正装置、方法、及びプログラム
JP2011529569A (ja) ナビゲーションデータを三次元で表示するコンピュータ装置および方法
JP4154980B2 (ja) 移動体周辺監視装置
JP2010028803A (ja) 駐車補助のための画像表示方法
JP3301421B2 (ja) 車両周囲状況提示装置
JP2004203068A (ja) 移動体周辺監視装置
EP1403139B1 (en) Movable body circumstance monitoring apparatus
KR20160107529A (ko) 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법
KR101071061B1 (ko) 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체
JP4310987B2 (ja) 移動体周辺監視装置
JP4006272B2 (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070222

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090914