WO2013015130A1 - 車両周辺監視システム - Google Patents
車両周辺監視システム Download PDFInfo
- Publication number
- WO2013015130A1 WO2013015130A1 PCT/JP2012/067837 JP2012067837W WO2013015130A1 WO 2013015130 A1 WO2013015130 A1 WO 2013015130A1 JP 2012067837 W JP2012067837 W JP 2012067837W WO 2013015130 A1 WO2013015130 A1 WO 2013015130A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- overhead
- display
- view image
- boundary
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 45
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 107
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 107
- 230000004927 fusion Effects 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 14
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000013507 mapping Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Definitions
- the vehicle periphery monitoring controller 20 which is the core of the vehicle periphery monitoring system is installed inside the vehicle.
- the vehicle periphery monitoring controller 20 includes a microprocessor and a DSP (digital signal processor).
- the vehicle periphery monitoring controller 20 includes a communication interface 70 as an input / output interface.
- the communication interface 70 employs an in-vehicle LAN as a data transmission line, and directly or evaluates a signal input from a monitor 21 as a display unit for various information, a touch panel 21T as an input device, and a vehicle state detection sensor group.
- a sensor controller 23 for transferring data to another controller is connected so that data can be transmitted.
- this in-vehicle LAN is provided with units as control controllers such as a power steering unit PS, a transmission mechanism T, and a brake device BK.
- the display overhead image generation unit 6 includes an overhead view image generation unit 61, an overhead view mapping table 62, a bordered overhead view image generation unit 63, and a fusion overhead view image generation unit 64.
- Each overhead image segment is generated from a plurality of captured images, and the overhead image for display is generated by combining the overhead image segments so as to overlap each other's overlapping regions.
- the overhead view image for display As the overhead view image for display, the overhead view image with the boundary to which the boundary index indicating the boundary area of the camera field of view corresponding to the overlapping area (boundary area of the captured image) is added, and the overlapping area is 2 in a fusion relationship in which the overlapping area is set in advance.
- a merged bird's-eye view image is generated by merging corresponding regions of the two bird's-eye view image segments.
- the fusion bird's-eye view image generation unit 64 applies a fusion image (alpha blend image) obtained by fusing the overlapping region using the overlapping portions of the two bird's-eye view image segments.
- the fusion bird's-eye view image generation unit 64 sets the fusion relationship as a table, and a fusion unit 68 that fuses overlapping regions of the bird's-eye view image segments with a preset fusion relationship to generate a fusion overlap image.
- a fusion table 69 is well known, the fusion processing used in the present invention is based on the special condition of a bird's-eye view image converted from a captured image in view of the overlapping region of such a bird's-eye view image. The following fusion relations suitable for use are used.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
複数の撮影画像から生成される俯瞰画像の重複領域に現れる物体につき、その物体の撮影方向に関する運転者の理解を容易にする車両周辺監視システムを提供する。部分的に重複して撮影した複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて表示用俯瞰画像を生成する。表示用俯瞰画像の表示に際しては、俯瞰画像の重複領域に境界指標を付与した境界付き俯瞰画像を表示部に示した後、俯瞰画像の重複領域に予め設定された融合関係で融合して得られた融合重複画像を用いた融合俯瞰画像を表示する。
Description
本発明は、車両周辺の景色を車両周囲方向で部分的に重複するように撮影した撮影画像から俯瞰画像セグメントを生成し、この俯瞰画像セグメントを互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムに関する。
従来の俯瞰画像を生成する車両周辺監視システムでは、一般的に、車載カメラによって撮影された画像を路面に平行な投影面に投影する。つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像を生成する。この俯瞰画像をモニタに表示させることで、運転者が、車両周辺の路面状況、特に、路面に存在する障害物を良好に監視することができる。しかしながら、その車載カメラには広角レンズが用いられていることから、射影変換を通じて得られた俯瞰画像においてカメラの近傍領域に比べ遠方領域では画像の歪み方が大きくなり、運転者にとって障害物の方向性がつかみ難いという問題がある。
例えば、路面に配置され上方に延びた立体物(人や車、さらには工事用三角コーンなどの路上立体物)は、各カメラの撮影方向に間延びした歪な形状体となってしまう。特に、各撮影画像から生成された俯瞰画像セグメントを合成する際に、互いの重複領域を単純に融合(ブレンド)しただけでは、立体物の像がそれぞれの撮影方向に間延びして二つ形成されるためさらに見づらくなる。
上記問題を低減するため、特許文献1に記載された車両周辺監視装置では、撮像領域が重複している複数の撮像手段によって、自車の周囲の映像を撮像する。撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、前記複数の俯瞰画像の差分を計算する。これにより、前記重複領域において画像が一致する一致領域と、画像が一致しない不一致領域とを確定させる。前記一致領域と前記不一致領域とを複数の方法で合成して出力画像を生成して運転者に表示する。この一致領域と不一致領域とを複数の異なる方法で合成して出力画像を生成することで、重複領域における画像の見にくさを解消しようとしている。しかしながら、このようにして生成した俯瞰画像においては、重複領域と非重複領域との境界が分からないため、重複領域に位置している物体の像がどのカメラで撮影されたものであるかの判断が難しい。その結果、重複領域に現れている物体(障害物)の位置を把握しづらいという不都合がある。
特許文献2には、隣り合うカメラによる二つの撮影画像を合成する際に生じるつなぎ目部分につなぎ目マスクパターン(図では太直線で示されている)を描画する機能や、二つの撮影画像の重複領域の画素について互いに対応する画素を交互選択して平均画像を生成する機能を有する車両周囲監視装置が記載されている。
さらに、この特許文献2では、超音波式の障害物検出センサがそのつなぎ目部分に障害物が検出された場合にはそのつなぎ目マスクパターンを点滅させて、運転者に注意を促す機能も記載されている。つまり、つなぎ目部分は撮影画像上の死角としてマスクされているので、つなぎ目部分の俯瞰画像は表示されない。従って、障害物検出センサが搭載されていない場合、運転者がつなぎ目部分に存在する障害物を表示画面で視認することができない。また障害物検出センサが搭載されていたとしても、つなぎ目マスクパターンが点滅するだけであるので、運転者がつなぎ目部分に存在する障害物を表示画面で視認することは困難である。
車両周辺の俯瞰画像は、撮像画像を上方視点への視点変換処理して俯瞰画像セグメントを形成し、さらにこれら俯瞰画像セグメントを合成して得られる。視点変換処理を行うと、路面など同じ撮影平面に位置する物体は一様に変換されて違和感のない画像に変換されるが、その撮影平面から立ち上がった高さを持つ物体は、撮影平面上に位置する物体とは異なる変換がなされる。そのため、各俯瞰画像セグメントの境界を示す境界指標を表示した場合、境界指標を境に物体の見え方が急激に変化して違和感が生じる。特に物体が、細長い立体物の場合は境界付近で完全に消失することも起こり得る。また、重複領域を融合した場合、そのような立体物の消失度合いは改善されるが、物体の投影像が各撮影方向に延びて二重に見えることになり、やはり違和感が生じる。また、融合すべき重複領域のデータ量が大きい場合その融合処理の演算負荷が大きくなって処理時間が長くなる。
上記実情に鑑み、パノラマ画像のような連続性のある俯瞰画像を表示して運転者の車両周辺監視を容易にするだけでなく、複数の撮影画像から生成される俯瞰画像セグメントの重複領域に現れる物体を認識し易くする車両周辺監視システムが要望されている。
本発明の車両周辺監視システムは、車両周囲方向で部分的に重複するように撮影した複数の撮影画像から俯瞰画像セグメントを生成する俯瞰画像生成部と、隣り合う前記俯瞰画像セグメントの境界領域を表す境界指標を前記俯瞰画像セグメントの重複領域に付与する境界指標付与部と、前記複数の俯瞰画像セグメントのうち互いに重複する重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部と、前記境界指標を有する境界付き俯瞰画像及び前記融合重複画像を有する融合俯瞰画像を表示用俯瞰画像として生成する表示用俯瞰画像生成部と、前記表示用俯瞰画像を表示する表示部と、前記表示部に前記境界付き俯瞰画像を表示した後に前記融合俯瞰画像を表示する表示画像決定部とを備えた点に特徴を有する。
この構成では、表示部に表示される表示用俯瞰画像が境界付き俯瞰画像と融合俯瞰画像の2種類が用意される。境界付き俯瞰画像には、各撮影画像の境界領域を示す境界指標が含まれる。この境界指標としては、俯瞰画像における各撮影画像の割り当てが明確となる区画線のようなものが適している。これに対して、融合俯瞰画像は、各撮影画像から生成された俯瞰画像セグメントを、その重複領域を融合させて合成しているので、パノラマ画像のような連続的につながった画像である。さらに、境界付き俯瞰画像を表示した後に融合俯瞰画像が表示されるので、運転者は、最初に境界指標によって撮影方向の境界を頭に入れることができる。その状態で、境界付き俯瞰画像から融合俯瞰画像に表示を切り替えることで、運転者は、パノラマ画像のような連続性のある融合俯瞰画像を通じて車両周辺監視が容易となる。しかも、俯瞰画像における撮影方向の境界も記憶に残っているので、重複領域に現れる物体の撮影方向に関する理解も容易となる。
本発明の好適な実施形態の1つでは、前記境界付き俯瞰画像における前記重複領域が一方の俯瞰画像セグメントの重複領域を流用することで前記境界付き俯瞰画像が生成され、当該重複領域が前記融合部で生成された融合重複瞰画像によって置き替わることで前記融合俯瞰画像が生成される。
この構成では、まず簡単な視点変換処理と合成で生成できる境界付き俯瞰画像を表示しておいて、その間に融合重複瞰画像用のマッピングテーブルを生成することができる。このため、俯瞰画像変換及び融合処理に使用する変換テーブルをシステムの毎回の起動時に生成する場合、起動時の融合処理の演算に時間的余裕が得られるので、コストのかかる高速の演算ユニットや大容量のROMを必要としない利点が得られる。
また、融合処理演算が十分な速度で実行できる場合には、融合重複瞰画像が生成されると同時に表示用俯瞰画像として境界付き俯瞰画像に代えて融合俯瞰画像を表示するのではなく、境界付き俯瞰画像を運転者に適切な時間だけ見せておく時間を確保することが重要である。このためには、前記表示画像決定部を、前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前設定された時間の経過後、前記融合俯瞰画像を表示用俯瞰画像として表示するように構成するとよい。
前記表示用俯瞰画像として境界付き俯瞰画像の表示から融合俯瞰画像への切り替え表示を違和感なくスムーズに行うために提案される好適なひとつの形態は、境界付き俯瞰画像が表示されている状態からスタートして、車両近傍から同心円状に順次融合重複画像に切り替えられる形態である。車両周辺の撮影画像を取得する車載カメラは一般的に車両の周囲縁端に取り付けられるので、カメラで自車周辺を走査するように境界付き俯瞰画像の重複領域を車両近傍から同心円状に融合重複画像に切り替えていくと視覚的にはスムーズな画像切り替えとなる。
他の一つの形態は、境界付き俯瞰画像が表示されている状態から融合俯瞰画像に切り替えられる際に境界指標の領域から順次融合重複画像に切り替えられる形態である。境界付き俯瞰画像から融合俯瞰画像への移行にともなって境界指標が消滅するが、この形態では、その境界指標の画像領域から画像切り替えがスタートして融合重複画像がどんどん広がっていくので、運転者の記憶に留めていて欲しい境界指標の位置が意識しやすいという利点がある。
境界付き俯瞰画像が表示されている状態から融合重複画像に切り替えられる際に、運転者の記憶に残って欲しいことは最終的に表示される融合俯瞰画像においてその前まで表示されていた境界指標による境界付き俯瞰画像における区画である。そのため、前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において前記境界指標を強調表示することは有意義である。
また、融合俯瞰画像においても何らかの表示形態で境界の存在を暗示させるため、前記境界付き俯瞰画像から切り替えられた前記融合俯瞰画像にも、前記表示用俯瞰画像の境界指標の表示形態と異なる表示形態の境界指標が付与されてもよい。境界付き俯瞰画像に付与される表示形態の境界指標(境界線)として、半透明性、点線、境界線の一部だけを示す部分線などが好適である。さらには、それらの組み合わせた表示形態を用いてもよい。
前記境界付き俯瞰画像を迅速に生成するための好適な実施形態として、前記複数の俯瞰画像セグメントが互いに重複する重複領域を作り出す際に、融合処理などの演算処理を用いるのではなく、どちらか一方の俯瞰画像セグメントの対応領域をそのまま用いるか、それぞれの俯瞰画像セグメントが互いに分担し合うことで、重複領域に対して融合処理を行わない構成も提案される。
さらに、前記車両周辺監視システムが起動した後に、前記境界付き俯瞰画像が表示されるような構成を採用すると、最初に前記境界付き俯瞰画像を見ることで、画面が融合重複瞰画像に切り替わっても俯瞰画像における撮影方向の境界も記憶に残るので、好都合である。
本発明による車両周辺監視システムの具体的な実施形態を説明する前に、その基本原理を説明する。図1には、車両周辺の景色を車両周囲方向で部分的に重複するように撮影した複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように合成することで表示用俯瞰画像を生成する過程が模式的に示されている。最終的に表示部(モニタ)に表示される表示用俯瞰画像の形態は、境界付き俯瞰画像と融合俯瞰画像の2種類である。
なお、一般的には表示用俯瞰画像に車両全周の周辺領域が含まれるように、少なくとも前後左右の4つのカメラが用いられる。各カメラによって取得された4つの撮影画像から生成された俯瞰画像セグメントを組み合わせることで表示用俯瞰画像の基本俯瞰画像としての全周囲俯瞰画像が生成される。図1では図面の複雑化を避けるため、基本的には、フロントカメラ(ここでは第1カメラと称する)と左サイドカメラ(ここでは第2カメラと称する)による第1撮影画像と第2撮影画像とから表示用俯瞰画像を生成する過程に簡略化してある。この図1とその説明から、車両を中心とする全周囲俯瞰画像の生成過程が容易に推定できる。
表示用俯瞰画像を生成するために、まず車載カメラで車両周辺を撮影する。図1では車両前方を撮影領域とする第1カメラと、車両左側方を撮影領域とする第2カメラとによって車両周辺を撮影する(#01)。第1カメラによって取得された第1撮影画像と第2カメラによって取得された第2撮影画像とを用いて、投影面を路面に平行な面とする射影変換処理、つまり真上に仮想視点を設定した視点変換が行われる(#02)。この射影変換処理を通じて、各撮影画像からその撮影領域の車両真上からの俯瞰画像である、第1俯瞰画像セグメントと第2俯瞰画像セグメントが得られる(#03)。
第1カメラと第2カメラは互いに重複する撮影領域(重複撮影領域)を有するように設定されている。その結果、第1撮影画像と第2撮影画像とには重複領域が含まれ、第1俯瞰画像セグメントと第2俯瞰画像セグメントにも重複領域が含まれる。第1カメラと第2カメラとによる車両周囲の俯瞰画像を得るためには、第1俯瞰画像セグメントと第2俯瞰画像セグメントとが、互いの重複領域が重ね合わさるように合成される。なお、この合成処理は、境界付き俯瞰画像を生成する場合と融合俯瞰画像を生成する場合とでは異なっている。
境界付き俯瞰画像を生成する場合の1つの手法は、第1撮影画像と第2撮影画像のどちらか一方の重複領域をそのまま適用することである。他の1つの手法は、重複領域の等分線である境界線を境として、第1撮影画像側の領域には第1撮影画像の重複領域を適用し、第2撮影画像側の領域には第2撮影画像の重複領域を適用することである。つまり、この場合には融合(ブレンド)処理を行わず、単なる画像の切り貼り等によって重複領域を作り出す。いずれの手法も単なる画像の移動だけなので高速に処理される。俯瞰画像セグメントを合成して得られた合成画像には、さらに車両イラスト画像と境界指標が付与される。
車両イラスト画像は、車両の上方からみた写真やイラストに基づいて予め作成され、用意されている。境界指標は、第1俯瞰画像セグメントと第2俯瞰画像セグメントとの境界領域を表示用俯瞰画像上の重複領域において表すものであり、例えば、重複領域を二等分する境界線の形態を採用することができる。俯瞰画像セグメントの合成画像に、さらに車両イラスト画像と境界指標とを付与することにより、境界付き俯瞰画像が生成される(#04)。この境界付き俯瞰画像は、表示用俯瞰画像の初期画像として、最初にモニタに表示される(#05)。
表示用俯瞰画像として融合俯瞰画像を生成する場合には、第1俯瞰画像セグメントと第2俯瞰画像セグメントとの互いの重複領域が、所定の融合割合で融合(ブレンド)される(#11)。各重複領域において、撮影中心線により近い画素ほど明確な撮影像を作り出す重要な画素であるとみなすと、第1カメラの撮影中心線に近く第2カメラの撮影中心線から遠い位置の画素は、第1俯瞰画像セグメントの画素の特徴を大きく引き継いだ方がよい。逆に、第2カメラの撮影中心線に近く第1カメラの撮影中心線から遠い位置の画素は第2俯瞰画像セグメントの画素の特徴を大きく引き継いだ方がよい。しかしながら、より視認性の高い重複領域の画像を得るためには、第1俯瞰画像セグメントと第2俯瞰画像セグメントの画素成分を平均化する領域も必要である。
このことを実現するため、ここでは、以下の式で表されるような融合関数:Bを用いて、第1俯瞰画像セグメントと第2俯瞰画像セグメントの融合割合:αを導出する。
α=B(L),
0<L≦aの定義域においてBは平均変化率または一定変化率λ1で増加する関数、
b<L≦最大値の定義域においてBは平均変化率または一定変化率λ3で増加する関数、
a<L≦bの定義域においてBはλ1やλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、Lは各カメラの視野限界線または各撮影中心線からの距離あるいは視野限界線交点周りの角度であり、この明細書ではこれらの総称として「撮影偏差」を用いる。例えば、重複領域を平面直角座標とすれば、注目画素の位置を第1視野限界線からの距離p1と第2視野限界線からの距離p2で表され、L=p1/p2とすることができる。また重複領域を極座標で表し、注目画素の偏角をθとするとL=θとなる。
α=B(L),
0<L≦aの定義域においてBは平均変化率または一定変化率λ1で増加する関数、
b<L≦最大値の定義域においてBは平均変化率または一定変化率λ3で増加する関数、
a<L≦bの定義域においてBはλ1やλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、Lは各カメラの視野限界線または各撮影中心線からの距離あるいは視野限界線交点周りの角度であり、この明細書ではこれらの総称として「撮影偏差」を用いる。例えば、重複領域を平面直角座標とすれば、注目画素の位置を第1視野限界線からの距離p1と第2視野限界線からの距離p2で表され、L=p1/p2とすることができる。また重複領域を極座標で表し、注目画素の偏角をθとするとL=θとなる。
この関数によって導出される融合割合を持って第1俯瞰画像セグメントと第2俯瞰画像セグメントとの重複領域を融合する。融合された重複領域と第1俯瞰画像セグメントと第2俯瞰画像セグメントとを用いて融合俯瞰画像が生成される(#12)。融合俯瞰画像は、境界付き俯瞰画像に対してその重複領域を融合された重複領域で置き替えてモニタに表示される(#13)。
つまり、本発明による車両周辺監視システムでは、図2に示すように、モニタに表示される表示用俯瞰画像として、最初に境界付き俯瞰画像が表示され、その後に融合俯瞰画像が表示される。
以下、本発明の具体的な実施形態を図面に基づいて説明する。図3は、本発明による車両周辺監視システムの一例を搭載した車両が後進で縦列駐車する際に、周辺監視のためにモニタに表示する全周囲俯瞰画像の生成手順を図解説明する模式図である。図4は、車両周辺監視コントローラ20を中核要素とする車両周辺監視システムの機能ブロック図である。図5は、周辺監視のために撮影画像から俯瞰画像を含む種々の表示画面を生成する画像処理モジュールの機能ブロック図である。
この実施形態の車両周辺監視システムでは、4つの車載カメラ1、つまりフロントカメラ(第1カメラ)11、左サイドカメラ(第2カメラ)12、右サイドカメラ(第3カメラ)13、バックカメラ(第4カメラ)14からの撮影画像から車両の全周囲をカバーする表示用俯瞰画像が作成され、モニタ21に表示される。以下の説明において、適宜、これらの車載カメラ11、12、13、14を単にカメラ1と総称する。表示用俯瞰画像として、境界付き俯瞰画像と融合俯瞰画像とが生成され、この全周囲俯瞰画像による車両周辺監視のスタート時には、まず境界付き俯瞰画像がモニタに表示され、その数秒後に境界付き俯瞰画像に代えて融合俯瞰画像が表示される。
カメラ1はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15~30フレームの2次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ1は、広角レンズを備えており、水平方向にほぼ180°の視野角が確保されているとともに、光軸に約30度程度の俯角を有して車両に設置されている。
俯瞰画像の生成過程では、フロントカメラ11による前方撮影画像(第1撮影画像)が車両真上からの全周囲俯瞰画像の前方領域画像(第1俯瞰画像セグメント)として射影変換される。同様に、左サイドカメラ12による左撮影画像(第2撮影画像)、右サイドカメラ13による右撮影画像(第3撮影画像)、バックカメラ14による後方撮影画像(第4撮影画像)がそれぞれ、全周囲俯瞰画像の左領域画像(第2俯瞰画像セグメント)、右領域画像(第3俯瞰画像セグメント)、後方領域画像(第4俯瞰画像セグメント)として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。これらの各マッピングテーブルは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。
境界付き俯瞰画像は、第1俯瞰画像セグメントから第4俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成し、その重複領域に、対応する2つのカメラ1の撮影視野の境界を明示する境界指標を付与することで生成される。ここでは、境界指標は、重複領域を斜めに二等分する境界線である。従って、4つの各俯瞰画像セグメントの形状は等脚台形となっている。
融合俯瞰画像は、第1俯瞰画像セグメントから第4俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成するという点では境界付き俯瞰画像と同じである。重複領域が、当該重複領域を作り出している各俯瞰画像セグメントの対応する画素を所定の融合割合で融合して生成されることで、融合俯瞰画像は境界付き俯瞰画像と異なっている。この実施形態では、各画素における、融合割合:αは、上述した融合関数:α=B(L)に基づいて作成された融合テーブルを用いて読み出すことができる。この融合テーブルは、融合される画素の撮影偏差Lを入力パラメータとして、融合割合:αを出力するテーブル構造体である。
矩形で表される重複領域の最も車両に近いコーナを原点とした平面直角座標または極座標を考えると、撮影偏差:Lが、x座標値とy座標値の組み合わせ、あるいは偏角で表すことができる。ここでの、この融合関数の基本的な特徴は、第1定義域と第2定義域と第3定義域の3つの定義域に区分けした場合、第1定義域と第3定義域では単調増加し、第2定義域ではほぼ50%の一定値をとることである。50%の融合割合とは、一方の俯瞰画像セグメントの画素と他方の俯瞰画像セグメントの画素が平均化されることである。
車両内部には、車両周辺監視システムの中核をなす車両周辺監視コントローラ20が設置されている。この車両周辺監視コントローラ20は、マイクロプロセッサやDSP(digital signal processor)を備えている。車両周辺監視コントローラ20は、入出力インターフェースとして通信インターフェース70を備えている。通信インターフェース70は、データ伝送線として車載LANを採用しており、種々の情報の表示部としてのモニタ21、入力デバイスとしてのタッチパネル21T、車両状態検出センサ群からの信号入力をそのまま又は評価して他のコントローラに転送するセンサコントローラ23がデータ伝送可能に接続されている。さらにこの車載LANには、パワーステアリングユニットPS、変速機構T、ブレーキ装置BKなどの制御コントローラとしてユニットが備えられている。
センサコントローラ23に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向(操舵方向)と操作量(操舵量)とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
そのほか、車両周辺監視コントローラ20には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部として、車両周辺の立体物を認識する立体物認識モジュール30と、画像処理モジュール50と、表示制御部71と、音声処理モジュール72が備えられている。画像処理モジュール50で生成されたモニタ表示画像は表示制御部71でビデオ信号に変換されてモニタ21に送られる。音声処理モジュール72で生成された音声ガイドや緊急時の警告音などはスピーカ22で鳴らされる。
立体物認識モジュール30には、複数の超音波センサ3からの検出信号を評価して立体物検知を行う立体物検知部31と、車載カメラ1からの撮影画像を用いて立体物の認識を行う立体物認識部32とが含まれている。超音波センサ3は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体(障害物)をそれらからの反射波を通じて検知することができる。各超音波センサ3における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ3の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。
立体物認識部32は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部31と立体物認識部32のいずれか1つでもよい。しかし、立体物の形態を検知するのに優れた立体物認識部32と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部31の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール30は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部31として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
図5には、車両周辺監視コントローラ20の画像処理モジュール50の機能ブロック図が示されている。画像処理モジュール50は、自車周辺を撮影するカメラ1によって取得された撮影画像を処理して、モニタ21に表示するための表示用画像を生成する機能を有している。
画像処理モジュール50は、撮影画像メモリ51、前処理部52、画像生成部53、フレームメモリ54、表示画像決定部55、立体物情報取得部56を含んでいる。カメラ1によって取得された撮影画像は撮影画像メモリ51に展開され、前処理部52はカメラ1によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。表示画像決定部55は、画像生成部53で生成される表示画像をモニタ21に表示するタイミングを決定する。立体物情報取得部56は、立体物認識モジュール30から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
画像生成部53は、通常画像生成部40と表示用俯瞰画像生成部6を備えている。通常画像生成部40は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、フロントカメラ11、左サイドカメラ12、右ドカメラ13、バックカメラ14による撮影画像から運転者によって選択された一つでもよいし、複数の撮影画像の組み合わせでもよい。
表示用俯瞰画像生成部6には、俯瞰画像生成部61、俯瞰マッピングテーブル62、境界付き俯瞰画像生成部63、融合俯瞰画像生成部64が含まれている。複数の撮影画像からそれぞれの俯瞰画像セグメントを生成し、当該俯瞰画像セグメントを互いの重複領域を重ね合わせるように組み合わせて表示用俯瞰画像を生成する。表示用俯瞰画像としては、重複領域に対応するカメラ視野の境界領域(撮影画像の境界領域)を表す境界指標が付与されている境界付き俯瞰画像、及び重複領域が予め設定された融合関係で2つの俯瞰画像セグメントの対応する領域を融合している融合俯瞰画像が生成される。
俯瞰画像生成部61は、撮影画像メモリ51に展開されている撮影画像から視点変換(射影変換)処理を通じて、車両を中心とした車両周辺の俯瞰画像を生成する。この実施形態では、俯瞰画像生成部61は、各カメラ1からの撮影画像を俯瞰マッピングテーブル62に格納されている射影変換テーブルを用いたマップ変換によって俯瞰画像セグメントを生成する、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、俯瞰マッピングテーブル62と称している。
俯瞰マッピングテーブル62を構成する変換マップは、撮影画像の画素データと俯瞰撮影画像の画素データとの対応関係を記述している。1フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。フロントカメラ11からの第1撮影画像から第1俯瞰画像セグメントが生成され、左サイドカメラ12からの第2撮影画像から第2俯瞰画像セグメントが生成され、右サイドカメラカメラ13からの第3撮影画像から第3俯瞰画像セグメントが生成され、バックカメラ14からの第4撮影画像から第4俯瞰画像セグメントが生成される。なお、複数の異なる視点からの俯瞰画像を選択的に生成する構成を採用する場合には、異なる変換マップが選択可能なように構築される。
第1俯瞰画像セグメントから第4俯瞰画像セグメントまでを組み合わせて車両を中心とする車両全周囲の俯瞰画像を生成する際には、隣り合う俯瞰画像セグメントとの間に4つの重複領域が生じる。境界付き俯瞰画像生成部63と融合俯瞰画像生成部64との違いは、この重複領域の画像生成の方法である。
境界付き俯瞰画像生成部63は、この重複領域に、重複する撮影画像の境界領域を表す境界指標を描画する。例えば、重複する撮影画像の境界領域とは、双方の撮影視野を区分けする領域であるので、第1俯瞰画像セグメントと第2俯瞰セグメントとの重複領域の中心線を、この矩形の重複領域の対角線(車両の左前コーナ部と一端とする対角線)とみなすことができる。従って、ここでは、この重複領域の対角線上に描画される特定色の太線を境界指標とする。もちろん、太線以外に点線を用いても良いし、形状を扇形にしても良い。特定色としては黒色が適しているが、背景が黒系色の場合、白色など識別しやすい色を用いることが好ましい。境界指標の種類や色は、自動的に選択するようにしてもよいし、ユーザによって選択可能としてもよい。この目的のために、境界付き俯瞰画像生成部63は、重複領域に境界領域を表す境界指標を付与する境界指標付与部66とそのような境界指標の画像アイテムを格納している境界指標格納部67を含んでいる。
境界付き俯瞰画像生成部63は、この重複領域に、重複する撮影画像の境界領域を表す境界指標を描画する。例えば、重複する撮影画像の境界領域とは、双方の撮影視野を区分けする領域であるので、第1俯瞰画像セグメントと第2俯瞰セグメントとの重複領域の中心線を、この矩形の重複領域の対角線(車両の左前コーナ部と一端とする対角線)とみなすことができる。従って、ここでは、この重複領域の対角線上に描画される特定色の太線を境界指標とする。もちろん、太線以外に点線を用いても良いし、形状を扇形にしても良い。特定色としては黒色が適しているが、背景が黒系色の場合、白色など識別しやすい色を用いることが好ましい。境界指標の種類や色は、自動的に選択するようにしてもよいし、ユーザによって選択可能としてもよい。この目的のために、境界付き俯瞰画像生成部63は、重複領域に境界領域を表す境界指標を付与する境界指標付与部66とそのような境界指標の画像アイテムを格納している境界指標格納部67を含んでいる。
融合俯瞰画像生成部64は、この重複領域に2つの俯瞰画像セグメントの重複部分を用いて融合させた融合画像(アルファブレンド画像)を適用する。この目的のため、融合俯瞰画像生成部64は、俯瞰画像セグメントの重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部68と、当該融合関係をテーブル化して設定している融合テーブル69とを含んでいる。融合(アルファブレンド)処理自体はよく知られているが、本発明で用いられている融合処理は、撮影画像から視点変換された俯瞰画像という特殊な条件に鑑み、そのような俯瞰画像の重複領域に適した以下のような融合関係を用いている。
この融合関係の主旨は、重複領域を作り出している2つのカメラのうちの一方の撮影中心線から極めて近い位置をもつ画素はその一方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおき、他方の撮影中心線から極めて近い位置をもつ画素はその他方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおくということである。さらに重要なことは、それ以外の画素では両方の俯瞰画像セグメントの平均をとるということである。
この融合関係を一般的な融合関数:Bで言い換えると、
α=B(L)となる。
ここで、αは一方の俯瞰画像セグメントと他方の俯瞰画像セグメントの融合割合であり、Lは撮影偏差である。
しかも、この融合関数は以下の3つの定義域で異なっている。
(1)0<L≦aの定義域においてBは平均変化率または一定変化率λ1で増加する。
(2)b<L≦最大値の定義域においてBは平均変化率または一定変化率λ3で増加する。
(3)a<L≦bの定義域においてBはλ1やλ3より小さな変化率λ2で増加又は一定となる。
この融合関係を一般的な融合関数:Bで言い換えると、
α=B(L)となる。
ここで、αは一方の俯瞰画像セグメントと他方の俯瞰画像セグメントの融合割合であり、Lは撮影偏差である。
しかも、この融合関数は以下の3つの定義域で異なっている。
(1)0<L≦aの定義域においてBは平均変化率または一定変化率λ1で増加する。
(2)b<L≦最大値の定義域においてBは平均変化率または一定変化率λ3で増加する。
(3)a<L≦bの定義域においてBはλ1やλ3より小さな変化率λ2で増加又は一定となる。
境界付き俯瞰画像生成部63によって生成される境界付き俯瞰画像及び融合俯瞰画像生成部64によって生成される融合俯瞰画像はフレームメモリ54に転送される。境界付き俯瞰画像は単に画像貼り付けだけで、融合俯瞰画像に比べてはるかに短時間で生成される。さらに、境界付き俯瞰画像は、その境界指標を通じて車両中心の車両周囲俯瞰画像における各カメラによる撮影視野を運転者に把握させる役割を持っている。従って、境界付き俯瞰画像を融合俯瞰画像に先立って(数秒程度)モニタ21に表示することが重要である。このことは、境界付き俯瞰画像を表示させている間に、融合俯瞰画像を生成するという利点も得られる。表示画像決定部55は、フレームメモリ54に転送された境界付き俯瞰画像と融合俯瞰画像とを適切なタイミングで表示用俯瞰画像として、表示制御部71に送り、モニタ21に表示させる。
次に、上述のように構成された車両周辺監視システムによる俯瞰画像表示の流れを図6のフローチャートを用いて説明する。
車両周辺を監視するために俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定された表示種別又はデフォルト設定されている俯瞰画像の表示種別が読み出される(#21)。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部61で用いられる射影変換のためのマップが俯瞰マッピングテーブル62において設定される(#22)。ここでは、4台の車載カメラ1の撮影画像が取得される(#23)。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される(#24)。次いで、生成された第1から第4までの俯瞰画像セグメントを用いた境界付き俯瞰画像の生成処理要求が境界付き俯瞰画像生成部63に与えられ(#25)、図1による基本原理に基づく境界付き俯瞰画像生成処理が実行される(#30)。同時に、生成された第1俯瞰画像セグメントから第4俯瞰画像セグメントまでの俯瞰画像セグメントを用いた融合俯瞰画像の生成処理要求が融合俯瞰画像生成部64に与えられ(#26)、図1による基本原理に基づく融合俯瞰画像生成処理が実行される(#40)。
車両周辺を監視するために俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定された表示種別又はデフォルト設定されている俯瞰画像の表示種別が読み出される(#21)。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部61で用いられる射影変換のためのマップが俯瞰マッピングテーブル62において設定される(#22)。ここでは、4台の車載カメラ1の撮影画像が取得される(#23)。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される(#24)。次いで、生成された第1から第4までの俯瞰画像セグメントを用いた境界付き俯瞰画像の生成処理要求が境界付き俯瞰画像生成部63に与えられ(#25)、図1による基本原理に基づく境界付き俯瞰画像生成処理が実行される(#30)。同時に、生成された第1俯瞰画像セグメントから第4俯瞰画像セグメントまでの俯瞰画像セグメントを用いた融合俯瞰画像の生成処理要求が融合俯瞰画像生成部64に与えられ(#26)、図1による基本原理に基づく融合俯瞰画像生成処理が実行される(#40)。
境界付き俯瞰画像の生成が完了したかどうか判定される(#51)。この判定は境界付き俯瞰画像生成部63で発行される生成完了通知により行われる。境界付き俯瞰画像の生成が完了すると(#51Yes分岐)、タイマをスタートさせて(#52)、境界付き俯瞰画像をモニタに表示させる(#53)。次に、タイマが設定時間(数秒)に達したかどうかチェックして(#54)、設定時間に達するまで境界付き俯瞰画像の表示が続く(#54No分岐)。タイマが設定時間に達すると(#54Yes分岐)、次は、融合俯瞰画像の生成が完了しているかどうか判定される(#55)。この判定は融合俯瞰画像生成部64で発行される生成完了通知により行われる。融合俯瞰画像の生成が完了していると(#55Yes分岐)、まず、境界付き俯瞰画像の境界指標(境界太線)を所定時間だけ点滅させ、運転者に境界付き俯瞰画像から融合俯瞰画像へ表示変更することを知らせる(#56)。
なお、融合俯瞰画像へ表示変更の直前に境界指標を点滅させるのではなく、最初から境界指標が点滅するように境界付き俯瞰画像を表示させてもよい。次いで、融合俯瞰画像を境界付き俯瞰画像に代えてモニタ21に表示させる(#57)。この俯瞰画像表示ルーチンの終了指令がない限り(#58No分岐)、再びステップ#21に戻って、このルーチンを繰り返す。
なお、上述したルーチンでは、境界付き俯瞰画像の生成と表示が新しい撮影画像が取得するたびに行われる制御の流れで説明していたが、境界付き俯瞰画像の生成と表示をこのルーチンの起動時だけ、あるいは所定の時間間隔で行うのが一般的である。より具体的には、この車両周辺監視システムが、ドライバによるスイッチ(車両周辺監視システムの起動スイッチなど)オンやシフトリバース(後進段への変速操作)や車速をトリガとして起動した後に境界付き俯瞰画像の生成と表示を行う。そして、車両周辺監視システムは境界付き俯瞰画像の表示中に並行して融合俯瞰画像を生成しておき、所定時間後に融合俯瞰画像を表示する。このように構成することの1つの利点は、起動後すぐに境界付き俯瞰画像を表示できるので運転者に違和感を与えないという点である。
〔別実施の形態〕
(1)上述した実施形態では、図2に示すように、最初に表示された境界付き俯瞰画像はその後に境界指標(境界線)のない融合俯瞰画像に切り替えられていた。これに代えて、融合俯瞰画像においても何らかの表示形態で境界指標(境界線)の存在を暗示させてもよい。つまり、上述した実施形態で、境界付き俯瞰画像において境界指標として描かれていた太実線を、図7乃至図9で示すように種々の表示形態としてもよい。
(1)上述した実施形態では、図2に示すように、最初に表示された境界付き俯瞰画像はその後に境界指標(境界線)のない融合俯瞰画像に切り替えられていた。これに代えて、融合俯瞰画像においても何らかの表示形態で境界指標(境界線)の存在を暗示させてもよい。つまり、上述した実施形態で、境界付き俯瞰画像において境界指標として描かれていた太実線を、図7乃至図9で示すように種々の表示形態としてもよい。
図7では、境界線は半透明化されている。例えば50%透明化することより、境界線の視認と境界領域の融合画像の視認が可能となる。また、図8では、境界線の一部だけが表示され、他の一部は消去されている。この例では、境界線の外端部分だけが表示されている。換言すると、融合俯瞰画像における境界指標(境界線)の長さが、境界付き俯瞰画像における境界指標(境界線)の長さよりも短くなっているとも言える。この場合は、表示される境界線が部分的であっても視認しやすいように強調表示すると好都合である。さらに、図9では、境界線が部分的に描画されている。ここでは点線として描画されているが、もちろん等間隔ピッチでなく不等間隔ピッチの点線を用いてもよい。なお、図8や図9においても、その境界線を半透明化してもよい。
これらのように構成することで、融合俯瞰画像において境界線の視認と境界領域の融合画像の視認が可能となる。すなわち、融合俯瞰画像において境界線が存在する領域の近傍は、複数のカメラにより撮影された画像が融合された部位であることをユーザに伝達することが可能となる。
さらには、図示されていないが、融合俯瞰画像において境界線の視認と境界領域の融合画像の視認とが可能となるように境界の存在を暗示させる細線を用いてもよい。特にこの場合、最初に表示された境界付き俯瞰画像には、太線で境界指標(境界線)を描画し、その後に切り替えられた融合俯瞰画像に境界指標(境界線)を細線で描画する形態は、視覚的に境界線の視認と境界領域の融合画像の視認に関して効果的なものとなる。
また、図7乃至図9で示した境界指標(境界線)の表示形態に上記細線による境界指標(境界線)の描画を組み合わせる形態も採用可能である。例えば、図7乃至図9で示した境界指標(境界線)の各表示形態と、上記細線による境界指標(境界線)の表示形態とを全て組み合わせてもよいし、図7乃至図9で示した境界指標(境界線)の表示形態それぞれに上記細線による境界指標(境界線)の表示形態を組み合わせる形態も採用可能である。
(2)上述した実施形態では、境界付き俯瞰画像や融合俯瞰画像の表示は、立体物認識モジュール30による立体物の検出と関係なしに行われた。これに代えて、立体物情報処理部56が立体物情報を受け取った場合、その立体物の位置に応じて、融合部68によって使用する融合関数を変更してもよいし、立体物の位置俯瞰画像を生成する際の視点位置を変更してもよい。
(3)上述した実施形態では、表示用俯瞰画像の生成過程を分かりやすく説明するため、表示用俯瞰画像生成部6の構成を機能別にブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロックレイアウトに限定されるわけではない。例えば、撮影画像から複合的な変換テーブルを用いて直接境界付き俯瞰画像や融合俯瞰画像を生成してもよい。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
21:モニタ(表示部)
50:画像処理モジュール
53:画像生成部
55:表示画像決定部
6:表示用俯瞰画像生成部
61:俯瞰画像生成部
62:俯瞰マッピングテーブル
63:境界付き俯瞰画像生成部
64:融合俯瞰画像生成部
66:境界指標付与部
67:境界指標格納部
68:融合部
69:融合テーブル
71:表示制御部
50:画像処理モジュール
53:画像生成部
55:表示画像決定部
6:表示用俯瞰画像生成部
61:俯瞰画像生成部
62:俯瞰マッピングテーブル
63:境界付き俯瞰画像生成部
64:融合俯瞰画像生成部
66:境界指標付与部
67:境界指標格納部
68:融合部
69:融合テーブル
71:表示制御部
Claims (14)
- 車両周囲方向で部分的に重複するように撮影した複数の撮影画像から俯瞰画像セグメントを生成する俯瞰画像生成部と、
隣り合う前記俯瞰画像セグメントの境界領域を表す境界指標を前記俯瞰画像セグメントの重複領域に付与する境界指標付与部と、
前記複数の俯瞰画像セグメントのうち互いに重複する重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部と、
前記境界指標を有する境界付き俯瞰画像及び前記融合重複画像を有する融合俯瞰画像を表示用俯瞰画像として生成する表示用俯瞰画像生成部と、
前記表示用俯瞰画像を表示する表示部と、
前記表示部に前記境界付き俯瞰画像を表示した後に前記融合俯瞰画像を表示する表示画像決定部とを備える車両周辺監視システム。 - 前記境界付き俯瞰画像における前記重複領域が、一方の俯瞰画像セグメントの重複領域を流用することで前記境界付き俯瞰画像が生成され、当該重複領域が前記融合部で生成された融合重複瞰画像によって置き替えられることで前記融合俯瞰画像が生成される請求項1に記載の車両周辺監視システム。
- 前記表示画像決定部は、前記表示部に前記境界付き俯瞰画像を表示したのち予め設定した時間の経過後に前記融合俯瞰画像を表示する請求項1に記載の車両周辺監視システム。
- 前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において、車両近傍から同心円状に順次前記融合重複画像に切り替えられる請求項1から3のいずれか一項に記載の車両周辺監視システム。
- 前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において、前記境界指標領域から順次前記融合重複画像に切り替えられる請求項1から3のいずれか一項に記載の車両周辺監視システム。
- 前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において前記境界指標を強調表示する請求項1から5のいずれか一項に記載の車両周辺監視システム。
- 前記境界付き俯瞰画像では、前記複数の俯瞰画像セグメントが互いに重複する重複領域に対して融合処理を行わない請求項1から6のいずれか一項に記載の車両周辺監視システム。
- 前記境界付き俯瞰画像は、前記車両周辺監視システムが起動した後に表示される請求項1から7のいずれか一項に記載の車両周辺監視システム。
- 前記融合俯瞰画像に境界指標を付与する請求項1から8のいずれか一項に記載の車両周辺監視システム。
- 前記融合俯瞰画像に付与される境界指標は半透明である請求項9に記載の車両周辺監視システム。
- 前記融合俯瞰画像に付与される境界指標は、前記表示用俯瞰画像に付与される境界指標よりも短い請求項9または10に記載の車両周辺監視システム。
- 前記融合俯瞰画像に付与される境界指標は、点線である請求項9から11のいずれか一項に記載の車両周辺監視システム。
- 前記融合俯瞰画像に付与される境界指標は、前記表示用俯瞰画像に付与される境界指標よりも細い請求項9から12のいずれか一項に記載の車両周辺監視システム。
- 前記融合俯瞰画像には、前記表示用俯瞰画像の境界指標の表示形態と異なる表示形態の境界指標が付与される請求項1から8のいずれか一項に記載の車両周辺監視システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/131,475 US9050931B2 (en) | 2011-07-26 | 2012-07-12 | Vehicle periphery monitoring system |
CN201280037054.4A CN103733613A (zh) | 2011-07-26 | 2012-07-12 | 车辆周边监视*** |
EP12817899.3A EP2739050B1 (en) | 2011-07-26 | 2012-07-12 | Vehicle surroundings monitoring system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-163482 | 2011-07-26 | ||
JP2011163482A JP5483120B2 (ja) | 2011-07-26 | 2011-07-26 | 車両周辺監視システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013015130A1 true WO2013015130A1 (ja) | 2013-01-31 |
Family
ID=47600982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/067837 WO2013015130A1 (ja) | 2011-07-26 | 2012-07-12 | 車両周辺監視システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9050931B2 (ja) |
EP (1) | EP2739050B1 (ja) |
JP (1) | JP5483120B2 (ja) |
CN (1) | CN103733613A (ja) |
WO (1) | WO2013015130A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105474636A (zh) * | 2014-03-07 | 2016-04-06 | 日立建机株式会社 | 作业机械的周边监视装置 |
CN108780564A (zh) * | 2016-03-22 | 2018-11-09 | 株式会社电装 | 图像处理装置、图像处理方法、以及程序 |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013086249A2 (en) * | 2011-12-09 | 2013-06-13 | Magna Electronics, Inc. | Vehicle vision system with customized display |
JP6084434B2 (ja) * | 2012-10-31 | 2017-02-22 | クラリオン株式会社 | 画像処理システム及び画像処理方法 |
CN105009574B (zh) * | 2013-03-28 | 2018-07-17 | 爱信精机株式会社 | 周边监视装置及周边监视方法、记录介质 |
US9767561B2 (en) * | 2013-11-18 | 2017-09-19 | Texas Instruments Incorporated | Method and apparatus for a optimal seam for surround view synthesis |
JP6232994B2 (ja) * | 2013-12-16 | 2017-11-22 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US9598012B2 (en) * | 2014-03-11 | 2017-03-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Surroundings monitoring system for a vehicle |
JP6330383B2 (ja) * | 2014-03-12 | 2018-05-30 | 株式会社デンソー | 合成画像生成装置、および合成画像生成プログラム |
FR3018940B1 (fr) * | 2014-03-24 | 2018-03-09 | Survision | Systeme de classification automatique de vehicules automobiles |
JP6371553B2 (ja) * | 2014-03-27 | 2018-08-08 | クラリオン株式会社 | 映像表示装置および映像表示システム |
JP6262068B2 (ja) * | 2014-04-25 | 2018-01-17 | 日立建機株式会社 | 車体近傍障害物報知システム |
DE102014107235A1 (de) * | 2014-05-22 | 2015-11-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm |
JP6257798B2 (ja) * | 2014-10-31 | 2018-01-10 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
EP3076363B1 (en) * | 2015-03-30 | 2019-09-25 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Image synthesizer and a method for synthesizing an image |
DE102015104937A1 (de) * | 2015-03-31 | 2016-10-06 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Beurteilen einer Zugehörigkeit eines Erfassungspunkts zu einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs sowie Fahrerassistenzsystem |
EP3086279A1 (en) * | 2015-04-24 | 2016-10-26 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Image synthesizer for a driver assisting system |
JP6406159B2 (ja) * | 2015-08-04 | 2018-10-17 | 株式会社デンソー | 車載表示制御装置、車載表示制御方法 |
US10157452B1 (en) | 2015-09-28 | 2018-12-18 | Amazon Technologies, Inc. | Image processing system for image rectification |
CN105894448B (zh) * | 2015-11-06 | 2019-08-20 | 法法汽车(中国)有限公司 | 蒙板矩阵的生成方法、泊车图像的合成方法及装置 |
JP6239205B2 (ja) * | 2015-11-06 | 2017-11-29 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6398957B2 (ja) * | 2015-12-02 | 2018-10-03 | 株式会社デンソー | 車両制御装置 |
CN106204687B (zh) * | 2016-07-20 | 2017-09-12 | 广州小鹏汽车科技有限公司 | 一种基于贝塞尔曲线的倒车雷达图实现方法 |
CN109691088B (zh) * | 2016-08-22 | 2022-04-15 | 索尼公司 | 图像处理设备、图像处理方法、以及程序 |
DE102016220308A1 (de) * | 2016-10-18 | 2018-04-19 | Continental Automotive Gmbh | System und Verfahren zur Erzeugung von digitalen Straßenmodellen aus Luft- oder Satellitenbildern und von Fahrzeugen erfassten Daten |
FR3061098A1 (fr) * | 2016-12-23 | 2018-06-29 | Jean Claude Galland | Procede et dispositif de vision continue du conducteur d'un vehicule automobile par succession d'images |
CN106791325B (zh) * | 2017-01-06 | 2022-08-23 | 上海寅家电子科技股份有限公司 | 全景环视***的色差测光区自动识别***及自动识别方法 |
KR102551099B1 (ko) * | 2017-01-13 | 2023-07-05 | 엘지이노텍 주식회사 | 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량 |
US10366541B2 (en) | 2017-07-21 | 2019-07-30 | Ford Global Technologies, Llc | Vehicle backup safety mapping |
JP7039879B2 (ja) * | 2017-08-03 | 2022-03-23 | 株式会社アイシン | 表示制御装置 |
US10373000B2 (en) * | 2017-08-15 | 2019-08-06 | GM Global Technology Operations LLC | Method of classifying a condition of a road surface |
JP7013751B2 (ja) * | 2017-09-15 | 2022-02-01 | 株式会社アイシン | 画像処理装置 |
JP7005269B2 (ja) * | 2017-10-18 | 2022-01-21 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
WO2019080043A1 (en) | 2017-10-26 | 2019-05-02 | Harman International Industries, Incorporated | METHOD AND SYSTEM FOR MIXING QUICK IMAGES FOR OVERLAPPING REGIONS IN A PANORAMIC VIEW |
JP7135378B2 (ja) * | 2018-03-29 | 2022-09-13 | 株式会社アイシン | 周辺監視装置 |
JP2019185381A (ja) * | 2018-04-10 | 2019-10-24 | クラリオン株式会社 | 車両周囲画像生成装置 |
DE102018212049A1 (de) * | 2018-07-19 | 2020-01-23 | Conti Temic Microelectronic Gmbh | Verfahren zur dreidimensionalen bildlichen Rekonstruktion eines Fahrzeugs |
JP7263731B2 (ja) * | 2018-10-26 | 2023-04-25 | 株式会社デンソー | 画像処理装置 |
JP2020135206A (ja) * | 2019-02-15 | 2020-08-31 | パナソニックIpマネジメント株式会社 | 画像処理装置、車載用カメラシステム及び画像処理方法 |
JP7203205B2 (ja) * | 2019-04-18 | 2023-01-12 | 三菱電機株式会社 | 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法 |
WO2021048584A1 (ja) * | 2019-09-12 | 2021-03-18 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
JP7065068B2 (ja) * | 2019-12-13 | 2022-05-11 | 本田技研工業株式会社 | 車両周囲監視装置、車両、車両周囲監視方法およびプログラム |
KR102281609B1 (ko) * | 2020-01-16 | 2021-07-29 | 현대모비스 주식회사 | 어라운드뷰 합성 시스템 및 방법 |
JP7055158B2 (ja) * | 2020-02-13 | 2022-04-15 | 株式会社クボタ | 作業車 |
CN113198179B (zh) * | 2021-05-10 | 2024-06-04 | 网易(杭州)网络有限公司 | 虚拟对象的转向控制方法及装置、存储介质、电子设备 |
US20230099598A1 (en) * | 2021-09-27 | 2023-03-30 | Ford Global Technologies, Llc | Vehicle object tracking |
JP7366982B2 (ja) * | 2021-11-24 | 2023-10-23 | 本田技研工業株式会社 | 制御装置、制御方法、及び制御プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002019556A (ja) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | 監視システム |
JP2003169323A (ja) | 2001-11-29 | 2003-06-13 | Clarion Co Ltd | 車両周囲監視装置 |
JP2007027948A (ja) | 2005-07-13 | 2007-02-01 | Nissan Motor Co Ltd | 車両周辺監視装置及び車両周辺監視方法 |
JP2007104373A (ja) * | 2005-10-05 | 2007-04-19 | Alpine Electronics Inc | 車両用画像表示装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100866450B1 (ko) | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
JP4934308B2 (ja) | 2005-10-17 | 2012-05-16 | 三洋電機株式会社 | 運転支援システム |
JP4254887B2 (ja) * | 2006-07-06 | 2009-04-15 | 日産自動車株式会社 | 車両用画像表示システム |
US20090128630A1 (en) | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
US7728879B2 (en) * | 2006-08-21 | 2010-06-01 | Sanyo Electric Co., Ltd. | Image processor and visual field support device |
JP5120880B2 (ja) * | 2007-10-15 | 2013-01-16 | アルパイン株式会社 | 画像処理装置及び画像処理方法 |
JP2010093605A (ja) | 2008-10-09 | 2010-04-22 | Sanyo Electric Co Ltd | 操縦支援装置 |
JP2010183170A (ja) * | 2009-02-03 | 2010-08-19 | Denso Corp | 車両用表示装置 |
JP5068779B2 (ja) * | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
TWI417639B (zh) | 2009-12-30 | 2013-12-01 | Ind Tech Res Inst | 全周鳥瞰影像無縫接合方法與系統 |
JP5853457B2 (ja) | 2011-07-20 | 2016-02-09 | アイシン精機株式会社 | 車両周辺監視システム |
-
2011
- 2011-07-26 JP JP2011163482A patent/JP5483120B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-12 EP EP12817899.3A patent/EP2739050B1/en not_active Not-in-force
- 2012-07-12 US US14/131,475 patent/US9050931B2/en not_active Expired - Fee Related
- 2012-07-12 CN CN201280037054.4A patent/CN103733613A/zh active Pending
- 2012-07-12 WO PCT/JP2012/067837 patent/WO2013015130A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002019556A (ja) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | 監視システム |
JP2003169323A (ja) | 2001-11-29 | 2003-06-13 | Clarion Co Ltd | 車両周囲監視装置 |
JP2007027948A (ja) | 2005-07-13 | 2007-02-01 | Nissan Motor Co Ltd | 車両周辺監視装置及び車両周辺監視方法 |
JP2007104373A (ja) * | 2005-10-05 | 2007-04-19 | Alpine Electronics Inc | 車両用画像表示装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2739050A4 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105474636A (zh) * | 2014-03-07 | 2016-04-06 | 日立建机株式会社 | 作业机械的周边监视装置 |
CN105474636B (zh) * | 2014-03-07 | 2018-11-09 | 日立建机株式会社 | 作业机械的周边监视装置 |
CN108780564A (zh) * | 2016-03-22 | 2018-11-09 | 株式会社电装 | 图像处理装置、图像处理方法、以及程序 |
Also Published As
Publication number | Publication date |
---|---|
EP2739050B1 (en) | 2017-03-08 |
EP2739050A4 (en) | 2014-11-12 |
US9050931B2 (en) | 2015-06-09 |
JP5483120B2 (ja) | 2014-05-07 |
EP2739050A1 (en) | 2014-06-04 |
JP2013030833A (ja) | 2013-02-07 |
US20140152827A1 (en) | 2014-06-05 |
CN103733613A (zh) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5483120B2 (ja) | 車両周辺監視システム | |
JP6014442B2 (ja) | 画像生成装置、画像表示システム、および、画像生成方法 | |
JP5911775B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
JP5682788B2 (ja) | 車両周辺監視装置 | |
WO2012096058A1 (ja) | 画像生成装置 | |
JP5853457B2 (ja) | 車両周辺監視システム | |
JP5341789B2 (ja) | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム | |
JP6559253B2 (ja) | 車両の車両周囲を表示するための方法 | |
US10467789B2 (en) | Image processing device for vehicle | |
JP5870608B2 (ja) | 画像生成装置 | |
WO2012172923A1 (ja) | 車両周辺監視装置 | |
WO2012169355A1 (ja) | 画像生成装置 | |
JP5516998B2 (ja) | 画像生成装置 | |
JP2007109166A (ja) | 運転支援システム | |
JP5495071B2 (ja) | 車両周辺監視装置 | |
JP5760999B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2005242606A (ja) | 画像生成装置、画像生成プログラム、及び画像生成方法 | |
JP5776995B2 (ja) | 車両用周辺監視装置 | |
US9162621B2 (en) | Parking support apparatus | |
JP2012040883A (ja) | 車両周囲画像生成装置 | |
JP5516997B2 (ja) | 画像生成装置 | |
JP2013207637A (ja) | 画像処理装置及び方法、並びにコンピュータプログラム | |
JP2012001126A (ja) | 車両用周辺監視装置 | |
JP5861871B2 (ja) | 俯瞰画像提示装置 | |
JP2012138876A (ja) | 画像生成装置、画像表示システム及び画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12817899 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2012817899 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012817899 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14131475 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |