JP2002019556A

JP2002019556A - 監視システム

Info

Publication number: JP2002019556A
Application number: JP2000201942A
Authority: JP
Inventors: Shusaku Okamoto; 修作岡本; Masamichi Nakagawa; 雅通中川; Hiroshi Ishii; 浩史石井; Kazuo Nobori; 一生登; Atsushi Morimura; 森村　　淳
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-07-04
Filing date: 2000-07-04
Publication date: 2002-01-23

Abstract

(57)【要約】【課題】車両周辺の監視システムとして、車両周囲の
物体の種類が確実に把握できるようにする。【解決手段】通常モードでは、複数のカメラ画像か
ら、車両と周囲との関係が分かるような合成画像を生成
する。ただし、カメラ視野範囲が重複する範囲ＯＬａ〜
ＯＬｄでは、画像合成の結果、そこに存在する物体（例
えばポールＰ３）の画像が不鮮明になるおそれがある。
そこで、例外モードにおいて、重複範囲ＯＬａ〜ＯＬｄ
に係るカメラ画像を、ブレンドせずに個別に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両に設置した複
数のカメラの撮像画像を用いて合成画像を生成する画像
処理技術に関するものであり、特に、車両運転の際の安
全確認の補助などに利用される監視システムに有効な技
術に属する。

【０００２】

【従来の技術】従来、車両の周囲をカメラを用いて監視
する装置として、特開平１１−７８６９２号公報（文献
１）に記載の車両用映像提供装置や、米国特許公報５９
４９３３１号公報（文献２）に記載の“Display Enhanc
ements for Vehicle Vision System”などが知られてい
る。

【０００３】文献１では、複数台の車両用映像提供のた
めのカメラを車両の周囲に取り付け、各カメラによって
撮影された画像を変形・合成して新たな画像を作成しモ
ニタに表示する構成が開示されている。特に、複数台の
カメラの撮影画像を変形して配置する際に、変形された
画像同士が互いに隣接する境界部分で連続性を保つこと
によって、より的確な画像を運転者に提供できる、と記
載されている。

【０００４】文献２では、車のリア部中央に１台、左右
のドアミラー付近に各１台ずつ、後向きに取り付けられ
たカメラを用いて、広視野のリアビュー画像をドライバ
ーに提示する構成が開示されている。また、それぞれの
カメラ画像をシームレスに繋ぎ合わせることが特徴であ
る、と記載されている。

【０００５】

【発明が解決しようとする課題】ところが、従来では、
次のような問題がある。

【０００６】画像合成において、元のカメラ画像同士を
精度良く連続させるために、原理的には、カメラ画像に
映っている全ての物体の形状や距離を正確に求め、この
結果を用いて、画像の変形・合成処理を行う必要があ
る。ところが、カメラ画像に映っている物体全ての形状
や距離を正確に求めるためには、複雑な測定装置が必要
になり、コストが非常に高くなる。またこの場合、画像
合成のための計算処理も相当複雑になるので、リアルタ
イムで実行するのは困難である。

【０００７】そこで、通常は、カメラ視野範囲内の特定
部分に着目し、この特定部分に関して画像の連続性を保
証するという手法がとられる。例えば、車両上方から車
両周囲の状況を見下ろしたような合成画像を生成する場
合には、少なくとも路面に相当する部分は連続的につな
がるように、画像合成を行う。このような手法を用いる
ことによって、低コストで、車両と周囲の状況との関係
を利用者に的確に認識させることができる。

【０００８】ところがこの場合、当然のことながら、連
続性を保証した特定部分以外については画像の連続性は
保証されない。このことは、時と場合によっては、あま
り好ましくない問題を引き起こす。

【０００９】上述した見下ろし画像の場合を例にとる
と、合成画像上で路面に関しては連続性が保証されるも
のの、これ以外の部分例えば路面上にある物体について
は、連続性が保証されない。したがって、撮影範囲が重
複する複数のカメラがある場合に、変形後の各カメラ画
像において、その重複範囲に存在する物体の画像は通
常、一致しない。このため、各カメラ画像をブレンド、
すなわち重み付けして混合した場合には、その物体の形
状が合成画像上必ずしも鮮明には表示されない。このた
め、運転者は、その物体が何であるのかを把握すること
が困難になる。

【００１０】たしかに、運転者は、見下ろし画像のよう
な合成画像によって、路面上における車両の周囲の状況
を的確に把握することができる。しかしながら、周囲に
存在する物体を、確実に把握できることの方が優先する
場合もある。

【００１１】前記の問題に鑑み、本発明は、複数のカメ
ラと、カメラ画像から合成画像を生成する画像処理部と
を備えた監視システムとして、周囲の物体の種類を確実
に把握できるようにすることを課題とする。

【００１２】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、監視システ
ムとして、車両の周囲を撮影する複数のカメラと、前記
各カメラの撮影画像を入力とし、これらのカメラ画像か
ら仮想視点から見た合成画像を生成し、表示装置に表示
させる画像処理部とを備え、前記画像処理部は、撮影範
囲が重複する複数個のカメラの当該重複範囲の少なくと
も一部の画像をブレンドせずに個別に表示する例外モー
ドを有しているものである。

【００１３】請求項１の発明によると、例外モードにお
いて、撮影範囲が重複する複数個のカメラの当該重複範
囲の画像が、ブレンドされずに、個別に表示される。こ
のため、利用者は、この重複範囲に存在する物体を、個
別に表示された画像によって、確実に把握することがで
きる。

【００１４】請求項２の発明では、前記請求項１の監視
システムにおける画像処理部は、合成画像を表示する通
常モードと例外モードとを当該車両の走行状態に応じて
切り替えるものとする。

【００１５】請求項３の発明では、前記請求項１の監視
システムにおける画像処理部は例外モードにおいて、当
該車両を表す車両画像を表示し、かつ当該車両の周囲の
状況を示す複数の部分画像を、その位置関係を保つよう
に表示するものとする。

【００１６】請求項４の発明では、前記請求項３の監視
システムにおける画像処理部は、前記複数の部分画像の
少なくともいずれかのサイズを当該車両の走行状態に応
じて切り替えるものとする。

【００１７】請求項５の発明では、前記請求項３の監視
システムにおける複数の部分画像は、当該車両の前方の
画像、後方の画像、右方の画像および左方の画像であ
る。

【００１８】請求項６の発明では、前記請求項１の監視
システムにおいて、前記車両は、当該重複範囲における
物体の有無を検出する物体検出センサを備えており、前
記画像処理部は、前記物体検出センサが物体を検出した
とき、通常モードから例外モードに切り替え当該重複範
囲のカメラ画像をブレンドせずに個別に表示するものと
する。

【００１９】

【発明の実施の形態】以下、本発明の実施形態につい
て、図面を参照しながら説明する。

【００２０】（第１の実施形態）図１は本発明の第１の
実施形態に係る監視システムの構成を示すブロック図で
ある。図１において、画像処理部２は、撮像部１から出
力された複数のカメラ画像を入力とし、これらを合成し
て新たな画像を生成する。この合成画像は、表示装置３
によって表示される。

【００２１】撮像部１は複数のカメラ１１を有し、各カ
メラ１１には、一対のフレームメモリ１２が設けられて
いる。ここでは各カメラ１１はＣＣＤタイプであるもの
とする。カメラがＣＭＯＳタイプの場合には、カメラに
フレームメモリの機能を持たせることも可能であり、こ
の場合はフレームメモリを省くことができる。

【００２２】画素合成部２１は、マッピングテーブル参
照部２２に設定されたマッピングテーブルＭＰＴに従っ
て、撮像部１から出力されたカメラ画像を用いて、合成
画像を生成する。タイミング生成部２４は、合成画像の
動画系列を生成するためのタイミング信号を生成する。

【００２３】図２はカメラ配置の一例を示す図であり、
図３は図２のように配置された各カメラの画像の例を示
す図である。図２の例では、２台のペアカメラが、車両
のフロントグリル、左右ドアミラーおよびリアトランク
の計４箇所にそれぞれ設置されている。このカメラ配置
によって、車両の前後左右について１８０度視野の画像
をそれぞれ得ることができ、運転における安全性を高め
るために、車両周囲の状況をもれなく見せることが可能
になる。なお、ＷＬ１〜ＷＬ５は路面に引かれた白線、
Ｐ１〜Ｐ４はポールである。

【００２４】画像処理部２は、図３に示すような８枚の
カメラ画像を変形・合成し、例えば、車両上方から鉛直
下方に見下ろしたような合成画像を生成する。合成画像
の生成のためには、画像変形処理や、変形された部分画
像の合成処理（境界処理を含む）が必要になるが、図１
の構成では、マッピングテーブル参照部２２を備え、撮
像画像の加工を一つの工程で行うために、マッピングテ
ーブルＭＰＴを利用する。

【００２５】「マッピングテーブル」とは、合成画像の
画素と、各カメラ画像の画素データとの対応関係が記述
されたテーブルのことをいい、合成画像の生成処理を高
速に行うために用いられる。このようなマッピングテー
ブルを、幾何変換等を用いた計算や手作業などによって
予め作成しておくことによって、所望の合成画像を高速
に生成することができる。

【００２６】マッピングテーブルは具体的には、例えば
ＲＯＭ（ＥＥＰＲＯＭ等の書き込み・消去可能なＲＯＭ
を含む）またはＲＡＭに格納されている。マッピングテ
ーブルの格納は、例えば、画像処理部内のプロセッサが
計算で求めたマッピングデータをＲＯＭまたはＲＡＭに
書き込むことによって実現してもよいし、ファームウェ
アとして提供されるマッピングテーブルデータを、通信
回線やディスクドライブ等のデータ転送手段を用いて、
ＲＡＭまたはＲＯＭに書き込むようにしてもよい。

【００２７】そして、合成画像生成に用いるマッピング
テーブルを切り替えることによって、合成画像の表示モ
ードを容易に切り替えることができる。この表示モード
の切替は、手動によっても可能であり、また車両の走行
状態に応じて自動的に行うことも可能である。マッピン
グテーブル選択部４１は、合成画像の表示モードを選択
し、選択した表示モードに応じたマッピングテーブルＭ
ＰＴを選択するよう、マッピングテーブル参照部２２に
指示する。

【００２８】図４は図２に示すカメラ配置における各カ
メラの撮影範囲を示す図である。図４に示すように、各
ペアカメラの撮影範囲は互いに重複している。そして、
画像合成の際には、この重複範囲ＯＬａ〜ＯＬｄについ
ては、各カメラ画像の画素データをブレンド、すなわち
重み付けして混合することによって、合成画像を生成す
る。

【００２９】ところがこの場合、ある物体が重複範囲Ｏ
Ｌａ〜ＯＬｄに存在するとき、その物体が合成画像上必
ずしも鮮明には表示されない可能性がある。例えば、車
両上方の仮想視点から見下ろした合成画像を生成する場
合には、路面に相当する部分が連続的につながるよう
に、各カメラ画像を加工して合成する。言い換えると、
カメラ画像に路面が映っているという仮定の下で、カメ
ラ画像と合成画像との対応関係を求めている。このと
き、路面上に存在する物体については、合成画像に鮮明
には表示されない。

【００３０】重複範囲ＯＬａにあるポールＰ３を例にと
って説明する。図３のカメラ画像の例から分かるよう
に、カメラ４では、ポールＰ３は白線ＷＬ１とＷＬ２と
にまたがるように撮される。このため、カメラ４の画像
が変換されたとき、ポールＰ３の画像は図４のＰ３Ａの
ように投影される。一方、カメラ５では、ポールＰ３は
白線ＷＬ２に沿うように撮される。このため、カメラ５
の画像が変換されたとき、ポールＰ３の画像は図４のＰ
３Ｂのように投影される。したがって、重複範囲ＯＬａ
においてカメラ４，５の画像の画素データをブレンドし
た場合、合成画像上、ポールＰ３は、その全体は鮮明に
は表示されず、鮮明に表示されるのは、画像Ｐ３Ａ，Ｐ
３Ｂが重なり合う根元部分付近のみになる。

【００３１】もちろん、物体の根元部分が合成画像上に
表示されるので、合成画像を見て、物体の存在を認識し
たり、その存在位置を確認することは可能である。しか
しながら、実際の物体の形状は合成画像に鮮明には表示
されないので、利用者は、その物体がポールであること
を確実に把握することが困難である。また、合成画像を
見た運転者に、違和感を与えることも否めない。

【００３２】そこで、本実施形態では、撮影範囲が重複
する複数個のカメラの当該重複範囲の画像を、ブレンド
せずに、個別に表示する例外モードを設けるものとす
る。各カメラ画像をブレンドせずに個別に表示すること
によって、当該重複範囲における物体は、２重に表示さ
れることになるものの、画像上不鮮明になることはな
く、その種類が明確に認識できる。

【００３３】図５は各ペアカメラの１８０度視野パノラ
マ画像を示す図である。例えば車両前方を示すパノラマ
画像（カメラ０，４）では、その画像の両端に車両前方
両角に置かれたポールＰ１，Ｐ３が映っていることか
ら、車前端から前方にほぼ１８０度の視野が得られてい
ることが分かる。車両後方、左方および右方画像も同様
である。すなわち、車両の周囲は、図４に示す４枚の部
分画像としてのパノラマ画像のいずれかに若しくは重複
して、くまなく撮影されている。

【００３４】本実施形態では、例外モードにおいて、図
５に示すようなパノラマ画像を個別に表示するものとす
る。図５に示すようなパノラマ画像は、図６に示すよう
に、ペアカメラの画像を円筒モデルにそれぞれ投影し、
その投影画像を投影面に対して垂直な方向から見ること
によって、得ることができる。

【００３５】そして、ここでは、図５に示すようなパノ
ラマ画像を、車両と周囲との位置関係を損なわなず、そ
の位置関係を保つように、画面上に配置する。すなわ
ち、例外モードにおいて、当該車両を表す車両画像を表
示し、かつ、当該車両の前方、後方、右方および左方の
パノラマ画像を、車両画像の前、後、右および左に表示
する。また、表示の際には、図５において破線で示す矩
形領域Ｉ１〜Ｉ４の画像を切り出すものとする。領域Ｉ
１〜Ｉ４以外の部分は、車両の周囲の確認のためには不
要な部分、例えば空などが映った部分である。もちろ
ん、切り出す領域は矩形でなくてもかまわない。

【００３６】図７は例外モードにおける各パノラマ画像
の配置の例である。図７に示す配置では、前方画像の領
域Ｉ１が四角形領域（Ｄ２，Ｄ３，Ｄ７，Ｄ６）に貼り
付けられており、同様に、後方画像の領域Ｉ２が四角形
領域（Ｄ１，Ｄ４，Ｄ８，Ｄ５）に、右方画像の領域Ｉ
３が四角形領域（Ｄ３，Ｄ４，Ｄ８，Ｄ７）に、そして
左方画像の領域Ｉ４が四角形領域（Ｄ１，Ｄ２，Ｄ６，
Ｄ５）に、それぞれ貼り付けられている。この画面表示
では、４個の重複領域ＯＬａ〜ＯＬｄ全てについて、カ
メラ画像がブレンドされずに表示されている、といえ
る。

【００３７】図７において、線分（Ｄ１−Ｄ５），（Ｄ
２−Ｄ６），（Ｄ３−Ｄ７），（Ｄ４−Ｄ８）では、そ
こを境界として隣り合うパノラマ画像同士には連続性が
ない。ところが、各ポールＰ１〜Ｐ４の形状は、明確に
表示される。

【００３８】また、各パノラマ画像を、必要に応じて整
えてもかまわない。例えば、車両画像に対してポールが
それなりに確からしい位置に表示されるようにしたり、
車両画像に隣接する部分について車両の各部との位置関
係が整合するようにしたり、画面のサイズに合わせて変
形したりしてもよい。ただし、パノラマ画像の変形は、
これによって生じる歪みがあまり目立たない程度にとど
めておく必要がある。

【００３９】図８，図９および図１０は各パノラマ画像
の配置の他の例である。図８では、切り出した各領域Ｉ
１〜Ｉ４を単に縦横に拡縮して配置している。図９で
は、連続性のない境界に意図的に空白部分ＳＰを設けて
いる。図９のように表示することによって、各パノラマ
画像の境界における画像の非連続性が一目で分かるよう
になる。

【００４０】また、各領域Ｉ１〜Ｉ４を四角形領域に変
形する代わりに、図１０に示すように、任意形状の領域
に変形してもよい。この場合は、元のパノラマ画像の画
素と変形後の画像の画素の座標の対応付けをいくつか決
めておき、それ以外の画素については、適当な補間によ
って決めるようにすればよい。例えば図１０の配置で
は、図５に示す領域Ｉ４の各頂点を点Ｄ１，Ｄ２，Ｄ
６，Ｄ５にそれぞれ対応させ、領域Ｉ３の各頂点を点Ｄ
３，Ｄ４，Ｄ８，Ｄ７にそれぞれ対応させている。

【００４１】なお、上記の説明では、パノラマ画像を円
筒モデルを用いて作成するものとしたが、円筒モデル以
外のモデル、例えば図１１に示すようなお椀モデルを用
いて作成してもよい。また、モデルに投影した画像を見
る方向を、変更してもかまわない。また本例では、２台
のペアカメラを用いて１８０度の視野を得るようにした
が、魚眼レンズが付いたカメラのような、１台で１８０
度の視野を得られるカメラを設置してもかまわない。

【００４２】なお、表示する画像の全ての種類に応じ
て、マッピングテーブルを設けておいてもよいし、基本
的な表示についてのみマッピングテーブルを予め設けて
おいて、適宜、マッピングテーブルを加工して画像合成
を行ってもかまわない。

【００４３】（第２の実施形態）図１２は本発明の第２
の実施形態に係る監視システムの構成を示すブロック図
である。図１２において、マッピングテーブル選択部４
１には、車両の運転状況を示す状態信号Ｓ１が入力され
る。マッピングテーブル選択部４１は、状態信号Ｓ１が
示す車両の運転状況に応じて、適切な表示モードに応じ
たマッピングテーブルＭＰＴをマッピングテーブル参照
部２２に選択させる。図１２の構成において、画像処理
部２は、例外モードのとき、各パノラマ画像のサイズ
を、状態信号Ｓ１が示す車両の走行状態に応じて適宜変
更することが可能になる。

【００４４】図１３は本実施形態に係る例外モードの画
面表示の一例である。同図中、（ａ）と（ｂ）では、各
パノラマ画像のサイズが異なっている。図１３（ａ）で
は車両の前後方向がより良く見えるので、例えば車両が
通常走行または高速走行しているときに表示し、一方、
図１３（ｂ）では車両周囲が満遍なく見えるので、例え
ば車両が低速走行しているときに表示する。このような
パノラマ画像のサイズの切替は、マッピングテーブルの
切替によって実現できる。

【００４５】また、合成画像を表示する通常モードと例
外モードとの切替を、状態信号Ｓ１が示す車両の走行状
態に応じて行ってもよい。例えば、車両が通常走行また
は高速走行しているときは、通常モードでその状況に応
じた仮想視点から見た合成画像を表示し、一方、車両が
低速走行しているときは、車両周囲の物体が明確に認識
できるように、例外モードで表示すればよい。

【００４６】もちろん、各パノラマ画像のサイズの切替
や、通常モードと例外モードとの切替は、車両の走行速
度以外の情報を利用して行ってもよい。他の情報として
は、ギア、ハンドル舵角、ウィンカー、ブレーキなどの
状態情報や、外部からのスイッチ入力などが考えられ
る。

【００４７】（第３の実施形態）図１４は本発明の第３
の実施形態に係る監視システムの構成を示すブロック図
である。図１４において、マッピングテーブル選択部４
１には、車両に設けられ、車両の周囲における物体の有
無を検出する物体検出センサ５０から出力された検知信
号が入力される。マッピングテーブル選択部４１は、検
知信号に応じて、適切な表示モードに応じたマッピング
テーブルＭＰＴをマッピングテーブル参照部２２に選択
させる。

【００４８】図１５は物体検出センサによる物体検知の
例を示す図である。図１５では、車両には図２に示すよ
うにカメラが設置されているものとする。そして、４個
の物体検出センサ５０ａ，５０ｂ，５０ｃ，５０ｄが車
両の四隅に配置されており、図４に示す重複範囲ＯＬａ
〜ＯＬｄにおける物体の有無がそれぞれ検出可能になっ
ている。

【００４９】図１５（ａ）のとき、車両の周囲には障害
物はなく、各物体検出センサ５０ａ，５０ｂ，５０ｃ，
５０ｄは何の物体も検出しない。この場合は、通常モー
ドにおいて、上方から見下ろした合成画像が表示され
る。車両が少し後退すると、図１５（ｂ）に示すよう
に、左後方の障害物（ポールＰＡ）を、車両の左後隅に
設置された物体検出センサ５０ｃが検知する。このと
き、マッピングテーブル選択部４１は検知信号を受け
て、表示モードが例外モードに切り替わるよう、マッピ
ングテーブルの変更を指示する。

【００５０】図１６は本実施形態に係る例外モードにお
ける画面表示の例である。図１６では、物体検出センサ
５０ｃの設置位置に対応する重複範囲ＯＬｃに係るカメ
ラ６，７の画像が、ブレンドされずに、個別に表示され
ている。すなわち、４個の重複範囲ＯＬａ〜ＯＬｄのう
ちの１個の重複範囲ＯＬｃについて、カメラ画像をブレ
ンドせずに個別に表示している。また（ａ）では、画面
中央に車両周囲近傍の見下ろし画像を配置しており、
（ｂ）では画面全体に見下ろし画像を配置し、その上に
カメラ６，７の画像を貼り付けている。

【００５１】このように本実施形態では、例外モードに
おいて、物体が検出された重複範囲についてはこれに係
るカメラ画像が個別に表示される一方、物体が検出され
なかった重複範囲については、カメラ画像をブレンドし
た合成画像をそのまま表示する。これにより、運転者
は、車両と周囲の状況との関係を的確に認識でき、か
つ、周囲に存在する物体の種類も確実に認識することが
できる。

【００５２】なお、本実施形態では、物体検出センサ５
０が物体を検出したとき、カメラ画像をブレンドせずに
個別に表示するものとしたが、その代わりに、合成画像
上に、物体があると想定される領域を、例えば色や輝度
を変えたりグラフィックスを重ねたりして、表示しても
よい。

【００５３】なお、物体検出センサの設置位置は、本実
施形態で示したものに限られるものではなく、カメラの
設置位置に応じて、適宜定めればよい。

【００５４】なお、上述した各実施形態において、表示
装置３は、典型的には液晶ディスプレイであるが、プラ
ズマディスプレイ等の他の表示デバイスを用いてもかま
わない。また、車両搭載型のＧＰＳ端末ディスプレイ、
いわゆるカーナビゲーションシステムのディスプレイと
共用してもかまわない。また、撮像部１に用いるカメラ
１１は、典型的にはＣＣＤ，ＣＭＯＳデバイス等の固体
撮像素子を有するカラーまたはモノクロのデジタルカメ
ラであるが、他の撮像デバイスを用いてもかまわない。

【００５５】なお、以上の説明では、本発明に係る監視
システムは、車両に適用するものとしたが、車両以外の
移動体、例えば飛行機や船舶などであっても、同様に適
用することができる。また、移動体以外の監視対象、例
えば店舗、住居、ショールームなどにカメラを設置して
もよい。

【００５６】また、複数のカメラの設置位置や台数は、
ここで示したものに限られるものではない。例えば、各
ペアカメラを、車両の四隅にそれぞれ配置してもかまわ
ない。この場合には、図５に示すような部分画像とし
て、車両の右斜め前方、左斜め前方、右斜め後方および
左斜め後方を示す画像が得られる。したがって、例外モ
ードの画面表示としては、各部分画像を、車両画像の周
囲の右斜め前、左斜め前、右斜め後および左斜め後にそ
れぞれ貼り付けるのが好ましい。

【００５７】また、本発明に係る画像処理部の機能は、
その全部または一部を、専用のハードウェアを用いて実
現してもかまわないし、ソフトウェアによって実現して
もかまわない。また、本発明に係る画像処理部の機能の
全部または一部をコンピュータに実行させるためのプロ
グラムを格納した記録媒体や伝送媒体を、利用すること
も可能である。例えば、コンピュータを用いた構成にお
いて、画像合成部などの各処理手段を、ＣＰＵによって
実行されるソフトウェアによって実現し、ＲＯＭまたは
ＲＡＭに格納しておいてもかまわない。

【００５８】

【発明の効果】以上のように本発明によると、例外モー
ドにおいて、撮影範囲が重複する複数個のカメラの当該
重複範囲の画像が、ブレンドされずに個別に表示される
ので、利用者は、この重複範囲に存在する物体の種類を
確実に把握することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る監視システムの
構成を示すブロック図である。

【図２】カメラ配置の一例を示す図である。

【図３】図２のように配置された各カメラの画像の例を
示す図である。

【図４】図２のように配置された各カメラの撮影範囲を
示す図である。

【図５】各ペアカメラのパノラマ画像を示す図である。

【図６】円筒モデルを用いたパノラマ画像の生成を示す
図である。

【図７】例外モードにおける各パノラマ画像の配置の例
である。

【図８】例外モードにおける各パノラマ画像の配置の例
である。

【図９】例外モードにおける各パノラマ画像の配置の例
である。

【図１０】例外モードにおける各パノラマ画像の配置の
例である。

【図１１】お椀モデルを用いたパノラマ画像の生成を示
す図である。

【図１２】本発明の第２の実施形態に係る監視システム
の構成を示すブロック図である。

【図１３】本発明の第２の実施形態に係る例外モードの
画面表示の一例である。

【図１４】本発明の第３の実施形態に係る監視システム
の構成を示すブロック図である。

【図１５】物体検出センサによる物体検知を示す図であ
る。

【図１６】本発明の第３の実施形態に係る例外モードの
画面表示の一例である。

【符号の説明】

２画像処理部３表示装置１１カメラ５０，５０ａ〜５０ｂ物体検出センサ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｂ６０Ｒ 21/00 ６２１Ｂ６０Ｒ 21/00 ６２１Ｎ６２１Ｐ６２２６２２Ｆ６２２Ｊ６２２Ｋ６２２Ｌ６２２Ｎ６２２Ｑ６２２Ｔ６２４６２４Ｃ６２４Ｅ 1/00 1/00 Ａ 1/08 1/08 ＢＣＨ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 ＪＶ (72)発明者石井浩史大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者登一生大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者森村淳大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5C054 AA01 AA05 CA04 CC03 CE11 CH01 EA01 EA05 FA00 FE11 HA26

Claims

【特許請求の範囲】

【請求項１】車両の周囲を撮影する複数のカメラと、前記各カメラの撮影画像を入力とし、これらのカメラ画
像から、仮想視点から見た合成画像を生成し、表示装置
に表示させる画像処理部とを備え、前記画像処理部は、撮影範囲が重複する複数個のカメラの，当該重複範囲の
少なくとも一部の画像を、ブレンドせずに個別に表示す
る例外モードを有していることを特徴とする監視システ
ム。
【請求項２】請求項１記載の監視システムにおいて、前記画像処理部は、合成画像を表示する通常モードと、例外モードとを、当
該車両の走行状態に応じて、切り替えることを特徴とす
る監視システム。
【請求項３】請求項１記載の監視システムにおいて、前記画像処理部は、例外モードにおいて、当該車両を表す車両画像を表示し、かつ、当該車両の周
囲の状況を示す複数の部分画像を、その位置関係を保つ
ように、表示することを特徴とする監視システム。
【請求項４】請求項３記載の監視システムにおいて、前記画像処理部は、前記複数の部分画像の少なくともいずれかのサイズを、
当該車両の走行状態に応じて、切り替えることを特徴と
する監視システム。
【請求項５】請求項３記載の監視システムにおいて、前記複数の部分画像は、当該車両の前方の画像、後方の
画像、右方の画像および左方の画像であることを特徴と
する監視システム。
【請求項６】請求項１記載の監視システムにおいて、前記車両は、当該重複範囲における物体の有無を検出す
る物体検出センサを備えており、前記画像処理部は、前記物体検出センサが物体を検出したとき、通常モード
から例外モードに切り替え、当該重複範囲のカメラ画像
をブレンドせずに個別に表示することを特徴とする監視
システム。