JP2002125224A - 監視システム - Google Patents

Abstract

(57)【要約】 【課題】 複雑な運転操作の補助のために、見ただけで
安心して車を運転できるような合成画像を運転者に提供
する。 【解決手段】 車両に設置されたカメラの撮像画像を用
いて、車両後方の左右１８０度の視野を持つ画像を反転
させて表示する。また、自車の後退時の走行軌跡４１を
重ねて表示する（ａ）。さらに、遠方エリア４３を拡大
し、サブウィンドウ４４に表示したり（ｂ）、車両から
の距離を示す補助線４５，４６，４７を重ねて表示した
り（ｃ）する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両に設置した複
数のカメラの撮像画像を用いて合成画像を生成する画像
処理技術に関するものであり、特に、車両運転の際の安
全確認の補助などに利用される監視システムに有効な技
術に属する。

【０００２】

【従来の技術】従来、車両の周囲をカメラを用いて監視
する装置として、カメラを車両のリアトランク部などに
後ろ向きに設置し、このカメラから得られた画像を運転
者に提示するシステムが知られている。これによって、
運転者は車両後方の様子をミラーを見ることなく知るこ
とができる。また最近では、ただ単にカメラ画像を提示
するだけでなく、カメラ画像にタイヤの移動軌跡を重ね
て提示するシステム（これを「従来方式１」と呼ぶ。）
も知られつつある。これによって、運転者は、車両後方
の様子を把握できるとともに、車両の進み先をも予測す
ることが可能になる。

【０００３】ただし、従来方式１では、車両後方の様子
は分かるものの、それ以外の部分に関しては目視とミラ
ーに頼らざるを得ない。これに対し、自車両とその周囲
全体との位置関係を客観的に分かりやすく運転者に知ら
せるためのシステムとして、文献１：特開平１１−７８
６９２号公報に記載の装置などがある。この文献１で
は、複数台（８台）の車両用映像提供のためのカメラを
車両の周囲に取り付け、各カメラによって撮影された画
像を変形した画像（以下では「部分画像」という）を合
成して、自車両の周囲を一度に見渡すことができる新た
な画像を得るという方式（これを「従来方式２」と呼
ぶ。）が開示されている。特に、複数のカメラの撮影画
像を変形して配置する際に、部分画像同士が互いに隣接
する境界部分における連続性を保つことによって、自車
両と周囲の物体とのおおよその位置関係が把握しやすい
画像を、運転者に提供することができる。

【０００４】

【発明が解決しようとする課題】ところで、様々な運転
状況において、上述した従来方式によって合成した画像
を運転者に提示した場合に、以下のような問題が生じ
る。

【０００５】１．従来方式１の問題と解決すべき課題 従来方式１では、カメラ画像が車両後端部よりも後方部
分のうちの限られた角度の領域しか写さないため、自車
後端部よりも前の部分、例えば自車両の左右のボディと
周囲の物体との接触度合はドアミラーでしか判断できな
い。このため、その部分の接触度合と後方の様子の両方
を把握するためには、表示画像とドアミラーの併用を運
転者に強いることになり、運転者の負担が大きかった。

【０００６】また、従来方式１は車両後方の限られた視
野の様子を表示するものである。したがって、広範囲の
状況を知る必要がある運転シーンにおいて利用するのに
は適当ではない。例えば、図４のように後退しながら大
きくハンドルを切って車両を道路に誘導させる場合、道
路の左右からの接近車両を確認するためには、実質的に
１８０度の後方視野を含む画像を運転者に提示すること
が必要となるが、従来方式１で提示される画像は視野が
狭いため、このような用途には全く使えない。

【０００７】したがって、解決すべき第１の課題は、図
４のようなケースにおいて、見ただけで安心して車を運
転できるような合成画像を運転者に提供することであ
る。

【０００８】２．従来方式２の問題と解決すべき課題 ・第１の問題：表示範囲 従来方式２では、自車の直近周囲の位置関係を分かりや
すく提示するために、周囲の様子をあたかも自車上方か
ら見下ろしたような画像を提示することだけを開示して
いる。ところが、自車の近傍とそれ以外の部分との両方
が同時に把握できるような画像の提示方法に関しては、
何ら開示されていない。したがって、次の例（ａ），
（ｂ）のような運転状況においては、従来方式２による
合成画像を提示しただけでは、運転の支援には十分であ
るとは言えない。

【０００９】（ａ）路肩などへの幅寄せ 路肩などへの幅寄せを行う場合、運転者に見せる画像に
対して次の２つの点が要求される。すなわち、路肩への
寄せ具合がどのくらいかという点と、そのまま前進また
は後退したときに、その進行方向の先に、例えば電柱や
発券機などの障害物がないかどうか、対向車が来ていな
いかどうか、またそれらの存在が確認されたときに、接
触せずにかわせるかどうかという点である。

【００１０】ところが、見下ろし画像では見えている範
囲が限られているので、路肩への寄せ具合を詳しく見よ
うと思えば直近の周囲だけを写した画像が必要になる
し、一方、進行方向の先を見るためには少なくとも数メ
ートルから十数メートル先の前方まで見える画像が必要
になる。いずれにしても、一個の画像で、両方の要求を
満たすことはできない。

【００１１】したがって、解決すべき第２の課題は、路
肩などへの幅寄せのようなケースにおいて、自車の路肩
への寄せ具合だけでなく、前進または後退したときの進
行方向の先の様子も同時に分かるような合成画像を、運
転者に提供することである。

【００１２】（ｂ）切り返しを含む駐車 駐車を行うにあたって該見下ろし画像を提示する場合、
駐車操作の最初の段階で緩やかに後退する際には、後方
の様子の確認が必要となる。ところが見下ろし画像では
見えている範囲が限られているので、上記後退時の後方
確認のためにはミラーを使わざるをえなくなり、ドライ
バーの負担が増える。また駐車において切り返し操作
（前後の細かな移動によって車を目的の場所に誘導させ
る操作）を頻繁に行う場合では、後方確認のみならず前
方確認も必要となる。

【００１３】したがって、解決すべき第３の課題は、切
り返しを伴うような駐車において、周囲の状況だけでな
く、前進もしくは後退した時の進行方向の先の様子も同
時に分かるような合成画像を運転者に提供することであ
る。

【００１４】・第２の問題：物体の消失 物体の消失とは、境界部分で、少なくとも路面の部分が
連続になるように画像を変形するために、その変形に順
じて変形される立体物が、部分画像のレイアウトのため
に削除されるという問題である。

【００１５】図１７（ａ）は車両の右後隅に立っている
ポールＰ１を示している。このポールＰ１は図２に示す
カメラ２とカメラ３の両方から撮影されているとする
と、カメラ２の撮影画像におけるポールＰ１Ａは画像変
形によってポールＰ１の接地点を基準に下に伸びるよう
に歪む。一方、カメラ３の撮影画像におけるポールＰ１
Ｂは画像変形によってポールＰ１の接地点を基準に右に
伸びるように歪む。ところで、それぞれのポールＰ１
Ａ，Ｐ１Ｂはいずれも部分画像として用いない領域に伸
びているため、伸びた部分が削除され、結果的にポール
Ｐ１が地面と接する部分しか合成画像上には残らない
（図１７（ｂ））。したがって、合成画像では、実際に
存在するポールが認識困難になる。これが物体の消失の
問題を引き起こす原因である。

【００１６】したがって、解決すべき第４の課題は、上
述の問題を回避し、自車と周囲の物体とのおおよその位
置関係、および周囲の物体との距離が、同時に把握でき
るような合成画像を運転者に提供することである。

【００１７】・第３の問題：境界の不連続性 従来方式２では、隣り合う部分画像同士の境界での連続
性を保持するようにそれぞれのカメラ画像の変形を行う
が、境界のすべての部分で連続性を保つことは原理的に
困難である。したがって本方式では、少なくとも路面部
分のものが違和感無く把握できるように路面部分での連
続性を保つように変形することを開示している。しかし
ながら、これにより路面以外の物体は引き伸ばされるよ
うに大きくゆがむことになり、これが部分画像の境界部
分に位置する路面以外の物体が該境界で不連続になる、
という問題を引き起こす。たとえば、図１８では、カメ
ラ２とカメラ３の画像をそれぞれ変形して得た部分画像
同士の境界に位置する駐車中の車が、該境界を境に不連
続になってしまい、結果的に不明瞭な画像になってしま
っている例を示している。したがってこのような不明瞭
な画像では周囲の物体との距離がつかめないため、ドラ
イバーは結局、ミラーなどを見てそれを確認する作業を
強いられることになり、負担が大きくなる。

【００１８】したがって、解決すべき第５の課題は、前
記問題を回避し、少なくともカメラ画像において安全運
転に必要な情報を必ず含むような合成画像をドライバー
に提供することである。

【００１９】また、上記の部分画像同士の境界における
不連続性の問題を鑑みると、様々な運転シーンにおい
て、合成画像のどこに境界を持ってくるか、が合成画像
の有用性に大きく関係してくる。一般的に、複雑な運転
操作の多く、例えば駐車（縦列、並列）や幅寄せなどに
おいては、運転者が詳細状況を知りたい場所は、車両の
前後よりもむしろ左右の側方１８０度の領域に集中する
ことが、発明者らが行った被験者１０人程度を対象に行
った実験によって分かっている。

【００２０】したがって、車両の左右の側方がより連続
的になるような合成画像を提示することが第６の課題で
あると考えられるが、従来方式２ではかかる課題に対す
る解決策について何ら開示されていない。

【００２１】

【課題を解決するための手段】前記の第１の課題を解決
するために、請求項１の発明が講じた解決手段は、監視
システムとして、車両に設置され、車両後方の撮影範囲
として実質的に左右１８０度の視野を含む少なくとも１
台のカメラと、前記カメラの撮影画像を入力とし、入力
したカメラ画像から、仮想視点から見た画像を生成し、
表示装置に表示させる画像処理部とを備え、前記画像処
理部は、車両後方の実質的に左右１８０度の視野を含む
画像を反転して表示するモードを有するものである。

【００２２】請求項１の発明によると、車両後方の左右
１８０度視野を見渡した画像が反転して表示される。こ
のため、利用者は、この視野範囲に存在する物体を、表
示された画像によって確実に捉えることができる。

【００２３】また、前記の第２の課題を解決するため
に、請求項２の発明が講じた解決手段は、監視システム
として、車両の周囲を撮影する少なくとも１つのカメラ
と、前記カメラの撮影画像を入力とし、このカメラ画像
から合成画像を生成し、表示装置に表示させる画像処理
部とを備え、前記画像処理部は、当該車両の少なくとも
１つのタイヤの接地部分を含む車両直近部分の拡縮率
が、車両周辺部分の拡縮率よりも相対的に高くなるよう
に合成された合成画像を表示するモードを有するもので
ある。

【００２４】請求項２の発明によると、当該車両の少な
くとも１つのタイヤの接地部分を含む車両直近部分が、
車両周辺部分よりも、拡縮率が相対的に高い合成画像が
表示される。このため、利用者は、車両の直近直下の詳
細な状況と進行方向の先の様子とを、同じ画像から同時
に確認することが可能になる。

【００２５】請求項３の発明では、前記請求項２の監視
システムにおける合成画像は、前記車両直近部分から前
記車両周辺部分にむけて離れるにつれて、拡縮率が低く
なっているものとする。

【００２６】請求項４の発明では、前記請求項２の監視
システムにおける画像処理部は、前記合成画像を、当該
車両の側面に沿った部分が直線性を有するように生成す
るものとする。

【００２７】請求項５の発明では、前記請求項２の監視
システムにおいて、前記カメラの少なくとも１つは、少
なくともボディの側面の一部および前のタイヤの一部を
撮影範囲に含むように設置され、前記画像処理部は、前
記少なくとも１つのカメラの撮影画像を用い、前記ボデ
ィの側面および前タイヤを含むように前記合成画像を生
成するものとする。

【００２８】また、請求項６の発明は、監視システムと
して、車両の周囲を撮影する少なくとも１つのカメラ
と、前記カメラの撮影画像を入力とし、このカメラ画像
から合成画像を生成し、表示装置に表示させる画像処理
部とを備え、前記カメラの少なくとも１つは、少なくと
も当該車両のタイヤの一部を撮影範囲に含むように設置
され、前記画像処理部は、前記少なくとも１つのカメラ
の撮影画像を用い、前記タイヤを含むように前記合成画
像を生成するものである。

【００２９】また、前記の第３の課題を解決するため
に、請求項７の発明が講じた解決手段は、監視システム
として、車両の周囲を撮影する少なくとも１つのカメラ
と、前記カメラの撮影画像を入力とし、このカメラ画像
から、仮想視点から見た画像を生成し、表示装置に表示
させる画像処理部とを備え、前記画像処理部は、車両の
移動方向または移動しうる方向の画像を前記仮想視点画
像との位置関係を保持しながら前記仮想視点画像と並べ
て表示するモードを有するものである。

【００３０】請求項７の発明によると、車両の移動方向
または移動しうる方向の画像が、仮想視点画像との位置
関係を保持しながら並べて表示される。このため、利用
者は、車両周囲の状況だけでなく、前進または後退した
ときの進行方向の先の様子までもが、同じ画像で同時に
確認することが可能になる。

【００３１】また、前記の第４の課題を解決するため
に、請求項８の発明が講じた解決手段は、監視システム
として、車両の周囲を撮影する複数のカメラと、前記各
カメラの撮影画像を入力とし、これらのカメラ画像か
ら、仮想視点から見た画像を生成し、表示装置に表示さ
せる画像処理部とを備え、前記複数のカメラは撮影範囲
が重複する第１および第２のカメラを含み、前記画像処
理部は、前記第１のカメラを用いかつ前記第２のカメラ
を用いないで作成した第１の仮想視点画像と、前記第２
のカメラを用いかつ前記第１のカメラを用いないで作成
した第２の仮想視点画像とを生成可能に構成されている
ものである。

【００３２】請求項８の発明によると、撮影範囲が重複
する第１および第２のカメラについて、一方のカメラを
用い、かつ、他方のカメラを用いないで作成した複数の
仮想視点画像が、生成可能となる。すなわち、各仮想視
点画像において、作成に用いた一方のカメラの撮影範囲
における，他方のカメラとの重複部分と非重複部分とが
ともに含まれているので、重複部分に存在する物体が仮
想視点画像上で消失することはない。このため、仮想視
点画像の連続性を保つために施すカメラ画像の加工に起
因して生じる、撮影範囲の重複部分における物体消失の
問題を、回避することができる。したがって、安全運転
に必要な情報を必ず含んだ画像を、運転者に提供するこ
とが可能になる。

【００３３】請求項９の発明では、前記請求項８の監視
システムにおける画像処理部は、前記第１および第２の
仮想視点画像を同一画面に並べて表示するモードを有す
るものとする。

【００３４】請求項１０の発明では、前記請求項８の監
視システムにおける第１の仮想視点画像は、車両の側方
に設置されたカメラによって撮影された画像のみを用い
た仮想視点画像であり、第２の仮想視点画像は車両の前
後に設置されたカメラによって撮影された画像のみを用
いた仮想視点画像であるものとする。

【００３５】また、前記の第５の課題を解決するため
に、請求項１１の発明が講じた解決手段は、監視システ
ムとして、車両の周囲を撮影する複数のカメラと、前記
各カメラの撮影画像を入力とし、これらのカメラ画像を
用いて仮想視点から見た画像を生成し、表示装置に表示
させる画像処理部とを備え、前記複数のカメラは、少な
くとも、当該車両の左後方部を撮影する第１のカメラ
と、車両の右後方部を撮影する第２のカメラとを含み、
前記画像処理部は、仮想視点画像と併せて、前記第１の
カメラまたは第２のカメラの撮像画像が左右反転した画
像の少なくとも一部を表示するモードを有するものであ
る。

【００３６】請求項１１の発明によると、仮想視点画像
と併せて、左右のドアミラーから見たようなカメラ画像
が表示される。このため、利用者は、仮想視点画像によ
って自車と周囲の物体とのおおよその位置関係を、ドア
ミラー画像によって、運転席後方の車両側方の物体と自
車との距離を、いずれも一つの画面から視線移動なく確
認できる。

【００３７】また、前記の第６の課題を解決するため
に、請求項１２の発明が講じた解決手段は、監視システ
ムとして、車両の周囲を撮影する複数のカメラと、前記
各カメラの撮影画像を入力とし、これらのカメラ画像か
ら、仮想視点から見た画像を生成し、表示装置に表示さ
せる画像処理部とを備え、前記画像処理部は、仮想視点
画像の生成において、車両の側部に設置したカメラによ
って撮影された画像を優先して用いるモードを有するも
のである。

【００３８】請求項１２の発明によると、あるモードで
は、車両の側部に設置したカメラによって撮影された画
像が、仮想視点画像の生成に優先して用いられる。この
ため、複雑な運転操作の多くで運転者が詳細状況を知り
たいと所望する場所である車両の側方領域において、不
連続な部分が無い見やすい画像を運転者に提供すること
が可能となる。

【００３９】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。まずそれぞれの実施
形態を実現するために必要な、本発明に係る監視システ
ムの全体構成について説明し、つづいて本発明に係る各
種表示画面態様例について詳細を説明する。

【００４０】図１は本発明に係る監視システムの構成を
示すブロック図である。図１に示す監視システムにおい
て、画像処理部２０は、カメラ１１から出力された複数
のカメラ画像を入力とし、これらを変形・合成して新た
な画像を生成する。この合成画像は表示装置３０によっ
て表示される。画像処理部２０によって、本発明に係る
画像処理装置が構成される。

【００４１】なお、本願明細書では、「合成画像」と
は、複数のカメラ画像から生成された画像だけでなく、
１つのカメラ画像を変形・合成することによって生成し
た画像をも含むものとする。

【００４２】本発明の表示装置３０は、典型的には液晶
ディスプレイであるが、プラズマディスプレイ等の他の
表示デバイスを用いることもできる。また、本発明のデ
ィスプレイは、車両搭載型のＧＰＳ端末ディスプレイ
（いわゆるカーナビゲーションシステムのディスプレ
イ）と共用したものであってもよいし、これとは別に用
意されたものであってもよい。

【００４３】撮像部１０は、典型的にはＣＣＤ，ＣＭＯ
Ｓデバイス等の固体撮像素子をもつ、カラーまたはモノ
クロのデジタルカメラである。また、撮影手段は、たと
えばレンズと、プリズムまたはミラーとの組み合わせに
より構成され、レンズ、プリズムまたはミラーへの入射
光が、所定光路を通って撮影手段から離れた位置にある
撮像素子に伝達されるように構成されていてもよい。

【００４４】図２はカメラの配置の例、図３は図２に示
す各カメラの撮像画像の例である。図２において、ＷＬ
１〜ＷＬ５は白線、Ｐ１〜Ｐ４はポールである。図２の
例では２台のペアカメラをフロントグリル、左右ドアミ
ラー、リアトランクの合計４箇所８台使用した場合を示
している。図２に示したカメラ配置は、車の前後左右の
４面のそれぞれの１８０度視野の画像を得るためで、現
状のカメラでは一つで１８０度の視野を確保することが
できないため、便宜的に２台のカメラをペアにして実質
的に１８０度の視野を得るようにしたものである。

【００４５】画像処理部２０は、図３に示すような８枚
のカメラ画像（ペアカメラを１台にした場合は４枚のカ
メラ画像）を変形・合成し、例えば車両上方から鉛直下
方に見下ろしたような合成画像を生成する。合成画像の
生成のためには、画像変形処理や変形された画像の必要
な部分を切り取った部分画像の合成処理（境界部分のス
ムージングなどの処理（以下、境界処理）を含む）が必
要になるが、図１の構成では、マッピングテーブル参照
部２１を備え、撮像画像の加工を一つの工程で行うため
に、マッピングテーブルＭＰＴを利用する。

【００４６】画像処理部２０はカメラ１〜Ｎからの撮影
画像を入力し、これら撮影画像を加工する。ここでの加
工は、画像変形切り出し処理、切り出された部分画
像の合成処理（境界処理を含む）である。これらのと
の処理は、それぞれ別々になされてもよいし、全部ま
たは一部が１つの工程によりなされてもよい。図１で
は、撮影画像の加工を一つの工程で行うために、マッピ
ングテーブルを備えた構成をなしている。

【００４７】「マッピングテーブル」とは、合成画像の
画素と、各カメラ画像の画素データとの対応関係が記述
されたテーブルのことをいい、合成画像の生成処理を高
速に行うために用いられる。このようなマッピングテー
ブルを、幾何変換などを用いた計算や手作業などによっ
てあらかじめ作成しておくことによって、所望の合成画
像を高速に生成することができる。そして、マッピング
テーブルを替えることによって、画面表示モードを切り
替えることができる。

【００４８】マッピングテーブルは具体的には、例えば
ＲＯＭ（ＥＥＰＲＯＭなどの書きこみ・消去可能なＲＯ
Ｍを含む）、またはＲＡＭに格納されている。マッピン
グテーブルの格納は、例えば、画像処理部内のプロセッ
サが計算で求めたマッピングデータをＲＯＭまたはＲＡ
Ｍに書きこむことによって実現してもよいし、ファーム
ウェアとして提供されるマッピングテーブルデータを、
通信回線やディスクドライブなどのデータ転送手段を用
いて、ＲＡＭまたはＲＯＭに書きこむようにしてもよ
い。

【００４９】次に、本発明に係る各種表示画面態様例に
ついて詳細を説明する。

【００５０】（第１の実施形態）第１の実施形態は上述
の第１の課題を解決するためになされた発明の一態様で
あり、例えば図４のように、後退しながら大きくハンド
ルを切って車両を道路に誘導させる場合、道路の左右か
らの接近車両を確認するために用いられる。

【００５１】次に表示画面態様の例について説明する。

【００５２】図５（ａ）は確認に用いるための本実施形
態に係る画面態様の一例であり、具体的には図２に示す
カメラ３およびカメラ７で撮影された画像を用いて、車
両後方の左右１８０度の視野を持つ画像を反転させて表
示し、これに自車の後退時の走行軌跡４１を重ねて表示
した例である（合成の元になる撮影画像は図示しな
い）。図５（ａ）から分かるように、車両の後端が車両
に垂直に通っている道路に対してぎりぎりに直面してい
る状況において、その道路の一方の端から他方の端まで
すなわち左右１８０度を見ることができる。したがっ
て、運転者はこの画像を見ることによって、例えば実際
に左側から接近している他の車両４２の様子を、運転席
に居ながらにして把握できる。

【００５３】図５（ｂ）は本実施形態に係る画面態様の
他の一例である。この態様は、カメラや画面の解像度が
低いなどの理由によって、遠方から近づきつつある車ま
での距離が分かりにくい場合に用いるとよい。具体的に
は、遠方のエリア（破線矩形領域４３）を拡大し、画面
中の別な場所にサブウインドウ（実線矩形領域４４）と
して表示する。これにより、全体画像では遠方と近傍と
を一度に把握することができ、かつ、遠方の様子はサブ
ウインドウによって確認することが可能になる。サブウ
インドウは全体画像の上に貼り付けるので、運転に重要
な情報がこれによって隠されることをできるだけ防ぐた
めに、貼り付け場所を予め決めておくとよい。

【００５４】図５（ｃ）も本実施形態に係る画面態様の
他の一例である。この態様は、遠方から近づいている車
までの距離が分かりにくい場合に、距離を示す補助線を
画像に重複して表示するものである。これにより、接近
車のおおよその距離を知ることができる。図５（ｃ）で
は実線４５、細かい破線４６および粗い破線４７によっ
て、それぞれ、自車から左右に約２ｍ、約５ｍおよび約
１０ｍの位置が示されている。

【００５５】次に、このような１８０度の視野を持つ画
像を作成する方法を簡単に説明する。

【００５６】図６はペアカメラの画像を円筒モデルにそ
れぞれ投影し、その投影画像をそのまま長方形の画像面
に端から並べて行くようにして、視野１８０度のパノラ
マ画像を得る方法を示している。この方法では、縦の幅
がカメラの視野範囲における角度に対応するため、カメ
ラのどの方向の向きも同じ倍率の画像が得られる。

【００５７】また、図７は円筒以外のモデルとしてお碗
形状のモデルを用いて視野１８０度の画像を得る方法を
示している。カメラ画像をモデルに投影する点は図６と
同様であるが、その投影画像を見る仮想視点を設け、透
視投影変換によって画像を作成している点が異なる。こ
のモデルでは、お碗の形状を変形したり仮想視点の位置
を移動させることによって、自車の真後ろ方向を拡大し
周辺方向を縮小した画像を作成したり、逆に自車の真後
ろ方向を縮小し周辺方向を拡大した画像を作成すること
も可能である。

【００５８】なお、本実施例では、後方１８０度の視野
を表示する例を示したが、実質的に視野を１８０度程度
持つことで実用上問題がなければ、必ずしも１８０度を
含むようにカメラを設置する必要はなく、それより若干
小さめの視野角でも問題ない。また当然のことながら、
空が映っている部分など、後方安全確認に不要な部分に
関しては切りとって表示してもかまわない。

【００５９】（第２の実施形態）第２の実施形態は上述
の第２の課題を解決するためになされた発明の一態様で
あり、例えば路肩などへの幅寄せのようなケースで、自
車の路肩への寄せ具合だけでなく、前進または後退した
ときの進行方向の先の様子も同時に分かるような合成画
像を運転者に提供するものである。

【００６０】次に表示画面態様の例について説明する。

【００６１】図８（ａ），（ｂ）は図２に示すカメラ
１，２，５，６の４個のカメラを用いて作成した本実施
形態に係る画面態様を示したものである（合成の元にな
る撮影画像は図示しない）。自車両の右側の画像はカメ
ラ１とカメラ２を、また左側の画像はカメラ５とカメラ
６の画像を用いてそれぞれ作られたものである。それぞ
れの合成画像は、タイヤの接地部分を含む車両直近部分
の拡縮率が、車両周辺部分の拡縮率よりも相対的に高く
なるように、合成されている。さらに、車両直近部分か
ら車両周辺部分にむけて離れるにつれて、拡縮率が低く
なっている。

【００６２】このような画像の合成方法の例を簡単に説
明する。このような画像の合成を簡単に作成する一つの
有効な方法は、第１の実施形態における画像合成と同様
に、モデルを使って合成する方法である。例えば図７に
示したお椀のモデルを用いると、図８（ａ）の左側の画
像は次のようにして合成できる。 １． お椀のモデルの底が車のカメラ５とカメラ６との
間の位置の路面上に接するように、お椀モデルを作成す
る。このとき、お椀モデルの大きさは、車がお椀の内面
に完全に囲まれる程度の大きさにしておく。 ２． カメラ５とカメラ６で撮影された画像を、それぞ
れお椀の内面に投影する。 ３． 仮想視点を、カメラ５とカメラ６の間の位置で上
方（例えば４ｍ）に下向きに設置し、２．の処理でお椀
に投影されたカメラ５、カメラ６の画像を、前記仮想視
点から眺める。

【００６３】これら３つのステップの処理によって、図
８（ａ）の左側に示したような、タイヤの接地部分を含
む車両直近部分の拡縮率が、車両周辺部分の拡縮率より
も相対的に高くなるように合成された画像を得ることが
できる。

【００６４】ここで、なぜお椀モデルを用いると周辺部
分がより縮小されるかというと、カメラ画像を投影する
モデル面（本例ではお椀の内面）が仮想視点の向き（本
例では真下方向）に平行に近づいていくにつれて、モデ
ル面に投影された画像が縮小される、という幾何学的な
性質に基づいているからである。

【００６５】上記方式の大きなメリットは、お椀のモデ
ルを変形したりすることで、車両直近部分の拡縮率に対
する車両周辺部分の拡縮率を自由に決められる点があげ
られる。例えば、お椀のモデルが円形である場合、お椀
の底に相当する部分を中心にして、方向に関係なく、そ
こから離れるに従って縮小された画像が得られる。ま
た、お椀のモデルを底の場所は同じままにしておき形だ
け楕円形にする。この楕円形の長軸方向が車の側面に一
致するようにすると、お椀の底に相当する部分を中心に
して、車の進行方向の部分の縮小の度合いは、車の横方
向の縮小の度合いよりは小さくすることができる。もち
ろん逆も可能である。

【００６６】なお、ここでは、タイヤの接地部分を含む
車両直近部分の拡縮率が、車両周辺部分の拡縮率よりも
相対的に高くなるように合成された画像を、お椀モデル
を用いて合成する方法について説明したが、もちろんお
椀モデル以外の方法を用いた合成が可能であることはい
うまでもない。

【００６７】また、カメラがボディに取り付けられてあ
り、そのカメラのほぼ上方下向きに仮想視点を設け、上
記お椀モデルを用いて画像を合成している。つまり、カ
メラの取り付け場所を中心に上述したような縮小変形を
行っても、ボディの側面の直線性、およびそこから先の
進行方向の直線性は保持される。図８（ｂ）の画像は、
カメラ１，２のほぼ上方下向きに仮想視点を設けてお椀
モデルを用いて合成した画像と、カメラ５，６のほぼ上
方下向きに仮想視点を設けてお椀モデルを用いて合成し
た画像とを用いて、作成される。

【００６８】次に、図８（ａ）を用いた，路肩にある溝
までの幅寄せの様子を具体的に説明する。図８（ａ）で
は、車両の助手席サイドから路肩にある溝までの余裕が
どの程度あるかが分かるように、車両の直近の部分を拡
大して、この直近部分について少なくとも５ｃｍ程度が
見分けられるような解像度を保っている。しかも、自車
が路側にどの程度近づいているかを見ただけで判断でき
るように、自車のタイヤも写るように表示している（実
線の丸のエリア５１）。実験により、このような画像を
提示することによって、これまで路側帯への幅寄せにつ
いて１０ｃｍを切ることが困難であった運転者が、容易
に５ｃｍ以内まで寄せられるようになったことが分かっ
ている。すなわち、この表示態様が、幅寄せ運転に大き
な効果を持つことが確認されている。

【００６９】一方、本表示態様により、自車とその右サ
イドを通過しようとする対向車との隙間の余裕がどの程
度あるかも確認できる（破線の丸のエリア５２）。図８
（ｂ）は図８（ａ）と同一の表示態様であり、このよう
な確認を行う状況例を示している。本表示態様では、前
方が直線性を保って縮小されているため、前後のタイヤ
に接するように引いた線（TYRE１とTYRE３を通る線５３
およびTYRE２とTYRE４を通る線５４）が自車の進行線と
なる。このため右前から対向車が近づいてくる場合、そ
の対向車が右側の進行線より右にいるか、それとも進行
線をまたいでいるかを見ることによって、対向車と接触
するかどうかが容易に判断できるのである。もちろん前
方になればなるほど画面が縮小されているので、対向車
がまだ離れた場所から近づきつつある状況でも、前もっ
て画面上で上記判断ができるため運転者は余裕をもって
自車を操作できる。図８（ｂ）の例では、右側の進行線
よりも明らかに右にある対向車が、自車の右サイドを接
触せず無事に通過して行く様子がわかるなお、前方の様
子は少なくとも約５ｍ先が見えていると運転操作がしや
すい、ということが実験によって確認されている。

【００７０】ただし、実際に対向車とすれ違う場合は、
これだけでは不充分な場合もある。すなわちドアミラー
など、ボディよりさらに外側に突起した物体がある場合
は、画面確認と同時にやはり運転者による目視による確
認も必要となる。

【００７１】なお、図８では４個のタイヤ全てを表示す
るものとしたが、一部のタイヤ、例えば前のタイヤのみ
を合成画像に表示させてもかまわない。

【００７２】以上、これまでは、第２の実施形態におけ
る画面態様を４台のカメラを用いた場合を例にとって説
明した。もちろん本発明は、これに限定されるものでな
く、１台のカメラのみを用いても実施することができ
る。例えば、コスト等の制約から、助手席側の車両側面
に前向きのカメラ１台のみしか設置できない場合であっ
ても、本発明によって、路肩への幅寄せに有効な画像を
利用者に提供することが可能である。

【００７３】図１９は１台のカメラのみを用いた本実施
形態に係る画面態様を複数のカメラを用いた場合と対比
して示す図である。同図中、（ａ）は車の左右に設置さ
れた４台のカメラＲＦ，ＲＲ，ＬＦ，ＬＲのカメラ画像
の例、（ｂ）は（ａ）に示す４つのカメラ画像から図８
と同様に作成した合成画像である。これに対して、
（ｃ）は（ａ）におけるカメラＬＦのカメラ画像のみか
ら合成した画像である。なお、図１９（ｂ），（ｃ）に
おける自車のイラストは、合成画像に対する自車位置の
目安を示すために貼り付けたものであり、画像に含まれ
る自車部分とは必ずしも一致しない。

【００７４】図１９（ｃ）の例では、画像合成に用いら
れるカメラは１台だけなので、画像に映る視野範囲は
（ｂ）の例よりも限定されている。ところが、車両の直
近部分を拡大することによって、少なくとも５ｃｍ程度
の物が見分けられるような解像度を保ち、車両の助手席
サイドから路肩の溝までどの程度余裕があるか分かるよ
うになっている。しかも、画像をみただけで、自車が路
側にどの程度接近しているのかが容易に認識できるよ
う、自車のタイヤも映るように表示されている（実線の
丸のエリア）。

【００７５】したがって、（ｃ）のような画像が表示さ
れると、狭路で助手席側の路肩に溝があるような走行環
境において、前方からの対向車をよける場合でも、路肩
の溝にタイヤが落ちないかどうかを確認しつつ、前進し
ながら幅寄せすることが可能となる。もちろん、この場
合は、対向車との間隔はドライバー自身が確認する必要
はあるものの、幅寄せに対する運転の負担は大幅に軽減
する。

【００７６】さらに、魚眼レンズを用いることによっ
て、１台のカメラであっても十分に広い視野範囲を得る
ことができる。例えば、車両の助手席側の側方に視野角
が１８０°前後の魚眼レンズが付いたカメラを設置し、
このカメラ画像を用いて本発明を実現してもよい。これ
により、運転席と反対側側方の画像を広い範囲で表示す
ることができるので、より安全に運転することが可能に
なる。

【００７７】（第３の実施形態）第３の実施形態は上述
の第３の課題を解決するためになされた発明の一態様で
あり、例えば切り返しを伴うような駐車において、周囲
の状況だけでなく、前進もしくは後退した時の進行方向
の先の様子も同時に分かるような合成画像をドライバー
に提供するものである。

【００７８】次に表示画面態様の例について、車両の停
止時、前進時、および後退時の３つの状況に応じて図９
および図１０を用いて具体的に説明する（合成の元にな
る撮影画像は図示しない）。

【００７９】１．車両の停止時の表示態様例：図９
（ａ）は上方から見下ろした仮想視点画像に対して、自
車の前方および後方に相当する部分に、それぞれの方向
の遠方を把握するために必要な画像を貼り付けた例であ
る。自車の周辺だけでなく、自車が動く方向の先の様子
までが一目でわかるため、信号停止時などで発進前およ
び直後の周囲状況確認に用いたり、また、縦列駐車、並
列駐車にも適用可能である。

【００８０】２．車両が低速前進中の表示態様例：図９
（ｂ），（ｃ）は、いずれも上方から見下ろした仮想視
点画像に対して、自車の前方に相当する部分に、前方の
遠方を把握するために必要な画像を貼り付けた例を示
す。自車の周辺だけでなく、進行方向の先の様子までが
一目でわかる。

【００８１】図９（ｂ），（ｃ）の違いは、前方の遠方
把握用の画像の違いである。まず、図９（ｂ）は、見下
ろし画像と前方画像との境界が路面部分で繋がるように
した場合である。路面部分で繋がるため、前方障害物が
自車の前方のどの位置にあるかが分かりやすい。低速走
行時として、発進時だけでなく、狭路走行や料金所など
での幅寄せにも有効である。一方、図９（ｃ）は、見下
ろし画像で死角となる部分を補うために、前方画像の視
野を１８０度にした場合である。画像同士の境界が繋が
らない問題はあるものの、前方に関しての幅広い視野の
情報を一度に見ることができるメリットがある。特に発
進前の前方１８０度周囲の確認に適している。

【００８２】なお、仮想視点画像については、前進の速
度が増すにつれ、自車の前の領域が広くなるように、逆
に前進の速度が下がるにつれ、自車の位置が画面の真ん
中に来るように連続的に切り換えても構わない。またさ
らに、一定速度を超えると、画面態様を後ろのパノラマ
画像だけにするようにしてもよい。

【００８３】３．車両が後退中の表示態様例：図１０
（ａ），（ｂ）は、いずれも上方から見下ろした仮想視
点画像に対して、自車の後方に相当する部分に、後方の
遠方を把握するために必要な画像を貼り付けた例を示
す。自車の周辺だけでなく、後退方向の先の様子までが
一目でわかる。

【００８４】図１０（ａ），（ｂ）の違いは、後方の遠
方把握用の画像の違いである。まず図１０（ａ）は見下
ろし画像と前方画像との境界が路面部分で繋がるように
した場合である。路面部分で繋がるため、前方障害物が
自車の前方のどの位置にあるかが分かりやすい。前記境
界部分における路面の連続性を有することから、縦列駐
車、並列駐車の開始時に表示する画像に適している。一
方、図１０（ｂ）は見下ろし画像で死角となる部分を補
うために、後方画像の視野を１８０度にした場合であ
る。画像同士の境界が繋がらない問題はあるものの、死
角の多い車両後方に関して、死角がなくなるメリットが
ある。特に後退前の後方１８０度周囲の確認に適してい
る。

【００８５】なお、仮想視点画像については、後退の速
度が増すにつれ、自車の後ろの領域が広くなるように、
逆に後退の速度が下がるにつれ、自車の位置が画面の真
ん中に来るように連続的に切り換えても構わない。

【００８６】また、図９（ａ）に示すような表示態様
は、車両が全く動いてない場合のみに表示するだけでは
なく、切り返しなど前進と後退が頻繁に繰り返されると
きに表示してもよい。例えば切り返しの際に、図９
（ｂ）と図１０（ａ）とを切り換えて表示すると、見て
いて煩わしい場合もある。このような場合は、速度の絶
対値が所定値以下の期間は、図９（ａ）に示すような画
像を常に表示させておいても良い。

【００８７】以上、これまでは、第３の実施形態におけ
る画面態様を８台のカメラを用いた場合を例にとって説
明した。もちろん本発明は、これに限定されるものでは
なく、例えば、コスト等の制約から、車両後面の中央部
にカメラが２台または１台のみしか設置できない場合で
あっても、本発明によって、後退時に有効な画像を利用
者に提供することが可能である。

【００８８】図２０は２台のカメラを用いた本実施形態
に係る画面態様を示す図である。同図中、（ａ）は車両
の後面に設置された２台のカメラＢＲ，ＢＬのカメラ画
像の例、（ｂ）は仮想視点画像を作る際の仮想視点の位
置（車後端中央部の上方から真下に見下ろす）を示す
図、（ｃ）は（ａ）に示す２つのカメラ画像を用いて生
成した合成画像である。図２０（ｃ）の合成画像では、
上方から見下ろした仮想視点画像が下に配置されてお
り、かつ、後方遠方を把握するために必要な画像がその
上に配置されている。

【００８９】本例のように、車両後方に設置した２台の
カメラのみを用いた場合、車両側方の画像は得られない
ものの、車両後方については視野範囲がほぼ１８０度の
画像が得られるため、自車の周辺だけでなく、後退方向
の先の様子までが画像から一目でわかる。このため、並
列駐車や縦列駐車における後退時には、このような２台
のカメラを用いて生成した合成画像であっても、十分実
用的である。

【００９０】図２１は１台のカメラを用いた本実施形態
に係る画面態様を示す図である。同図中、（ａ）は車両
の後面に設置された１台のカメラの画像、（ｂ）は仮想
視点画像を作る際の仮想視点の位置（車後端中央部の上
方から真下に見下ろす）を示す図、（ｃ）は（ａ）に示
すカメラ画像を用いて生成した合成画像である。図２１
（ｃ）の合成画像では、上方から見下ろした仮想視点画
像が下に配置されており、かつ、後方遠方を把握するた
めに必要な画像がその上に配置されている。

【００９１】本例では、カメラが１台だけなので、車両
側方だけでなく、さらに車両斜め後方も視野範囲外にな
る。ところが図２１（ｃ）を見ると分かるように、カメ
ラの画角が１３０度程度あれば、後方確認に十分な視野
が得られ、自車の周辺だけでなく、後退方向の先の様子
までが一目でわかる。このため、このような１台のカメ
ラを用いて生成した合成画像であっても、並列駐車や縦
列駐車における後退時には、十分実用的である。さら
に、魚眼レンズを用いることによって、１台のカメラで
あっても十分に広い視野範囲を得ることができる。

【００９２】なお、図２０（ｃ）および図２１（ｃ）に
おける自車のイラストは、合成画像に対する自車の位置
の目安を示すために貼り付けたものである。そして、イ
ラストの大きさを、合成画像に対して正確に一致させる
ことによって、運転がさらにし易くなることはいうまで
もない。

【００９３】（第４の実施形態）第４の実施形態は上述
の第４の課題を解決するためになされた発明の一態様で
あり、カメラ画像を変形・切り出して合成した仮想視点
画像においても、路面以外の物体が消失しないような合
成画像をドライバーに提供するものである。

【００９４】次に、表示画面態様の例について図を用い
て具体的に説明する。

【００９５】図１１（ａ）は本実施形態に係る画像の例
として、車両側方の後ろ向きのカメラ（カメラ２，６）
のみを用いた第１の仮想視点画像と、後のペアカメラ
（カメラ３，７）のみを用いた第２の仮想視点画像と
を、並列に並べて画面に表示した例を示している。これ
らの仮想視点画像は、それぞれ、撮影範囲が重複するカ
メラ（カメラ２とカメラ３，またはカメラ６とカメラ
７）について、一方のカメラを用い、かつ、他方のカメ
ラを用いないで作成した仮想視点画像である。各仮想視
点画像において、その作成に用いた一方のカメラの撮影
範囲については、他方のカメラとの重複部分と非重複部
分とがともに含まれている。これによって、図１７
（ｂ）の仮想視点画像では消滅していた自車の右後ろ隅
に立っているポールＰ１が、２個の仮想視点画像のいず
れにも消滅せずに映っている。もちろん、画面に並べて
表示する代わりに、複数の仮想視点画像を別の画面に表
示させて画面の切替を行うようにしてもかまわない。

【００９６】一般的に、このような路面外の物体が消滅
する現象は下記の２つの条件がともに満たされたときに
起こる。

【００９７】条件１：境界を構成する２つの部分画像の
もとになるそれぞれのカメラが該物体を撮影している方
向が、異なること これは、物体を見ている方向が２つのカメラで異なる
と、それぞれのカメラ画像を仮想視点画像に変形したと
きに、物体の歪んでいく方向が異なるということを意味
する。これは図１７（ａ）のポールＰ１の変形からも明
らかである。

【００９８】条件２：該物体が部分画像同士の境界付近
にあること これは、変形によって歪んだ物体が境界付近にある場
合、部分画像を作るための切りだし処理によって、歪ん
で伸びた部分がほとんど消されてしまうということを意
味する。これも図１７（ａ）のポールＰ１の変形から明
らかである。

【００９９】したがって、条件１が満たされなければ物
体は消えることは無い。図１２（ａ）は条件２を満たし
ながらも物体が消えない例を示した概念図である。図１
２（ａ）では、ポールが車両後方のペアカメラの直後に
立っているが、条件１を満たしていないため、すなわち
カメラ３もカメラ７も、ポールに対してほぼ同じ方向に
向いているため、いずれのカメラ画像を変形しても、ポ
ールは同じように画面の下に伸びるように歪む。このた
め、境界部分において、カメラ３の部分画像とカメラ７
の部分画像とを混ぜ合わせる処理などを行うことによっ
て、ポールが消えるのを防げるわけである。

【０１００】同様に、条件２が満たされなければ物体は
ほとんど消えない。図１２（ｂ）は条件１を満たしなが
らも物体が消えない例を示した概念図である。図１２
（ｂ）では、ポールが車両右斜め後方に少し離れて立っ
ており、異なる場所に位置するカメラ２、カメラ３の視
野範囲にいるため条件１を満たしている。しかし、条件
２を満たしていないため、すなわちカメラ２の部分画像
とカメラ３の部分画像の境界から離れているため、カメ
ラ３の部分画像において根元から画面右に伸びるように
歪んでいるポールは、少なくとも境界までは消えずに残
って見えている。

【０１０１】このことから、画面の構成案を設計する場
合の一つの指針としては、上記条件１を回避するため
に、一つの画面に、異なる２つのカメラ画像から作成さ
れた部分画像同士の境界を作らないということが挙げら
れる。前述の図は、まさしくその一例を示したものであ
り、カメラ２とカメラ３の境界、およびカメラ６とカメ
ラ７の境界を同じ画面に作らないために２つの画面に分
けたものである。

【０１０２】また、図２のような８カメラ画像を使った
場合では、図１１（ｂ）の例に示すような２画面で画像
を構成することができる（合成の元になる撮影画像は図
示しない）。図１１（ｂ）では、仮想視点画像におい
て、両サイドのカメラのみを使った合成画像と、前後の
カメラのみを使った合成画像とを、並列に並べて画面に
表示している。いずれにしても、前記指針に基づいて作
成されたものであれば、本例で示した以外の画面構成で
ももちろんかまわない。

【０１０３】（第５の実施形態）第５の実施形態は上述
の第５の課題を解決するためになされた発明の一態様で
あり、仮想視点画像において隣り合う部分画像同士の境
界で画像が非連続、不鮮明になるため運転に支障を与え
ることを防ぐために、非連続になるような部分を写した
別の画像を仮想視点画像に埋め込んで、ドライバーに提
示する。

【０１０４】次に表示画面態様の例について図を用いて
具体的に説明する。

【０１０５】図１３（ａ）は図２に示すカメラ２，３，
６，７の４個のカメラを用いて生成した画面態様を示す
図である。全体は、上記４つのカメラ画像を用いて合成
した，上方から見下ろした仮想視点画像が使われてお
り、画像の上半分の右に、当該車両の右後方部を撮影す
るカメラ２の左右反転画像を、画像の上半分の左に、当
該車両の左後方部を撮影するカメラ６の左右反転画像
を、サブウインドウを設けて表示している。仮想視点画
像において、破線で囲まれた楕円部分では、駐車車両と
の接近度合がおおよそでしか把握できない。しかしなが
ら、サブウィンドウに表示したカメラ２の左右反転画像
において、実線で囲まれた円の部分を見ることによっ
て、駐車車両の接近度合を一目で把握することができ
る。

【０１０６】また、図１３（ｂ）は図２に示すカメラ
２，３，６，７の４個のカメラを用いて生成した他の画
面態様を示す図である（合成の元になる撮影画像は図示
しない）。全体は、カメラ３、７の画像を用いて合成し
た，上方から斜め後方に見下ろして左右を反転させた仮
想視点画像が使われており、画像の下半分の右にカメラ
２の反転画像を、画像の下半分の左にカメラ６の反転画
像を、サブウインドウを設けて表示している。図１３
（ｂ）の例では、仮想視点画像の注視点が画面全体の上
半分に来るものと想定されるので、サブウインドウを画
面下半分の右側と左側にそれぞれ配置している。効果は
図１３（ａ）と同様である。

【０１０７】いずれの例においても、サブウインドウ
は、背景画像としての仮想視点画像のうち隠されても運
転に支障を与えない部分に固定配置してもよいし、周囲
の状況などに応じて配置場所を適宜動かしても構わな
い。

【０１０８】このような画面構成にすることで、仮想視
点画像によって、自車と周囲物体との位置関係が把握で
きるとともに、境界で不連続になるような部分に関して
は、サブウィンドウに表示されたミラー画像を見ること
によって、車両周囲の物体との接近度合の詳細を、視線
の移動なく把握できる。

【０１０９】（第６の実施形態）第６の実施形態は上述
した第６の課題を解決するためになされた発明の一態様
であり、複雑な運転操作の際に詳細状況を把握したい場
所である自車の側方領域について、他の部分に優先させ
て運転者に提示するものである。

【０１１０】図１４（ａ），（ｂ）は複雑な運転操作の
一つである縦列駐車において、駐車動作開始時と駐車動
作途中とにおける合成画像をそれぞれ示す図である。い
ずれの仮想視点画像においても、車両の側部に設置した
カメラを優先して用いることによって、駐車中の車Ｐ＿
ＣＡＲがカメラ４およびカメラ５のみによって画像に再
現されるため、不連続になるという問題が解消されてい
る。

【０１１１】もちろん、部分画像のレイアウトをこのよ
うな態様にすると、不連続部分が車両の前後に集中する
ため、その部分で利用者に違和感を与える可能性があ
る。しかしながら、この点に関しては例えば第３の実施
形態で述べたように、車両の進行方向の先を把握するた
めに必要な画像を仮想視点画像に並べて表示することな
どによって、不連続部分の違和感を緩和させることが可
能である。

【０１１２】上述の例では、車両側方のカメラを優先し
て用いることによって、縦列駐車の際に注視する部分が
見やすくなるように、仮想視点画像における境界を構成
した。この部分画像同士の境界は、用途や運転の状況に
応じて適宜切り換えるようにしてもよい。これにより、
運転者にとってより見やすい画像を提供することが可能
になる。

【０１１３】図１５は並列駐車の際における部分画像同
士の境界の切替の一例を示す図である。並列駐車を行う
とき、動作開始当初（図１５（ａ））から途中（図１５
（ｂ））までは、車両側方の物体（例えば駐車中の車Ｐ
＿ＣＡＲ＿Ｓなど）と接触しないかどうかを主として確
認する必要がある。このため、車両側部に設置したカメ
ラを優先して用い、車両側部のカメラの撮影画像をでき
る限り広く用いた仮想視点画像を提示する。一方、車両
の約半分がすでに駐車スペースに入りかかった最終段階
では、車両後方の物体（例えば駐車中の車Ｐ＿ＣＡＲ＿
Ｂなど）と当たらないかどうかを主として確認する必要
がある。このため、車両後部に設置したカメラを優先し
て用い、車両後部のカメラの撮影画像をできる限り広く
用いた仮想視点画像を提示する。

【０１１４】ここで、車両側部のカメラを優先するモー
ドから車両後部のカメラを優先するモードへの切替に
は、例えば、車両に設けた，後方物体の検知を行うセン
サの検知信号をトリガーとして用いればよい。もし、車
両後方に何か物体が存在することをセンサが検知すれ
ば、これをトリガーにして、車両後部のカメラを優先す
る画面モードに切り替えればよい。

【０１１５】なお、切替のトリガーとしては、物体検知
センサの代わりに、例えばハンドル操作やギア操作など
何を用いてもかまわない。また、もちろん、運転者が手
動で画面モードを切り替えてもかまわない。

【０１１６】図１６は上述した画面モードの切替を可能
にするシステム構成を示すブロック図である。図１６の
構成では、マッピングテーブル選択部２５が画面モード
切換信号（例えば物体検知センサの信号など）を受け、
その信号内容に応じて、マッピングテーブルＭＰＴを切
り換える。例えば上記のような自動切換を実現するため
には、車両側部のカメラを優先する画面モードのマッピ
ングテーブルと、車両後部のカメラを優先する画面モー
ドのマッピングテーブルとを予め準備しておけばよい。

【０１１７】以上、本発明の目的を実現するための合成
画像の表示態様を説明した。なお、この合成画像を実現
するための装置構成としては、表示する画像の分に相当
するマッピングテーブルを備えておくようにしても良い
し、状況に応じてマッピングテーブルを自動で作成して
もかまわない。

【０１１８】また、本発明において車両とは、普通自動
車、軽自動車、貨物自動車、バス等を含む。また、本発
明の技術思想が適用されうるものであれば、クレーン
車、シャベルカー等の特殊車両も本発明の車両とするこ
とができる。

【０１１９】なお、以上の説明では、本発明に係る監視
システムは、車両に適用するものとしたが、車両以外の
移動体、例えば飛行機や船舶などであっても、同様に適
用することができる。また、移動体以外の監視対象、例
えば店舗、住居、ショールームなどにカメラを設置して
もよい。

【０１２０】また、複数のカメラの設置位置や台数は、
ここで示したものに限られるものではない。例えば、各
ペアカメラを、車両の四隅にそれぞれ配置してもかまわ
ない。

【０１２１】また、本発明に係る画像処理部の機能は、
その全部または一部を、専用のハードウェアを用いて実
現してもかまわないし、ソフトウェアによって実現して
もかまわない。また、本発明に係る画像処理部の機能の
全部または一部をコンピュータに実行させるためのプロ
グラムを格納した記録媒体や伝送媒体を、利用すること
も可能である。例えば、コンピュータを用いた構成にお
いて、画像合成部などの各処理手段を、ＣＰＵによって
実行されるソフトウェアによって実現し、ＲＯＭまたは
ＲＡＭに格納しておいてもかまわない。

【０１２２】

【発明の効果】請求項１の発明によると、車両後方の左
右１８０度視野を見渡した画像が反転して表示されるた
め、利用者は、この視野範囲に存在する物体を、表示さ
れた画像によって確実に捉えることができる。したがっ
て、図４に示すように、直角に後退しながら道路に侵入
するような場合に、他人の助けを借りることなく、画像
を見ただけでその運転操作を行うことが可能になる。

【０１２３】請求項２の発明によると、当該車両の少な
くとも１つのタイヤの接地部分を含む車両直近部分が、
車両周辺部分よりも、拡縮率が相対的に高い合成画像が
表示されるため、利用者は、車両の直近直下の詳細な状
況と進行方向の先の様子とを、同じ画像から同時に確認
することが可能になる。したがって、路肩などへの幅寄
せのような場合に、自車の路肩への寄せ具合だけでな
く、前進または後退したときの進行方向の先の様子が分
かり、運転に不慣れな運転者であっても、画像を見るだ
けで峡路走行での対向車とのすれ違い、幅寄せなどが至
極簡単にできるようになる。

【０１２４】請求項７の発明によると、車両の移動方向
または移動しうる方向の画像が、仮想視点画像との位置
関係を保持しながら並べて表示されるため、利用者は、
車両周囲の状況だけでなく、前進または後退したときの
進行方向の先の様子までも、同じ画像で同時に確認する
ことが可能になる。したがって、切り返しを伴うような
駐車において前進・後退する場合に、進行方向の様子を
いちいち目視やミラーで確認する必要がなくなり、運転
に集中できるようになる。

【０１２５】請求項８の発明によると、各仮想視点画像
において、撮影範囲の重複部分ではいずれか一方のカメ
ラ画像が削除されずに用いられるので、重複部分に存在
する物体が仮想視点画像上で消失することはない。この
ため、安全運転に必要な情報を必ず含んだ画像を運転者
に提供することが可能になり、運転者は画像だけで安心
して周囲の状況を確認することができる。

【０１２６】請求項１１の発明によると、仮想視点画像
と併せて、左右のドアミラーから見たようなカメラ画像
が表示される。このため、利用者は、仮想視点画像によ
って自車と周囲の物体とのおおよその位置関係を、ドア
ミラー画像によって、運転席後方の車両側方の物体と自
車との距離を、いずれも一つの画面から確認できる。こ
のため、運転者は、ドアミラーの確認や目視の確認をし
なくても画面を見るだけで周囲の状況がわかるため、画
面だけで安心して運転に集中することができるようにな
る。

【０１２７】請求項１２の発明によると、あるモードで
は、車両の側部に設置したカメラによって撮影された画
像が、仮想視点画像の生成に優先して用いられる。この
ため、複雑な運転操作を必要とする運転状況の多くで運
転者が詳細を知りたいと所望する場所である車両の側方
領域において、不連続な部分を持たない違和感の少ない
画像を運転者に提供することが可能となる。

【図面の簡単な説明】

【図１】本発明の各実施形態に係る監視システムの構成
を示すブロック図である。

【図２】カメラ配置の一例を示す図である。

【図３】図２に示す各カメラの撮像画像の例を示す図で
ある。

【図４】本発明の第１の実施形態が適した状況の例であ
って、車両を後退させながら大きくハンドルを切って道
路に誘導させる場合を示す図である。

【図５】本発明の第１の実施形態に係る画面態様の例を
示す図である。

【図６】円筒モデルを用いた画像生成を示す図である。

【図７】お椀モデルを用いた画像生成を示す図である。

【図８】本発明の第２の実施形態に係る画面態様の例を
示す図である。

【図９】本発明の第３の実施形態に係る画面態様の例を
示す図である。

【図１０】本発明の第３の実施形態に係る画面態様の例
を示す図である。

【図１１】本発明の第４の実施形態に係る画像の例を示
す図である。

【図１２】仮想視点画像において境界付近の物体が消え
る条件を説明するための図である。

【図１３】本発明の第５の実施形態に係る画面態様の例
を示す図である。

【図１４】本発明の第６の実施形態に係る画面態様の例
を示す図である。

【図１５】本発明の第６の実施形態に係る画面モードの
切替の例を示す図である。

【図１６】図１５に示す画面モードの切替を可能にする
システム構成を示すブロック図である。

【図１７】本発明の第４の課題を説明するための図であ
る。

【図１８】本発明の第５の課題を説明するための図であ
る。

【図１９】本発明の第２の実施形態に係る画面態様の他
の例である。

【図２０】本発明の第３の実施形態に係る画面態様の他
の例である。

【図２１】本発明の第３の実施形態に係る画面態様の他
の例である。

【符号の説明】

１１ カメラ ２０ 画像処理部 ３０ 表示装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ａ 3/00 ３００ 3/00 ３００ (72)発明者 登 一生 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 安井 伸彦 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 石田 明 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 飯阪 篤 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 吉田 崇 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B057 AA16 AA19 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CD03 CD05 CD11 CD17 CE10 CH07 5C054 AA01 AA05 CA04 FC11 FD03 HA30

Claims (12)

【特許請求の範囲】
1. 【請求項１】 車両に設置され、車両後方の撮影範囲と
   して実質的に左右１８０度の視野を含む少なくとも１台
   のカメラと、 前記カメラの撮影画像を入力とし、入力したカメラ画像
   から、仮想視点から見た画像を生成し、表示装置に表示
   させる画像処理部とを備え、 前記画像処理部は、 車両後方の実質的に左右１８０度の視野を含む画像を、
   反転して表示するモードを有することを特徴とする監視
   システム。
2. 【請求項２】 車両の周囲を撮影する少なくとも１つの
   カメラと、 前記カメラの撮影画像を入力とし、このカメラ画像か
   ら、合成画像を生成し、表示装置に表示させる画像処理
   部とを備え、 前記画像処理部は、 当該車両の少なくとも１つのタイヤの接地部分を含む車
   両直近部分の拡縮率が、車両周辺部分の拡縮率よりも相
   対的に高くなるように合成された合成画像を表示するモ
   ードを有することを特徴とする監視システム。
3. 【請求項３】 請求項２記載の監視システムにおいて、 前記合成画像は、前記車両直近部分から前記車両周辺部
   分にむけて離れるにつれて、拡縮率が低くなっているこ
   とを特徴とする監視システム。
4. 【請求項４】 請求項２記載の監視システムにおいて、 前記画像処理部は、 前記合成画像を、当該車両の側面に沿った部分が直線性
   を有するように、生成するものであることを特徴とする
   監視システム。
5. 【請求項５】 請求項２記載の監視システムにおいて、 前記カメラの少なくとも１つは、少なくともボディの側
   面の一部および前のタイヤの一部を、撮影範囲に含むよ
   うに設置され、 前記画像処理部は、 前記少なくとも１つのカメラの撮影画像を用い、前記ボ
   ディの側面および前タイヤを含むように、前記合成画像
   を生成するものであることを特徴とする監視システム。
6. 【請求項６】 車両の周囲を撮影する少なくとも１つの
   カメラと、 前記カメラの撮影画像を入力とし、このカメラ画像か
   ら、合成画像を生成し、表示装置に表示させる画像処理
   部とを備え、 前記カメラの少なくとも１つは、少なくとも当該車両の
   タイヤの一部を、撮影範囲に含むように、設置され、 前記画像処理部は、 前記少なくとも１つのカメラの撮影画像を用い、前記タ
   イヤを含むように、前記合成画像を生成するものである
   ことを特徴とする監視システム。
7. 【請求項７】 車両の周囲を撮影する少なくとも１つの
   カメラと、 前記カメラの撮影画像を入力とし、このカメラ画像か
   ら、仮想視点から見た画像を生成し、表示装置に表示さ
   せる画像処理部とを備え、 前記画像処理部は、 車両の移動方向または移動しうる方向の画像を、前記仮
   想視点画像との位置関係を保持しながら、前記仮想視点
   画像と並べて表示するモードを有することを特徴とする
   監視システム。
8. 【請求項８】 車両の周囲を撮影する複数のカメラと、 前記各カメラの撮影画像を入力とし、これらのカメラ画
   像から、仮想視点から見た画像を生成し、表示装置に表
   示させる画像処理部とを備え、 前記複数のカメラは、撮影範囲が重複する第１および第
   ２のカメラを含み、 前記画像処理部は、 前記第１のカメラを用い、かつ、前記第２のカメラを用
   いないで作成し、前記第１のカメラの撮影範囲における
   前記第２のカメラとの重複部分と非重複部分とを含む第
   １の仮想視点画像と、前記第２のカメラを用い、かつ、
   前記第１のカメラを用いないで作成し、前記第２のカメ
   ラの撮影範囲における前記第１のカメラとの重複部分と
   非重複部分とを含む第２の仮想視点画像とを、生成可能
   に構成されていることを特徴とする監視システム。
9. 【請求項９】 請求項８記載の監視システムにおいて、 前記画像処理部は、前記第１および第２の仮想視点画像
   を、同一画面に並べて表示するモードを有することを特
   徴とする監視システム。
10. 【請求項１０】 請求項８記載の監視システムにおい
    て、 前記第１の仮想視点画像は、車両の側方に設置されたカ
    メラによって撮影された画像のみを用いた仮想視点画像
    であり、 前記第２の仮想視点画像は、車両の前後に設置されたカ
    メラによって撮影された画像のみを用いた仮想視点画像
    であることを特徴とする監視システム。
11. 【請求項１１】 車両の周囲を撮影する複数のカメラ
    と、 前記各カメラの撮影画像を入力とし、これらのカメラ画
    像を用いて仮想視点から見た画像を生成し、表示装置に
    表示させる画像処理部とを備え、 前記複数のカメラは、少なくとも、当該車両の左後方部
    を撮影する第１のカメラと、車両の右後方部を撮影する
    第２のカメラとを含み、 前記画像処理部は、仮想視点画像と併せて、前記第１の
    カメラまたは第２のカメラの撮像画像が左右反転した画
    像の少なくとも一部を表示するモードを有することを特
    徴とする監視システム。
12. 【請求項１２】 車両の周囲を撮影する複数のカメラ
    と、 前記各カメラの撮影画像を入力とし、これらのカメラ画
    像から、仮想視点から見た画像を生成し、表示装置に表
    示させる画像処理部とを備え、 前記画像処理部は、 仮想視点画像の生成において、車両の側部に設置したカ
    メラによって撮影された画像を優先して用いるモードを
    有することを特徴とする監視システム。