JP3753681B2 - 監視システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に設置した複数のカメラの撮像画像を用いて合成画像を生成する画像処理技術に関するものであり、特に、車両運転の際の安全確認の補助などに利用される監視システムに有効な技術に属する。
【０００２】
【従来の技術】
従来、車両の周囲をカメラを用いて監視する装置として、カメラを車両のリアトランク部などに後ろ向きに設置し、このカメラから得られた画像を運転者に提示するシステムが知られている。これによって、運転者は車両後方の様子をミラーを見ることなく知ることができる。また最近では、ただ単にカメラ画像を提示するだけでなく、カメラ画像にタイヤの移動軌跡を重ねて提示するシステム（これを「従来方式１」と呼ぶ。）も知られつつある。これによって、運転者は、車両後方の様子を把握できるとともに、車両の進み先をも予測することが可能になる。
【０００３】
ただし、従来方式１では、車両後方の様子は分かるものの、それ以外の部分に関しては目視とミラーに頼らざるを得ない。これに対し、自車両とその周囲全体との位置関係を客観的に分かりやすく運転者に知らせるためのシステムとして、文献１：特開平１１−７８６９２号公報に記載の装置などがある。この文献１では、複数台（８台）の車両用映像提供のためのカメラを車両の周囲に取り付け、各カメラによって撮影された画像を変形した画像（以下では「部分画像」という）を合成して、自車両の周囲を一度に見渡すことができる新たな画像を得るという方式（これを「従来方式２」と呼ぶ。）が開示されている。特に、複数のカメラの撮影画像を変形して配置する際に、部分画像同士が互いに隣接する境界部分における連続性を保つことによって、自車両と周囲の物体とのおおよその位置関係が把握しやすい画像を、運転者に提供することができる。
【０００４】
【発明が解決しようとする課題】
ところで、様々な運転状況において、上述した従来方式によって合成した画像を運転者に提示した場合に、以下のような問題が生じる。
【０００５】
１．従来方式１の問題と解決すべき課題
従来方式１では、カメラ画像が車両後端部よりも後方部分のうちの限られた角度の領域しか写さないため、自車後端部よりも前の部分、例えば自車両の左右のボディと周囲の物体との接触度合はドアミラーでしか判断できない。このため、その部分の接触度合と後方の様子の両方を把握するためには、表示画像とドアミラーの併用を運転者に強いることになり、運転者の負担が大きかった。
【０００６】
また、従来方式１は車両後方の限られた視野の様子を表示するものである。したがって、広範囲の状況を知る必要がある運転シーンにおいて利用するのには適当ではない。例えば、図４のように後退しながら大きくハンドルを切って車両を道路に誘導させる場合、道路の左右からの接近車両を確認するためには、実質的に１８０度の後方視野を含む画像を運転者に提示することが必要となるが、従来方式１で提示される画像は視野が狭いため、このような用途には全く使えない。
【０００７】
したがって、解決すべき第１の課題は、図４のようなケースにおいて、見ただけで安心して車を運転できるような合成画像を運転者に提供することである。
【０００８】
２．従来方式２の問題と解決すべき課題
・第１の問題：表示範囲
従来方式２では、自車の直近周囲の位置関係を分かりやすく提示するために、周囲の様子をあたかも自車上方から見下ろしたような画像を提示することだけを開示している。ところが、自車の近傍とそれ以外の部分との両方が同時に把握できるような画像の提示方法に関しては、何ら開示されていない。したがって、次の例（ａ），（ｂ）のような運転状況においては、従来方式２による合成画像を提示しただけでは、運転の支援には十分であるとは言えない。
【０００９】
（ａ）路肩などへの幅寄せ
路肩などへの幅寄せを行う場合、運転者に見せる画像に対して次の２つの点が要求される。すなわち、路肩への寄せ具合がどのくらいかという点と、そのまま前進または後退したときに、その進行方向の先に、例えば電柱や発券機などの障害物がないかどうか、対向車が来ていないかどうか、またそれらの存在が確認されたときに、接触せずにかわせるかどうかという点である。
【００１０】
ところが、見下ろし画像では見えている範囲が限られているので、路肩への寄せ具合を詳しく見ようと思えば直近の周囲だけを写した画像が必要になるし、一方、進行方向の先を見るためには少なくとも数メートルから十数メートル先の前方まで見える画像が必要になる。いずれにしても、一個の画像で、両方の要求を満たすことはできない。
【００１１】
したがって、解決すべき第２の課題は、路肩などへの幅寄せのようなケースにおいて、自車の路肩への寄せ具合だけでなく、前進または後退したときの進行方向の先の様子も同時に分かるような合成画像を、運転者に提供することである。
【００１２】
（ｂ）切り返しを含む駐車
駐車を行うにあたって該見下ろし画像を提示する場合、駐車操作の最初の段階で緩やかに後退する際には、後方の様子の確認が必要となる。ところが見下ろし画像では見えている範囲が限られているので、上記後退時の後方確認のためにはミラーを使わざるをえなくなり、ドライバーの負担が増える。また駐車において切り返し操作（前後の細かな移動によって車を目的の場所に誘導させる操作）を頻繁に行う場合では、後方確認のみならず前方確認も必要となる。
【００１３】
したがって、解決すべき第３の課題は、切り返しを伴うような駐車において、周囲の状況だけでなく、前進もしくは後退した時の進行方向の先の様子も同時に分かるような合成画像を運転者に提供することである。
【００１４】
・第２の問題：物体の消失
物体の消失とは、境界部分で、少なくとも路面の部分が連続になるように画像を変形するために、その変形に順じて変形される立体物が、部分画像のレイアウトのために削除されるという問題である。
【００１５】
図１７（ａ）は車両の右後隅に立っているポールＰ１を示している。このポールＰ１は図２に示すカメラ２とカメラ３の両方から撮影されているとすると、カメラ２の撮影画像におけるポールＰ１Ａは画像変形によってポールＰ１の接地点を基準に下に伸びるように歪む。一方、カメラ３の撮影画像におけるポールＰ１Ｂは画像変形によってポールＰ１の接地点を基準に右に伸びるように歪む。ところで、それぞれのポールＰ１Ａ，Ｐ１Ｂはいずれも部分画像として用いない領域に伸びているため、伸びた部分が削除され、結果的にポールＰ１が地面と接する部分しか合成画像上には残らない（図１７（ｂ））。したがって、合成画像では、実際に存在するポールが認識困難になる。これが物体の消失の問題を引き起こす原因である。
【００１６】
したがって、解決すべき第４の課題は、上述の問題を回避し、自車と周囲の物体とのおおよその位置関係、および周囲の物体との距離が、同時に把握できるような合成画像を運転者に提供することである。
【００１７】
・第３の問題：境界の不連続性
従来方式２では、隣り合う部分画像同士の境界での連続性を保持するようにそれぞれのカメラ画像の変形を行うが、境界のすべての部分で連続性を保つことは原理的に困難である。したがって本方式では、少なくとも路面部分のものが違和感無く把握できるように路面部分での連続性を保つように変形することを開示している。しかしながら、これにより路面以外の物体は引き伸ばされるように大きくゆがむことになり、これが部分画像の境界部分に位置する路面以外の物体が該境界で不連続になる、という問題を引き起こす。たとえば、図１８では、カメラ２とカメラ３の画像をそれぞれ変形して得た部分画像同士の境界に位置する駐車中の車が、該境界を境に不連続になってしまい、結果的に不明瞭な画像になってしまっている例を示している。したがってこのような不明瞭な画像では周囲の物体との距離がつかめないため、ドライバーは結局、ミラーなどを見てそれを確認する作業を強いられることになり、負担が大きくなる。
【００１８】
したがって、解決すべき第５の課題は、前記問題を回避し、少なくともカメラ画像において安全運転に必要な情報を必ず含むような合成画像をドライバーに提供することである。
【００１９】
また、上記の部分画像同士の境界における不連続性の問題を鑑みると、様々な運転シーンにおいて、合成画像のどこに境界を持ってくるか、が合成画像の有用性に大きく関係してくる。一般的に、複雑な運転操作の多く、例えば駐車（縦列、並列）や幅寄せなどにおいては、運転者が詳細状況を知りたい場所は、車両の前後よりもむしろ左右の側方１８０度の領域に集中することが、発明者らが行った被験者１０人程度を対象に行った実験によって分かっている。
【００２０】
したがって、車両の左右の側方がより連続的になるような合成画像を提示することが第６の課題であると考えられるが、従来方式２ではかかる課題に対する解決策について何ら開示されていない。
【００２１】
前記の課題を解決するために、請求項１の発明が講じた解決手段は、監視システムとして、車両の周囲を撮影する少なくとも１つのカメラと、前記カメラの撮影画像を入力とし、このカメラ画像から合成画像を生成し、表示装置に表示させる画像処理部とを備え、前記カメラの少なくとも１つは、少なくともボディの側面の一部および前のタイヤの一部を撮影範囲に含むように前記ボディ側面に取り付けられ、前記画像処理部は、車両の幅寄せ時において、前記少なくとも１つのカメラの撮影画像を用い、前記ボディの側面および前タイヤを含むように、かつ、前記カメラの取り付け場所を中心とした拡縮変形をおこない、かつ、前記前タイヤの接地部分を含む車両直近部分の拡縮率が車両周辺部分の拡縮率よりも相対的に高くなるように、合成された合成画像を表示するモードを有するものである。
【００２２】
また、請求項２の発明が講じた解決手段は、監視システムとして、車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮影画像を入力とし、このカメラ画像から、合成画像を生成し、表示装置に表示させる画像処理部とを備え、前記複数のカメラは、当該車両のいずれのタイヤについても少なくともその一部をいずれかのカメラが撮影範囲に含むように前記ボディ側面に取り付けられ、前記画像処理部は、前記複数のカメラの撮影画像を用い、当該車両のいずれのタイヤについても少なくともその一部を含むように、合成された合成画像を表示するモードを有し、かつ、前記合成画像を、前記カメラの取り付け場所を中心とした拡縮変形をおこない、かつ当該車両の少なくとも１つのタイヤの接地部分を含む車両直近部分の拡縮率が車両周辺部分の拡縮率よりも相対的に高くなるように合成するものである。
【００２３】
請求項１または２の発明によると、当該車両の少なくとも１つのタイヤの接地部分を含む車両直近部分が、車両周辺部分よりも、拡縮率が相対的に高い合成画像が表示される。このため、利用者は、車両の直近直下の詳細な状況と進行方向の先の様子とを、同じ画像から同時に確認することが可能になる。
さらに、カメラの取り付け場所を中心とした拡縮変形がおこなわれるため、ボディの側面の直線性、およびそこから先の進行方向の直線性が保持される。これにより、例えば車両の右前から対向車が近づいてくる場合、その対向車が右側の側面に沿う線を進行方向に延ばした線より右にいるか、それともかかる線をまたいでいるかを見ることによって、対向車と接触するかどうかが容易に判断できる。
また、請求項３の発明が講じた解決手段は、請求項１または２の発明の解決手段に加え、前記拡縮変形における拡縮率が、前記カメラの取り付け場所からの方向に関係なく、前記カメラの取り付け場所からの距離が等しければ、拡縮率が等しくなるように、前記拡縮変形を行うものである。
これにより、方向に関係なく、カメラの取り付け場所から離れるに従って縮小された画像が得られる。
また、請求項４の発明が講じた解決手段は、請求項１または２の発明の解決手段に加え、車の進行方向にある部分と、前記部分と前記カメラの取り付け場所からの距離が等しい車の横方向にある部分との拡縮率が異なるように、前記拡縮変形を行うものである。
これにより、車の進行方向の部分の縮小の度合いを、車の横方向の縮小の度合いより小さくしたり大きくしたりできる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。まずそれぞれの実施形態を実現するために必要な、本発明に係る監視システムの全体構成について説明し、つづいて本発明に係る各種表示画面態様例について詳細を説明する。
【００２５】
図１は本発明に係る監視システムの構成を示すブロック図である。図１に示す監視システムにおいて、画像処理部２０は、カメラ１１から出力された複数のカメラ画像を入力とし、これらを変形・合成して新たな画像を生成する。この合成画像は表示装置３０によって表示される。画像処理部２０によって、本発明に係る画像処理装置が構成される。
【００２６】
なお、本願明細書では、「合成画像」とは、複数のカメラ画像から生成された画像だけでなく、１つのカメラ画像を変形・合成することによって生成した画像をも含むものとする。
【００２７】
本発明の表示装置３０は、典型的には液晶ディスプレイであるが、プラズマディスプレイ等の他の表示デバイスを用いることもできる。また、本発明のディスプレイは、車両搭載型のＧＰＳ端末ディスプレイ（いわゆるカーナビゲーションシステムのディスプレイ）と共用したものであってもよいし、これとは別に用意されたものであってもよい。
【００２８】
撮像部１０は、典型的にはＣＣＤ，ＣＭＯＳデバイス等の固体撮像素子をもつ、カラーまたはモノクロのデジタルカメラである。また、撮影手段は、たとえばレンズと、プリズムまたはミラーとの組み合わせにより構成され、レンズ、プリズムまたはミラーへの入射光が、所定光路を通って撮影手段から離れた位置にある撮像素子に伝達されるように構成されていてもよい。
【００２９】
図２はカメラの配置の例、図３は図２に示す各カメラの撮像画像の例である。図２において、ＷＬ１〜ＷＬ５は白線、Ｐ１〜Ｐ４はポールである。図２の例では２台のペアカメラをフロントグリル、左右ドアミラー、リアトランクの合計４箇所８台使用した場合を示している。図２に示したカメラ配置は、車の前後左右の４面のそれぞれの１８０度視野の画像を得るためで、現状のカメラでは一つで１８０度の視野を確保することができないため、便宜的に２台のカメラをペアにして実質的に１８０度の視野を得るようにしたものである。
【００３０】
画像処理部２０は、図３に示すような８枚のカメラ画像（ペアカメラを１台にした場合は４枚のカメラ画像）を変形・合成し、例えば車両上方から鉛直下方に見下ろしたような合成画像を生成する。合成画像の生成のためには、画像変形処理や変形された画像の必要な部分を切り取った部分画像の合成処理（境界部分のスムージングなどの処理（以下、境界処理）を含む）が必要になるが、図１の構成では、マッピングテーブル参照部２１を備え、撮像画像の加工を一つの工程で行うために、マッピングテーブルＭＰＴを利用する。
【００３１】
画像処理部２０はカメラ１〜Ｎからの撮影画像を入力し、これら撮影画像を加工する。ここでの加工は、▲１▼画像変形切り出し処理、▲２▼切り出された部分画像の合成処理（境界処理を含む）である。これらの▲１▼と▲２▼の処理は、それぞれ別々になされてもよいし、全部または一部が１つの工程によりなされてもよい。図１では、撮影画像の加工を一つの工程で行うために、マッピングテーブルを備えた構成をなしている。
【００３２】
「マッピングテーブル」とは、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたテーブルのことをいい、合成画像の生成処理を高速に行うために用いられる。このようなマッピングテーブルを、幾何変換などを用いた計算や手作業などによってあらかじめ作成しておくことによって、所望の合成画像を高速に生成することができる。そして、マッピングテーブルを替えることによって、画面表示モードを切り替えることができる。
【００３３】
マッピングテーブルは具体的には、例えばＲＯＭ（ＥＥＰＲＯＭなどの書きこみ・消去可能なＲＯＭを含む）、またはＲＡＭに格納されている。マッピングテーブルの格納は、例えば、画像処理部内のプロセッサが計算で求めたマッピングデータをＲＯＭまたはＲＡＭに書きこむことによって実現してもよいし、ファームウェアとして提供されるマッピングテーブルデータを、通信回線やディスクドライブなどのデータ転送手段を用いて、ＲＡＭまたはＲＯＭに書きこむようにしてもよい。
【００３４】
次に、本発明に係る各種表示画面態様例について詳細を説明する。
【００３５】
（第１の実施形態）
第１の実施形態は上述の第１の課題を解決するためになされた発明の一態様であり、例えば図４のように、後退しながら大きくハンドルを切って車両を道路に誘導させる場合、道路の左右からの接近車両を確認するために用いられる。
【００３６】
次に表示画面態様の例について説明する。
【００３７】
図５（ａ）は確認に用いるための本実施形態に係る画面態様の一例であり、具体的には図２に示すカメラ３およびカメラ７で撮影された画像を用いて、車両後方の左右１８０度の視野を持つ画像を反転させて表示し、これに自車の後退時の走行軌跡４１を重ねて表示した例である（合成の元になる撮影画像は図示しない）。図５（ａ）から分かるように、車両の後端が車両に垂直に通っている道路に対してぎりぎりに直面している状況において、その道路の一方の端から他方の端まですなわち左右１８０度を見ることができる。したがって、運転者はこの画像を見ることによって、例えば実際に左側から接近している他の車両４２の様子を、運転席に居ながらにして把握できる。
【００３８】
図５（ｂ）は本実施形態に係る画面態様の他の一例である。この態様は、カメラや画面の解像度が低いなどの理由によって、遠方から近づきつつある車までの距離が分かりにくい場合に用いるとよい。具体的には、遠方のエリア（破線矩形領域４３）を拡大し、画面中の別な場所にサブウインドウ（実線矩形領域４４）として表示する。これにより、全体画像では遠方と近傍とを一度に把握することができ、かつ、遠方の様子はサブウインドウによって確認することが可能になる。サブウインドウは全体画像の上に貼り付けるので、運転に重要な情報がこれによって隠されることをできるだけ防ぐために、貼り付け場所を予め決めておくとよい。
【００３９】
図５（ｃ）も本実施形態に係る画面態様の他の一例である。この態様は、遠方から近づいている車までの距離が分かりにくい場合に、距離を示す補助線を画像に重複して表示するものである。これにより、接近車のおおよその距離を知ることができる。図５（ｃ）では実線４５、細かい破線４６および粗い破線４７によって、それぞれ、自車から左右に約２ｍ、約５ｍおよび約１０ｍの位置が示されている。
【００４０】
次に、このような１８０度の視野を持つ画像を作成する方法を簡単に説明する。
【００４１】
図６はペアカメラの画像を円筒モデルにそれぞれ投影し、その投影画像をそのまま長方形の画像面に端から並べて行くようにして、視野１８０度のパノラマ画像を得る方法を示している。この方法では、縦の幅がカメラの視野範囲における角度に対応するため、カメラのどの方向の向きも同じ倍率の画像が得られる。
【００４２】
また、図７は円筒以外のモデルとしてお碗形状のモデルを用いて視野１８０度の画像を得る方法を示している。カメラ画像をモデルに投影する点は図６と同様であるが、その投影画像を見る仮想視点を設け、透視投影変換によって画像を作成している点が異なる。このモデルでは、お碗の形状を変形したり仮想視点の位置を移動させることによって、自車の真後ろ方向を拡大し周辺方向を縮小した画像を作成したり、逆に自車の真後ろ方向を縮小し周辺方向を拡大した画像を作成することも可能である。
【００４３】
なお、本実施例では、後方１８０度の視野を表示する例を示したが、実質的に視野を１８０度程度持つことで実用上問題がなければ、必ずしも１８０度を含むようにカメラを設置する必要はなく、それより若干小さめの視野角でも問題ない。また当然のことながら、空が映っている部分など、後方安全確認に不要な部分に関しては切りとって表示してもかまわない。
【００４４】
（第２の実施形態）
第２の実施形態は上述の第２の課題を解決するためになされた発明の一態様であり、例えば路肩などへの幅寄せのようなケースで、自車の路肩への寄せ具合だけでなく、前進または後退したときの進行方向の先の様子も同時に分かるような合成画像を運転者に提供するものである。
【００４５】
次に表示画面態様の例について説明する。
【００４６】
図８（ａ），（ｂ）は図２に示すカメラ１，２，５，６の４個のカメラを用いて作成した本実施形態に係る画面態様を示したものである（合成の元になる撮影画像は図示しない）。自車両の右側の画像はカメラ１とカメラ２を、また左側の画像はカメラ５とカメラ６の画像を用いてそれぞれ作られたものである。それぞれの合成画像は、タイヤの接地部分を含む車両直近部分の拡縮率が、車両周辺部分の拡縮率よりも相対的に高くなるように、合成されている。さらに、車両直近部分から車両周辺部分にむけて離れるにつれて、拡縮率が低くなっている。
【００４７】
このような画像の合成方法の例を簡単に説明する。このような画像の合成を簡単に作成する一つの有効な方法は、第１の実施形態における画像合成と同様に、モデルを使って合成する方法である。例えば図７に示したお椀のモデルを用いると、図８（ａ）の左側の画像は次のようにして合成できる。
１． お椀のモデルの底が車のカメラ５とカメラ６との間の位置の路面上に接するように、お椀モデルを作成する。このとき、お椀モデルの大きさは、車がお椀の内面に完全に囲まれる程度の大きさにしておく。
２． カメラ５とカメラ６で撮影された画像を、それぞれお椀の内面に投影する。
３． 仮想視点を、カメラ５とカメラ６の間の位置で上方（例えば４ｍ）に下向きに設置し、２．の処理でお椀に投影されたカメラ５、カメラ６の画像を、前記仮想視点から眺める。
【００４８】
これら３つのステップの処理によって、図８（ａ）の左側に示したような、タイヤの接地部分を含む車両直近部分の拡縮率が、車両周辺部分の拡縮率よりも相対的に高くなるように合成された画像を得ることができる。
【００４９】
ここで、なぜお椀モデルを用いると周辺部分がより縮小されるかというと、カメラ画像を投影するモデル面（本例ではお椀の内面）が仮想視点の向き（本例では真下方向）に平行に近づいていくにつれて、モデル面に投影された画像が縮小される、という幾何学的な性質に基づいているからである。
【００５０】
上記方式の大きなメリットは、お椀のモデルを変形したりすることで、車両直近部分の拡縮率に対する車両周辺部分の拡縮率を自由に決められる点があげられる。例えば、お椀のモデルが円形である場合、お椀の底に相当する部分を中心にして、方向に関係なく、そこから離れるに従って縮小された画像が得られる。また、お椀のモデルを底の場所は同じままにしておき形だけ楕円形にする。この楕円形の長軸方向が車の側面に一致するようにすると、お椀の底に相当する部分を中心にして、車の進行方向の部分の縮小の度合いは、車の横方向の縮小の度合いよりは小さくすることができる。もちろん逆も可能である。
【００５１】
なお、ここでは、タイヤの接地部分を含む車両直近部分の拡縮率が、車両周辺部分の拡縮率よりも相対的に高くなるように合成された画像を、お椀モデルを用いて合成する方法について説明したが、もちろんお椀モデル以外の方法を用いた合成が可能であることはいうまでもない。
【００５２】
また、カメラがボディに取り付けられてあり、そのカメラのほぼ上方下向きに仮想視点を設け、上記お椀モデルを用いて画像を合成している。つまり、カメラの取り付け場所を中心に上述したような縮小変形を行っても、ボディの側面の直線性、およびそこから先の進行方向の直線性は保持される。図８（ｂ）の画像は、カメラ１，２のほぼ上方下向きに仮想視点を設けてお椀モデルを用いて合成した画像と、カメラ５，６のほぼ上方下向きに仮想視点を設けてお椀モデルを用いて合成した画像とを用いて、作成される。
【００５３】
次に、図８（ａ）を用いた，路肩にある溝までの幅寄せの様子を具体的に説明する。図８（ａ）では、車両の助手席サイドから路肩にある溝までの余裕がどの程度あるかが分かるように、車両の直近の部分を拡大して、この直近部分について少なくとも５ｃｍ程度が見分けられるような解像度を保っている。しかも、自車が路側にどの程度近づいているかを見ただけで判断できるように、自車のタイヤも写るように表示している（実線の丸のエリア５１）。実験により、このような画像を提示することによって、これまで路側帯への幅寄せについて１０ｃｍを切ることが困難であった運転者が、容易に５ｃｍ以内まで寄せられるようになったことが分かっている。すなわち、この表示態様が、幅寄せ運転に大きな効果を持つことが確認されている。
【００５４】
一方、本表示態様により、自車とその右サイドを通過しようとする対向車との隙間の余裕がどの程度あるかも確認できる（破線の丸のエリア５２）。図８（ｂ）は図８（ａ）と同一の表示態様であり、このような確認を行う状況例を示している。本表示態様では、前方が直線性を保って縮小されているため、前後のタイヤに接するように引いた線（TYRE１とTYRE３を通る線５３およびTYRE２とTYRE４を通る線５４）が自車の進行線となる。このため右前から対向車が近づいてくる場合、その対向車が右側の進行線より右にいるか、それとも進行線をまたいでいるかを見ることによって、対向車と接触するかどうかが容易に判断できるのである。もちろん前方になればなるほど画面が縮小されているので、対向車がまだ離れた場所から近づきつつある状況でも、前もって画面上で上記判断ができるため運転者は余裕をもって自車を操作できる。図８（ｂ）の例では、右側の進行線よりも明らかに右にある対向車が、自車の右サイドを接触せず無事に通過して行く様子がわかるなお、前方の様子は少なくとも約５ｍ先が見えていると運転操作がしやすい、ということが実験によって確認されている。
【００５５】
ただし、実際に対向車とすれ違う場合は、これだけでは不充分な場合もある。すなわちドアミラーなど、ボディよりさらに外側に突起した物体がある場合は、画面確認と同時にやはり運転者による目視による確認も必要となる。
【００５６】
なお、図８では４個のタイヤ全てを表示するものとしたが、一部のタイヤ、例えば前のタイヤのみを合成画像に表示させてもかまわない。
【００５７】
以上、これまでは、第２の実施形態における画面態様を４台のカメラを用いた場合を例にとって説明した。もちろん本発明は、これに限定されるものでなく、１台のカメラのみを用いても実施することができる。例えば、コスト等の制約から、助手席側の車両側面に前向きのカメラ１台のみしか設置できない場合であっても、本発明によって、路肩への幅寄せに有効な画像を利用者に提供することが可能である。
【００５８】
図１９は１台のカメラのみを用いた本実施形態に係る画面態様を複数のカメラを用いた場合と対比して示す図である。同図中、（ａ）は車の左右に設置された４台のカメラＲＦ，ＲＲ，ＬＦ，ＬＲのカメラ画像の例、（ｂ）は（ａ）に示す４つのカメラ画像から図８と同様に作成した合成画像である。これに対して、（ｃ）は（ａ）におけるカメラＬＦのカメラ画像のみから合成した画像である。なお、図１９（ｂ），（ｃ）における自車のイラストは、合成画像に対する自車位置の目安を示すために貼り付けたものであり、画像に含まれる自車部分とは必ずしも一致しない。
【００５９】
図１９（ｃ）の例では、画像合成に用いられるカメラは１台だけなので、画像に映る視野範囲は（ｂ）の例よりも限定されている。ところが、車両の直近部分を拡大することによって、少なくとも５ｃｍ程度の物が見分けられるような解像度を保ち、車両の助手席サイドから路肩の溝までどの程度余裕があるか分かるようになっている。しかも、画像をみただけで、自車が路側にどの程度接近しているのかが容易に認識できるよう、自車のタイヤも映るように表示されている（実線の丸のエリア）。
【００６０】
したがって、（ｃ）のような画像が表示されると、狭路で助手席側の路肩に溝があるような走行環境において、前方からの対向車をよける場合でも、路肩の溝にタイヤが落ちないかどうかを確認しつつ、前進しながら幅寄せすることが可能となる。もちろん、この場合は、対向車との間隔はドライバー自身が確認する必要はあるものの、幅寄せに対する運転の負担は大幅に軽減する。
【００６１】
さらに、魚眼レンズを用いることによって、１台のカメラであっても十分に広い視野範囲を得ることができる。例えば、車両の助手席側の側方に視野角が１８０°前後の魚眼レンズが付いたカメラを設置し、このカメラ画像を用いて本発明を実現してもよい。これにより、運転席と反対側側方の画像を広い範囲で表示することができるので、より安全に運転することが可能になる。
【００６２】
（第３の実施形態）
第３の実施形態は上述の第３の課題を解決するためになされた発明の一態様であり、例えば切り返しを伴うような駐車において、周囲の状況だけでなく、前進もしくは後退した時の進行方向の先の様子も同時に分かるような合成画像をドライバーに提供するものである。
【００６３】
次に表示画面態様の例について、車両の停止時、前進時、および後退時の３つの状況に応じて図９および図１０を用いて具体的に説明する（合成の元になる撮影画像は図示しない）。
【００６４】
１．車両の停止時の表示態様例：
図９（ａ）は上方から見下ろした仮想視点画像に対して、自車の前方および後方に相当する部分に、それぞれの方向の遠方を把握するために必要な画像を貼り付けた例である。自車の周辺だけでなく、自車が動く方向の先の様子までが一目でわかるため、信号停止時などで発進前および直後の周囲状況確認に用いたり、また、縦列駐車、並列駐車にも適用可能である。
【００６５】
２．車両が低速前進中の表示態様例：
図９（ｂ），（ｃ）は、いずれも上方から見下ろした仮想視点画像に対して、自車の前方に相当する部分に、前方の遠方を把握するために必要な画像を貼り付けた例を示す。自車の周辺だけでなく、進行方向の先の様子までが一目でわかる。
【００６６】
図９（ｂ），（ｃ）の違いは、前方の遠方把握用の画像の違いである。まず、図９（ｂ）は、見下ろし画像と前方画像との境界が路面部分で繋がるようにした場合である。路面部分で繋がるため、前方障害物が自車の前方のどの位置にあるかが分かりやすい。低速走行時として、発進時だけでなく、狭路走行や料金所などでの幅寄せにも有効である。一方、図９（ｃ）は、見下ろし画像で死角となる部分を補うために、前方画像の視野を１８０度にした場合である。画像同士の境界が繋がらない問題はあるものの、前方に関しての幅広い視野の情報を一度に見ることができるメリットがある。特に発進前の前方１８０度周囲の確認に適している。
【００６７】
なお、仮想視点画像については、前進の速度が増すにつれ、自車の前の領域が広くなるように、逆に前進の速度が下がるにつれ、自車の位置が画面の真ん中に来るように連続的に切り換えても構わない。またさらに、一定速度を超えると、画面態様を後ろのパノラマ画像だけにするようにしてもよい。
【００６８】
３．車両が後退中の表示態様例：
図１０（ａ），（ｂ）は、いずれも上方から見下ろした仮想視点画像に対して、自車の後方に相当する部分に、後方の遠方を把握するために必要な画像を貼り付けた例を示す。自車の周辺だけでなく、後退方向の先の様子までが一目でわかる。
【００６９】
図１０（ａ），（ｂ）の違いは、後方の遠方把握用の画像の違いである。まず図１０（ａ）は見下ろし画像と前方画像との境界が路面部分で繋がるようにした場合である。路面部分で繋がるため、前方障害物が自車の前方のどの位置にあるかが分かりやすい。前記境界部分における路面の連続性を有することから、縦列駐車、並列駐車の開始時に表示する画像に適している。一方、図１０（ｂ）は見下ろし画像で死角となる部分を補うために、後方画像の視野を１８０度にした場合である。画像同士の境界が繋がらない問題はあるものの、死角の多い車両後方に関して、死角がなくなるメリットがある。特に後退前の後方１８０度周囲の確認に適している。
【００７０】
なお、仮想視点画像については、後退の速度が増すにつれ、自車の後ろの領域が広くなるように、逆に後退の速度が下がるにつれ、自車の位置が画面の真ん中に来るように連続的に切り換えても構わない。
【００７１】
また、図９（ａ）に示すような表示態様は、車両が全く動いてない場合のみに表示するだけではなく、切り返しなど前進と後退が頻繁に繰り返されるときに表示してもよい。例えば切り返しの際に、図９（ｂ）と図１０（ａ）とを切り換えて表示すると、見ていて煩わしい場合もある。このような場合は、速度の絶対値が所定値以下の期間は、図９（ａ）に示すような画像を常に表示させておいても良い。
【００７２】
以上、これまでは、第３の実施形態における画面態様を８台のカメラを用いた場合を例にとって説明した。もちろん本発明は、これに限定されるものではなく、例えば、コスト等の制約から、車両後面の中央部にカメラが２台または１台のみしか設置できない場合であっても、本発明によって、後退時に有効な画像を利用者に提供することが可能である。
【００７３】
図２０は２台のカメラを用いた本実施形態に係る画面態様を示す図である。同図中、（ａ）は車両の後面に設置された２台のカメラＢＲ，ＢＬのカメラ画像の例、（ｂ）は仮想視点画像を作る際の仮想視点の位置（車後端中央部の上方から真下に見下ろす）を示す図、（ｃ）は（ａ）に示す２つのカメラ画像を用いて生成した合成画像である。図２０（ｃ）の合成画像では、上方から見下ろした仮想視点画像が下に配置されており、かつ、後方遠方を把握するために必要な画像がその上に配置されている。
【００７４】
本例のように、車両後方に設置した２台のカメラのみを用いた場合、車両側方の画像は得られないものの、車両後方については視野範囲がほぼ１８０度の画像が得られるため、自車の周辺だけでなく、後退方向の先の様子までが画像から一目でわかる。このため、並列駐車や縦列駐車における後退時には、このような２台のカメラを用いて生成した合成画像であっても、十分実用的である。
【００７５】
図２１は１台のカメラを用いた本実施形態に係る画面態様を示す図である。同図中、（ａ）は車両の後面に設置された１台のカメラの画像、（ｂ）は仮想視点画像を作る際の仮想視点の位置（車後端中央部の上方から真下に見下ろす）を示す図、（ｃ）は（ａ）に示すカメラ画像を用いて生成した合成画像である。図２１（ｃ）の合成画像では、上方から見下ろした仮想視点画像が下に配置されており、かつ、後方遠方を把握するために必要な画像がその上に配置されている。
【００７６】
本例では、カメラが１台だけなので、車両側方だけでなく、さらに車両斜め後方も視野範囲外になる。ところが図２１（ｃ）を見ると分かるように、カメラの画角が１３０度程度あれば、後方確認に十分な視野が得られ、自車の周辺だけでなく、後退方向の先の様子までが一目でわかる。このため、このような１台のカメラを用いて生成した合成画像であっても、並列駐車や縦列駐車における後退時には、十分実用的である。さらに、魚眼レンズを用いることによって、１台のカメラであっても十分に広い視野範囲を得ることができる。
【００７７】
なお、図２０（ｃ）および図２１（ｃ）における自車のイラストは、合成画像に対する自車の位置の目安を示すために貼り付けたものである。そして、イラストの大きさを、合成画像に対して正確に一致させることによって、運転がさらにし易くなることはいうまでもない。
【００７８】
（第４の実施形態）
第４の実施形態は上述の第４の課題を解決するためになされた発明の一態様であり、カメラ画像を変形・切り出して合成した仮想視点画像においても、路面以外の物体が消失しないような合成画像をドライバーに提供するものである。
【００７９】
次に、表示画面態様の例について図を用いて具体的に説明する。
【００８０】
図１１（ａ）は本実施形態に係る画像の例として、車両側方の後ろ向きのカメラ（カメラ２，６）のみを用いた第１の仮想視点画像と、後のペアカメラ（カメラ３，７）のみを用いた第２の仮想視点画像とを、並列に並べて画面に表示した例を示している。これらの仮想視点画像は、それぞれ、撮影範囲が重複するカメラ（カメラ２とカメラ３，またはカメラ６とカメラ７）について、一方のカメラを用い、かつ、他方のカメラを用いないで作成した仮想視点画像である。各仮想視点画像において、その作成に用いた一方のカメラの撮影範囲については、他方のカメラとの重複部分と非重複部分とがともに含まれている。これによって、図１７（ｂ）の仮想視点画像では消滅していた自車の右後ろ隅に立っているポールＰ１が、２個の仮想視点画像のいずれにも消滅せずに映っている。もちろん、画面に並べて表示する代わりに、複数の仮想視点画像を別の画面に表示させて画面の切替を行うようにしてもかまわない。
【００８１】
一般的に、このような路面外の物体が消滅する現象は下記の２つの条件がともに満たされたときに起こる。
【００８２】
条件１：境界を構成する２つの部分画像のもとになるそれぞれのカメラが該物体を撮影している方向が、異なること
これは、物体を見ている方向が２つのカメラで異なると、それぞれのカメラ画像を仮想視点画像に変形したときに、物体の歪んでいく方向が異なるということを意味する。これは図１７（ａ）のポールＰ１の変形からも明らかである。
【００８３】
条件２：該物体が部分画像同士の境界付近にあること
これは、変形によって歪んだ物体が境界付近にある場合、部分画像を作るための切りだし処理によって、歪んで伸びた部分がほとんど消されてしまうということを意味する。これも図１７（ａ）のポールＰ１の変形から明らかである。
【００８４】
したがって、条件１が満たされなければ物体は消えることは無い。図１２（ａ）は条件２を満たしながらも物体が消えない例を示した概念図である。図１２（ａ）では、ポールが車両後方のペアカメラの直後に立っているが、条件１を満たしていないため、すなわちカメラ３もカメラ７も、ポールに対してほぼ同じ方向に向いているため、いずれのカメラ画像を変形しても、ポールは同じように画面の下に伸びるように歪む。このため、境界部分において、カメラ３の部分画像とカメラ７の部分画像とを混ぜ合わせる処理などを行うことによって、ポールが消えるのを防げるわけである。
【００８５】
同様に、条件２が満たされなければ物体はほとんど消えない。図１２（ｂ）は条件１を満たしながらも物体が消えない例を示した概念図である。図１２（ｂ）では、ポールが車両右斜め後方に少し離れて立っており、異なる場所に位置するカメラ２、カメラ３の視野範囲にいるため条件１を満たしている。しかし、条件２を満たしていないため、すなわちカメラ２の部分画像とカメラ３の部分画像の境界から離れているため、カメラ３の部分画像において根元から画面右に伸びるように歪んでいるポールは、少なくとも境界までは消えずに残って見えている。
【００８６】
このことから、画面の構成案を設計する場合の一つの指針としては、上記条件１を回避するために、一つの画面に、異なる２つのカメラ画像から作成された部分画像同士の境界を作らないということが挙げられる。前述の図は、まさしくその一例を示したものであり、カメラ２とカメラ３の境界、およびカメラ６とカメラ７の境界を同じ画面に作らないために２つの画面に分けたものである。
【００８７】
また、図２のような８カメラ画像を使った場合では、図１１（ｂ）の例に示すような２画面で画像を構成することができる（合成の元になる撮影画像は図示しない）。図１１（ｂ）では、仮想視点画像において、両サイドのカメラのみを使った合成画像と、前後のカメラのみを使った合成画像とを、並列に並べて画面に表示している。いずれにしても、前記指針に基づいて作成されたものであれば、本例で示した以外の画面構成でももちろんかまわない。
【００８８】
（第５の実施形態）
第５の実施形態は上述の第５の課題を解決するためになされた発明の一態様であり、仮想視点画像において隣り合う部分画像同士の境界で画像が非連続、不鮮明になるため運転に支障を与えることを防ぐために、非連続になるような部分を写した別の画像を仮想視点画像に埋め込んで、ドライバーに提示する。
【００８９】
次に表示画面態様の例について図を用いて具体的に説明する。
【００９０】
図１３（ａ）は図２に示すカメラ２，３，６，７の４個のカメラを用いて生成した画面態様を示す図である。全体は、上記４つのカメラ画像を用いて合成した，上方から見下ろした仮想視点画像が使われており、画像の上半分の右に、当該車両の右後方部を撮影するカメラ２の左右反転画像を、画像の上半分の左に、当該車両の左後方部を撮影するカメラ６の左右反転画像を、サブウインドウを設けて表示している。仮想視点画像において、破線で囲まれた楕円部分では、駐車車両との接近度合がおおよそでしか把握できない。しかしながら、サブウィンドウに表示したカメラ２の左右反転画像において、実線で囲まれた円の部分を見ることによって、駐車車両の接近度合を一目で把握することができる。
【００９１】
また、図１３（ｂ）は図２に示すカメラ２，３，６，７の４個のカメラを用いて生成した他の画面態様を示す図である（合成の元になる撮影画像は図示しない）。全体は、カメラ３、７の画像を用いて合成した，上方から斜め後方に見下ろして左右を反転させた仮想視点画像が使われており、画像の下半分の右にカメラ２の反転画像を、画像の下半分の左にカメラ６の反転画像を、サブウインドウを設けて表示している。図１３（ｂ）の例では、仮想視点画像の注視点が画面全体の上半分に来るものと想定されるので、サブウインドウを画面下半分の右側と左側にそれぞれ配置している。効果は図１３（ａ）と同様である。
【００９２】
いずれの例においても、サブウインドウは、背景画像としての仮想視点画像のうち隠されても運転に支障を与えない部分に固定配置してもよいし、周囲の状況などに応じて配置場所を適宜動かしても構わない。
【００９３】
このような画面構成にすることで、仮想視点画像によって、自車と周囲物体との位置関係が把握できるとともに、境界で不連続になるような部分に関しては、サブウィンドウに表示されたミラー画像を見ることによって、車両周囲の物体との接近度合の詳細を、視線の移動なく把握できる。
【００９４】
（第６の実施形態）
第６の実施形態は上述した第６の課題を解決するためになされた発明の一態様であり、複雑な運転操作の際に詳細状況を把握したい場所である自車の側方領域について、他の部分に優先させて運転者に提示するものである。
【００９５】
図１４（ａ），（ｂ）は複雑な運転操作の一つである縦列駐車において、駐車動作開始時と駐車動作途中とにおける合成画像をそれぞれ示す図である。いずれの仮想視点画像においても、車両の側部に設置したカメラを優先して用いることによって、駐車中の車Ｐ＿ＣＡＲがカメラ４およびカメラ５のみによって画像に再現されるため、不連続になるという問題が解消されている。
【００９６】
もちろん、部分画像のレイアウトをこのような態様にすると、不連続部分が車両の前後に集中するため、その部分で利用者に違和感を与える可能性がある。しかしながら、この点に関しては例えば第３の実施形態で述べたように、車両の進行方向の先を把握するために必要な画像を仮想視点画像に並べて表示することなどによって、不連続部分の違和感を緩和させることが可能である。
【００９７】
上述の例では、車両側方のカメラを優先して用いることによって、縦列駐車の際に注視する部分が見やすくなるように、仮想視点画像における境界を構成した。この部分画像同士の境界は、用途や運転の状況に応じて適宜切り換えるようにしてもよい。これにより、運転者にとってより見やすい画像を提供することが可能になる。
【００９８】
図１５は並列駐車の際における部分画像同士の境界の切替の一例を示す図である。並列駐車を行うとき、動作開始当初（図１５（ａ））から途中（図１５（ｂ））までは、車両側方の物体（例えば駐車中の車Ｐ＿ＣＡＲ＿Ｓなど）と接触しないかどうかを主として確認する必要がある。このため、車両側部に設置したカメラを優先して用い、車両側部のカメラの撮影画像をできる限り広く用いた仮想視点画像を提示する。一方、車両の約半分がすでに駐車スペースに入りかかった最終段階では、車両後方の物体（例えば駐車中の車Ｐ＿ＣＡＲ＿Ｂなど）と当たらないかどうかを主として確認する必要がある。このため、車両後部に設置したカメラを優先して用い、車両後部のカメラの撮影画像をできる限り広く用いた仮想視点画像を提示する。
【００９９】
ここで、車両側部のカメラを優先するモードから車両後部のカメラを優先するモードへの切替には、例えば、車両に設けた，後方物体の検知を行うセンサの検知信号をトリガーとして用いればよい。もし、車両後方に何か物体が存在することをセンサが検知すれば、これをトリガーにして、車両後部のカメラを優先する画面モードに切り替えればよい。
【０１００】
なお、切替のトリガーとしては、物体検知センサの代わりに、例えばハンドル操作やギア操作など何を用いてもかまわない。また、もちろん、運転者が手動で画面モードを切り替えてもかまわない。
【０１０１】
図１６は上述した画面モードの切替を可能にするシステム構成を示すブロック図である。図１６の構成では、マッピングテーブル選択部２５が画面モード切換信号（例えば物体検知センサの信号など）を受け、その信号内容に応じて、マッピングテーブルＭＰＴを切り換える。例えば上記のような自動切換を実現するためには、車両側部のカメラを優先する画面モードのマッピングテーブルと、車両後部のカメラを優先する画面モードのマッピングテーブルとを予め準備しておけばよい。
【０１０２】
以上、本発明の目的を実現するための合成画像の表示態様を説明した。なお、この合成画像を実現するための装置構成としては、表示する画像の分に相当するマッピングテーブルを備えておくようにしても良いし、状況に応じてマッピングテーブルを自動で作成してもかまわない。
【０１０３】
また、本発明において車両とは、普通自動車、軽自動車、貨物自動車、バス等を含む。また、本発明の技術思想が適用されうるものであれば、クレーン車、シャベルカー等の特殊車両も本発明の車両とすることができる。
【０１０４】
なお、以上の説明では、本発明に係る監視システムは、車両に適用するものとしたが、車両以外の移動体、例えば飛行機や船舶などであっても、同様に適用することができる。また、移動体以外の監視対象、例えば店舗、住居、ショールームなどにカメラを設置してもよい。
【０１０５】
また、複数のカメラの設置位置や台数は、ここで示したものに限られるものではない。例えば、各ペアカメラを、車両の四隅にそれぞれ配置してもかまわない。
【０１０６】
また、本発明に係る画像処理部の機能は、その全部または一部を、専用のハードウェアを用いて実現してもかまわないし、ソフトウェアによって実現してもかまわない。また、本発明に係る画像処理部の機能の全部または一部をコンピュータに実行させるためのプログラムを格納した記録媒体や伝送媒体を、利用することも可能である。例えば、コンピュータを用いた構成において、画像合成部などの各処理手段を、ＣＰＵによって実行されるソフトウェアによって実現し、ＲＯＭまたはＲＡＭに格納しておいてもかまわない。
【０１０７】
【発明の効果】
以上のように本発明によると、当該車両の少なくとも１つのタイヤの接地部分を含む車両直近部分が、車両周辺部分よりも、拡縮率が相対的に高い合成画像が表示されるため、利用者は、車両の直近直下の詳細な状況と進行方向の先の様子とを、同じ画像から同時に確認することが可能になる。したがって、路肩などへの幅寄せのような場合に、自車の路肩への寄せ具合だけでなく、前進または後退したときの進行方向の先の様子が分かり、運転に不慣れな運転者であっても、画像を見るだけで峡路走行での対向車とのすれ違い、幅寄せなどが至極簡単にできるようになる。
さらに、カメラの取り付け場所を中心とした拡縮変形がおこなわれるため、ボディの側面の直線性、およびそこから先の進行方向の直線性が保持されるので、対向車と接触するかどうかが容易に判断できるようになる。
【図面の簡単な説明】
【図１】本発明の各実施形態に係る監視システムの構成を示すブロック図である。
【図２】カメラ配置の一例を示す図である。
【図３】図２に示す各カメラの撮像画像の例を示す図である。
【図４】本発明の第１の実施形態が適した状況の例であって、車両を後退させながら大きくハンドルを切って道路に誘導させる場合を示す図である。
【図５】本発明の第１の実施形態に係る画面態様の例を示す図である。
【図６】円筒モデルを用いた画像生成を示す図である。
【図７】お椀モデルを用いた画像生成を示す図である。
【図８】本発明の第２の実施形態に係る画面態様の例を示す図である。
【図９】本発明の第３の実施形態に係る画面態様の例を示す図である。
【図１０】本発明の第３の実施形態に係る画面態様の例を示す図である。
【図１１】本発明の第４の実施形態に係る画像の例を示す図である。
【図１２】仮想視点画像において境界付近の物体が消える条件を説明するための図である。
【図１３】本発明の第５の実施形態に係る画面態様の例を示す図である。
【図１４】本発明の第６の実施形態に係る画面態様の例を示す図である。
【図１５】本発明の第６の実施形態に係る画面モードの切替の例を示す図である。
【図１６】図１５に示す画面モードの切替を可能にするシステム構成を示すブロック図である。
【図１７】本発明の第４の課題を説明するための図である。
【図１８】本発明の第５の課題を説明するための図である。
【図１９】本発明の第２の実施形態に係る画面態様の他の例である。
【図２０】本発明の第３の実施形態に係る画面態様の他の例である。
【図２１】本発明の第３の実施形態に係る画面態様の他の例である。
【符号の説明】
１１ カメラ
２０ 画像処理部
３０ 表示装置

Claims (4)

1. 車両の周囲を撮影する少なくとも１つのカメラと、
   前記カメラの撮影画像を入力とし、このカメラ画像から、合成画像を生成し、表示装置に表示させる画像処理部とを備え、
   前記カメラの少なくとも１つは、少なくともボディの側面の一部および前のタイヤの一部を、撮影範囲に含むように前記ボディ側面に取り付けられ、
   前記画像処理部は、当該車両の幅寄せ時において、
   前記少なくとも１つのカメラの撮影画像を用い、前記ボディの側面および前タイヤを含むように、かつ、前記カメラの取り付け場所を中心としたお椀のモデルに投影する拡縮変形をおこない、かつ、前記前タイヤの接地部分を含む車両直近部分の拡縮率が車両周辺部分の拡縮率よりも相対的に高くなるように、合成された合成画像を表示するモードを有する
   ことを特徴とする監視システム。
2. 車両の周囲を撮影する複数のカメラと、
   前記複数のカメラの撮影画像を入力とし、このカメラ画像から、合成画像を生成し、表示装置に表示させる画像処理部とを備え、
   前記複数のカメラは、少なくとも当該車両のいずれのタイヤの一部、およびボディの側面の一部についても、いずれかのカメラが撮影範囲に含むように、前記ボディ側面に取り付けられ、
   前記画像処理部は、
   前記複数のカメラの撮影画像を用い、当該車両のいずれのタイヤについても少なくともその一部を含むように、合成された合成画像を表示するモードを有するものであり、かつ、
   前記合成画像を、前記カメラの取り付け場所を中心としたお椀のモデルに投影する拡縮変形をおこない、かつ、当該車両の少なくとも１つのタイヤの接地部分を含む車両直近部分の拡縮率が、車両周辺部分の拡縮率よりも相対的に高くなるように、合成するものである
   ことを特徴とする監視システム。
3. 請求項１および請求項２のうちのいずれか１項の監視システムであって、
   前記拡縮変形における拡縮率が、前記カメラの取り付け場所からの方向に関係なく、前記カメラの取り付け場所からの距離が等しければ、拡縮率が等しくなる
   ことを特徴とする監視システム。
4. 請求項１および請求項２のうちのいずれか１項の監視システムであって、
   車の進行方向にある部分と、前記部分と前記カメラの取り付け場所からの距離が等しい車の横方向にある部分との拡縮率が異なる
   ことを特徴とする監視システム。

Images