WO2018037789A1

WO2018037789A1 - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2018037789A1
Application number: PCT/JP2017/026413
Authority: WO
Inventors: 英史大場; 知典阿川; 匡平吉村
Original assignee: ソニー株式会社
Priority date: 2016-08-22
Filing date: 2017-07-21
Publication date: 2018-03-01
Also published as: US20190174060A1; CN109691088A; CN109691088B; US11528413B2

Abstract

車両周囲の情報の確認可能性を高めた画像表示を実現する画像処理装置を提供する。車両周囲を撮影するカメラの撮影画像を入力し、入力画像に基づいて、俯瞰画像と、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成し、生成した画像を表示部に表示する。例えば、車両の進行方向やハンドルの回転方向情報に応じて表示画像を生成、または更新する。車両が反時計回りにバックしている場合、俯瞰画像と、車両後方画像と、車両左側面側画像を生成して表示し、車両が時計回りにバックしている場合、俯瞰画像と、車両後方画像と、車両右側面側画像を生成して表示する。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。具体的には、車両に搭載したカメラの撮影画像や、撮影画像に基づく合成画像をドライバが観察可能な表示部（モニタ）に表示し、ドライバによる車両周囲状況の確認を可能とした画像処理装置、および画像処理方法、並びにプログラムに関する。

　車の直前や側面、あるいは後方など、例えば車の進行方向の様子を運転席から直接、視認できない場合、進行方向にある隠れた障害物に車をぶつけてしまう危険がある。このような危険を回避するシステムとして、車の前後や側面に装着した複数の広角カメラの撮影画像に基づいて車上部からの仮想画像を生成して運転席表示部に表示する画像提示システムがある。
　なお、車上部からの観察画像は「アランウドビュー（登録商標）画像」、または「俯瞰画像」、あるいは「鳥瞰画像」等と呼ばれる。以下、本明細書では、車の上部からの観察画像を「俯瞰画像」として説明する。

　上述した車上部からの観察画像（俯瞰画像）に、さらに車両進行方向の画像を表示する構成、例えば車の後退（バック）時に、後方の撮影画像を、俯瞰画像に並べて表示するシステムも既に製品化されている。
　北米などでは、車両後退時に進行方向の情報の後退方向の画像をドライバに提示することを義務付けた法的な安全基準が規定されており、上記の様に進行方向の画像をドライバに提示する構成が不可欠となる。

　しかし、例えば、車庫入れ等において、大きくカーブしながらバックする場合、車両の上部から見た画像（俯瞰画像）と、進行方向である後方の画像のみでは、車両の左右の障害物の確認が不十分となり、車両の側面を障害物にぶつけてしまう危険性がある。

　俯瞰画像には、車両の前方、後方、さらに左右方向の、車両回りの所定範囲の画像が含まれるが、俯瞰画像を生成する際の画像変換処理において、路面上に立っている立体物を撮像する際に、撮像された画像を画像の元の3次元形状を考慮せずに全て路面上の模様としてとらえ、取り込んだ像を仮想的に路面上の模様として路面の俯瞰画像に変換する。その為、路面上に無い立体物の画像は歪められ、結果としてドライバは、この上部から見た俯瞰画像に表示された各表示物（オブジェクト）の高さや水平方向の距離感を正確に把握することが難しい。
　俯瞰画像は、車両周囲に取り付けられた複数カメラの撮影画像の合成画像、例えば車両の前後左右に装着された４台のカメラの撮影画像の合成画像として生成される。
　車両周囲に取り付けられたカメラは近距離から広い視野角領域の画像を撮影するため、魚眼レンズ等の広角レンズを利用している。しかし、中心射影方式でない広角レンズによる撮影画像は、通常我々が物体を見る際に直視する像に比べて大きな画像歪みが発生する。特に取り込んだ画像を特定の空間面にあると仮定して異なる視点の画像に変換して見た場合、投影されている画像が世界空間に三次元的に広がった任意の対象物は大きな歪みが発生する。

　俯瞰画像と呼ばれる画像を生成する際の変換は、取り込んだ周辺空間が車体の車輪が設置する平面の周辺空間が車体周辺に広がっている仮定の元でカメラ車体設置位置での各カメラの俯瞰画像を生成し、それら各複数カメラの撮影画像の接合等の画像補正処理を実行して表示用の俯瞰画像が生成される。
　なお、俯瞰画像の生成処理について開示した従来技術として、例えば特許文献１（特開２０１５－１１９２２５号公報）がある。特許文献１は、車両の周囲に取り付けれらた撮像装置の撮影画像を俯瞰変換して合成して、車の上部から見た合成画像を生成する構成を開示している。この特許文献１は、合成対象となる２つの俯瞰画像の接合領域を２つの補正画像を交互に短冊状に表示した構成としている。

　しかし、立体物が上から見たままで映る真に車両の上方からテレセントリック光学系で取り込んだ画像とは異なり、車両側面に取り付けられた広角カメラで取り込んだ画像から仮想的に車両上部からの俯瞰画像に変換した表示画像では、含まれる個々のオブジェクトの形状の画像は歪められ、正確に車体との距離感を判断することは困難である。特にオブジェクトの高さに応じた車体との距離感を正確に把握することが困難であり、ドライバは、俯瞰画像に表示された各表示物（オブジェクト）が車両にぶつかる危険性を正確に判断できない場合がある。

特開２０１５－１１９２２５号公報特開２００５－３３９３１３号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、車両に搭載したカメラの撮影画像や、撮影画像に基づく合成画像をドライバが観察可能な表示部（モニタ）に表示し、ドライバによる車両周囲状況確認を、より確実に実行することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　車両運転者の視認可能な表示部に対する表示画像を生成する画像処理部を有し、
　前記画像処理部は、
　車両周囲を撮影するカメラの撮影画像を受信し、
　受信した前記撮影画像に基づいて、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成し、
　生成された前記車両進行方向画像と前記車両側面側画像とを表示部へ出力する画像処理装置にある。

　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、車両運転者の視認可能な表示部に対する表示画像を生成する画像処理部を有し、
　前記画像処理部が、
　車両周囲を撮影するカメラの撮影画像を受信し、
　受信した前記撮影画像に基づいて、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成し、
　生成された前記車両進行方向画像と前記車両側面側画像とを表示部へ出力する画像処理方法にある。

　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、車両運転者の視認可能な表示部に対する表示画像を生成する画像処理部を有し、
　前記プログラムは、前記画像処理部に、
　車両周囲を撮影するカメラの撮影画像を受信する処理と、
　受信した前記撮影画像に基づいて、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成する処理と、
　生成された前記車両進行方向画像と前記車両側面側画像とを表示部へ出力する処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、車両周囲の情報の確認可能性を高めた画像表示を実現する画像処理装置が実現される。
　本発明の構成により、車両周囲の情報の確認可能性を高めた画像表示を実現する画像処理装置が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

車両の表示部に対する画像表示例を説明する図である。車両に対するカメラの装着例を説明する図である。広角レンズを用いた撮影画像の例について説明する図である。広角レンズを用いた撮影画像の補正例である俯瞰変換について説明する図である。広角レンズを用いた撮影画像の補正例である俯瞰変換について説明する図である。広角レンズを用いた撮影画像の補正例である俯瞰変換について説明する図である。車両の進路と車両周囲の障害物の例について説明する図である。車両の表示部に対する画像表示例における問題点について説明する図である。車両の表示部に対する画像表示例における問題点について説明する図である。本開示の表示部に対する画像表示例を説明する図である。表示部の表示画像の一例について説明する図である。表示部の表示画像の一例について説明する図である。表示部の表示画像の一例について説明する図である。表示部の表示画像の一例について説明する図である。表示部の表示画像の一例について説明する図である。表示部の表示画像の一例について説明する図である。車両状況に応じた表示部の表示画像の遷移処理例について説明する図である。表示部の表示画像の一例について説明する図である。表示部の設定例について説明する図である。表示部の表示画像の一例について説明する図である。表示部の表示画像の一例について説明する図である。表示部の表示画像の一例について説明する図である。表示部の表示画像の一例について説明する図である。車両状況に応じた表示部の表示画像の遷移処理例について説明する図である。車両状況に応じた表示部の表示画像の遷移処理例について説明する図である。画像処理装置の構成例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　　１．車両の表示部の表示画像の一例について
　　２．車両上部からの仮想的な視点からの観察画像（俯瞰画像）における問題点について
　　３．車両走行時の安全性を向上させた画像表示構成について
　　４．表示部に対するその他の画像表示例について
　　４－１．その他の画像表示例１
　　４－２．その他の画像表示例２
　　５．その他の実施例について
　　６．画像処理装置の構成例について
　　７．本開示の構成のまとめ

　　［１．車両の表示部の表示画像の一例について］
　まず、車両の表示部の表示画像の一例について説明する。
　図１は、車の運転席前方のダッシュボード構成と、ダッシュボードに備えられた表示部１に表示される表示画像の例を示す図である。
　表示部１は、車のドライバが運転中に視聴可能な位置に設定されている。

　図１に示すように、表示部１には、
　車の上部からの観察画像である俯瞰画像２と、
　車の進行方向の画像である進行方向画像３（＝後方画像）が並べて表示されている。
　なお、図１に示す表示部１の表示画像例は、車がバック、すなわち後方に進行している場合の画像表示例であり、進行方向画像３として、後方画像が表示された例である。

　俯瞰画像２は、車の前後左右など、複数個所に取り付けられたカメラの撮影画像の各々を俯瞰変換し、生成した複数の俯瞰画像を接合して生成される合成画像であり、車の上部から車とその周囲を観察した場合に相当する仮想画像である。
　なお、俯瞰画像２には、自車両の形状を示す擬似的に生成した画像が含まれ、ドライバは、その自車両の周囲状況を確認することが可能となる。
　進行方向画像３（＝後方画像）は、例えば、車の後方に取り付けられたカメラの撮影画像に対する俯瞰変換や切り出し処理等を行って生成した画像である。
　これらの撮影画像に対する画像処理は、車両内部の画像処理部において実行される。

　表示部１に対する表示画像の生成に必要となる画像を撮影するカメラの装着例について、図２を参照して説明する。
　図２は、車両に対するカメラの装着例の一例を説明する図である。
　図２に示すように、車両１０には、例えば、前後左右の各位置に４つのカメラが装着される。
　車両１０の前面にカメラＦ２１、
　車両１０の左側面にカメラＬ２２、
　車両１０の右側面にカメラＲ２３、
　車両１０の背面にカメラＢ２４、
　これらの４つのカメラが装着される。

　カメラＦ２１～カメラＲ２４は、図２（Ｂ）カメラ構成に示すように、いずれも例えば魚眼レンズ等の広角レンズを備え、撮影方向は下方向（地面方向）又は地面方向を含む視野角の車体斜め横方向とし、地面および地面上の立体オブジェクト等を広範囲に撮影する構成となっている。

　広角レンズを用いて撮影される画像には、一般的に見慣れた写真用の中心射影の投影方式と比較して光軸外での像の歪みが発生する。図３を参照して広角レンズを用いた垂直下方面の撮影画像の一例について説明する。
　図３（ａ）は撮影環境を示している。被写体３１は水平な平らな地面に描かれた格子パターンである。被写体３１の中央上部に広角魚眼カメラ３０の光軸を垂直下向けに設定されて撮影が実行される。
　カメラ３０は、例えば魚眼レンズ等の広角レンズを装着したカメラである。

　図３（ａ）に示す撮影環境において魚眼レンズで撮影された画像の例が図３（ｂ）に示す撮影画像である。
　図３（ｂ）撮影画像に示すように、撮影画像上の地面の格子パターンは樽型に湾曲した歪みを有する。
　これは、広角魚眼レンズを用いた撮影によって発生する画像の歪みである。

　図３（ｂ）に示す撮影画像の歪みを取り除いて、路面の上の被写体と同様の形を持つ画像を生成するためには、カメラにより取り込まれた対象の画像が全て該当の仮想路面上にあると仮定し、魚眼レンズの入射角に応じた投影画の対応関係を元に、仮想路面上に像があるとの仮定で俯瞰変換を行うことが必要となる。なお、この俯瞰変換処理の例については、例えば特許文献２（特開２００５－３３９３１３号公報）に記載がある。
　この補正処理例について図４以下を参照して説明する。

　図４には、図３（ｂ）と同様の（ｂ）撮影画像と、撮影画像の補正処理（俯瞰変換）によって生成した（ｃ）補正画像（俯瞰画像）を示している。図示はしないが、広角魚眼カメラは必ずしもその光軸は鉛直方法を向ける必要はなく、車体斜め横向きでも良い。ここで、路面上の立体物がある場合で、かつ該当の立体物が道路面鉛直状のカメラ配置位置と異なると、立地物を斜め横から見た状況になる。

　図５、図６に示す図（ｄ）～（ｉ）を参照して簡単にその課題を説明する。カメラ直下の外周域に立地物３５がある。広角魚眼カメラで取り込んだ画像の全体を路面の模様と仮定して変換すると、立地物の路面上に位置する模様は画面の外周に寄るが、その樽型歪の画像を更に俯瞰変換する事で光軸外画側に押し出される。その為、路面の上面遠方からの撮影画像に基づく俯瞰画像は図（ｇ）や（ｉ）の様に見える。しかし、図５（ｆ）にのように路面の近接位置からの撮影画像から得られる広角魚眼カメラの部分切出し画像を俯瞰画像として仮想的に変換した場合、立地物３５は図５（ｅ）や４２（ｈ）の様に歪み、変形した画像となる。この変形の度合いによっては、画像観察者が立地物３５を認識することが困難となり、視認性が大幅に低下する。

　なお、上部から観察した画像は、「俯瞰画像」とよばれ、「俯瞰画像」に変換する画像補正処理を「俯瞰変換」と呼ぶ。図４に示す（ｃ）補正画像は「俯瞰画像」であり、図４の（ｂ）撮影画像から（ｃ）補正画像を生成する補正処理が「俯瞰変換」に相当する。
　図４（ｃ）補正画像（俯瞰画像）は、先に説明した図３（ａ）の撮影環境における被写体３１と同様の格子パターンを持つ画像となり、地面を上部から見た中心射影としての正しい俯瞰画像となり、地面の格子パターンは実被写体の形状を復元したものとなっている。

　図２に示す車両１０の前後左右の各位置に装着された４つのカメラの撮影画像に対して、上述した俯瞰変換を含む画像補正処理を実行し、さらに各画像を貼り合わせる合成処理を実行することで、図１に示す俯瞰画像２が生成される。
　なお、図１に示す進行方向画像３（＝後方画像）は、例えば図２に示す車両１０の後部に装着したカメラＢ，２４の撮影画像を用いた画像補正処理と画像切り出し処理よって取得可能である。ただし、進行方向画像３（＝後方画像）の視点方向は、俯瞰画像２のように下方向ではなく、進行方向（後方）とすることが必要であり、進行方向（後方）に視点方向を設定した画像変換を行い、進行方向画像３（＝後方画像）を得ることができる。

　なお、図２に示す車両１０の前後左右の各位置に装着された４つのカメラの他に、後方撮影用の広角カメラ、または通常カメラを後方撮影用カメラとして装着し、この後方撮影用カメラの撮影画像を用いて図１に示す進行方向画像３（＝後方画像）を取得して表示する構成としてもよい。

　　［２．車両上部からの仮想的な視点からの観察画像（俯瞰画像）における問題点について］
　図２～図４を参照して説明したように、車両上部からの観察画像である俯瞰画像は、車両周囲に取り付けられた複数カメラの撮影画像の合成画像、例えば車両の前後左右に装着された４台のカメラの撮影画像の合成画像として生成される。
　上述したように、車両周囲に取り付けられたカメラは近距離から広い領域の画像を撮影するため、魚眼レンズ等の広角レンズを利用している。しかし、広角レンズによる撮影画像は、大きな画像歪みが発生する。特に画像周囲領域に大きな歪みが発生する。
　これらの歪を解消するための補正処理や、複数カメラの撮影画像の接合等の画像補正処理を実行して表示用の俯瞰画像が生成される。

　しかし、これらの画像補正を行った結果、想定される変換投影面の路面に無い表示画像の路面上に起立したオブジェクトの形状は実際のオブジェクトの形状と異なってしまうことがある。特に画像接合領域近辺のオブジェクトは、形状が変化する可能性が高い。
　従って、ドライバは、表示部に表示される俯瞰画像に表示される個々のオブジェクトの具体的な形状、特にオブジェクトの高さや車体との相対距離を正確に把握することが困難であり、俯瞰画像内の表示オブジェクトが車両にぶつかる危険性を正確に判断できない場合がある。

　具体的な例について、図７以下を参照して説明する。
　図７には、駐車場の一つの駐車位置にバックで駐車する車両４１を示している。
　車両４１は、右方向にハンドルを回して、図に示す矢印に従って後方から駐車スペースに進入しようとしている状態である。
　しかし、図に示すように車両４１の左側に障害物（オブジェクト）４２、すなわち「ごみばこ」が存在する。

　障害物（オブジェクト）４２の高さは、車両の高さより低く、ドライバからは直接観察できない。
　このとき、車両４１の表示部に表示される画像の例を図８に示す。
　図８に示す表示部１の表示画像は、先に図１を参照して説明した表示画像と同様の画像である。

　図８に示すように、表示部１には、
　車の上部からの観察画像である俯瞰画像２と、
　車の進行方向の画像である進行方向画像３（＝後方画像）が並べて表示されている。

　俯瞰画像２には、障害物（オブジェクト）画像４２ａ、すなわち「ごみ箱」の画像が表示されるが、前述したように、俯瞰画像の生成過程における様々な補正処理等による変形が大きく、ごみ箱であると判断できる鮮明で形状がごみ箱の形状を維持した画像とはなっていない。
　特に障害物（オブジェクト）画像４２ａの高さに応じた車体との距離感については全く判断することができない。ドライバは、直感的な側面目の形状から障害物（オブジェクト）画像４２ａ形状が歪に変形表示されているため、気付かない可能性もあり、また、何かが表示されていることを気付いても、床の汚れ、あるいは床に落ちているごみ等と判断してしまう可能性がある。また、平らな壁面などの場合は壁であるか道路面であるかの判断も困難となる。

　このような誤った判断に基づいて、ドライバは、そのまま車両４１の後方への移動を継続すると外輪差のために車体は障害物がある側面方向へ広がる掃引軌跡を描き後退する。その結果、次の図９に示すように、車両４１の側面が、障害物（オブジェクト）４２、すなわち「ごみ箱」に衝突し、車と「ごみ箱」の双方に損傷を発生させてしまう恐れがある。

　車両がハンドルを操作して、カーブしながら進むと、前輪と後輪との軌跡は異なる。すなわち後退時の場合は、外輪差に起因する後輪軌跡と車体前方部軌跡の差異が発生する。
　図７～図９に示すように、右にハンドルを回して車両をバックさせた場合、前輪の軌跡は、後輪の軌跡より外側を描くことになる。すなわち、車両後部より車両前部が外側に膨らんで回転する。この結果、車両の左側面において、車両後部では接触しない障害物に対して、車両前部で接触や衝突を起こす可能性がある。

　　［３．車両走行時の安全性を向上させた画像表示構成について］
　次に、上述した問題点を解決し、本開示の構成、すなわち、車両走行時の安全性を向上させた画像表示構成について説明する。
　図１０は、本開示の一実施例に係る表示部１００の画像表示例を示す図である。

　図１０に示す表示部１００の表示画像には、以下の３種類の画像が含まれる。
　（ａ）俯瞰画像１０１、
　（ｂ）進行方向画像（後方画像）１０２Ｂ
　（ｃ）車両側面側画像（左側面画像）１０３Ｌ
　なお、特に断らない限り車両側面側画像とはカメラ取り付け位置から前方の車輪と車体前部を包含し、かつ車体側面を視野角とする準中心射影方式の画像乃至は車両が前進時ならばカメラ取り付け位置から後方の車輪と車体後部を包含し、かつ車体側面を視野角とする準中心射影方式の画像ないしは前述したカメラモニタシステムと呼ばれる後写鏡置き換えのカメラ画像の一部であってもよい。

　（ａ）俯瞰画像１０１と、（ｂ）進行方向画像（後方画像）１０２Ｂ、これらの２つの画像は、先に図１を参照して説明した画像と同様の画像である。
　なお、図１０に示す表示部１００の表示画像の例は、図１０中央の俯瞰画像１０１に示すように、車両が右側にハンドルを切って、車両駐車スペースに後方から反時計回り（左回り）で進入している状態での表示部１００の表示画像の例である。

　車両の左側には、図７を参照して説明したと同様の障害物（オブジェクト）である「ごみ箱」が存在する。
　図１０中央の俯瞰画像１０１には、先に図８を参照して説明したと同様の障害物画像（オブジェクト画像）１１１ａが表示されている。
　しかし、ドライバは、この障害物画像（オブジェクト画像）１１１ａを見ても、その形状や高さを正しく認識することができず、車両に対する衝突可能性がないと判断してしまう恐れがある。

　図１０に示す（ｃ）車両側面側画像（左側面画像）１０３Ｌは、図１を参照して説明した表示画像には含まれない新たな追加画像である。
　車両側面側画像（左側面画像）１０３Ｌは、車両の左側面側の画像である。

　前述したように、車両が右側にハンドル切って、反時計回り（左回り）で車両をバックさせた場合、前輪の軌跡は、後輪の軌跡より外側を描くことになる。すなわち、外輪差により、車両後部より車両前部が外側に膨らんで回転する。この結果、車両の左側面において、車両後部では接触しない障害物に対して、車両前部で接触や衝突を起こす可能性がある。
　このように外輪差による車両前方部と、後方部の軌跡の差異が発生する。

　図１０に示す車両側面側画像（左側面画像）１０３Ｌは、この外輪差による衝突可能性のある位置の画像、すなわち、車両が移動する方向の画像である。この車両移動方向の画像を、車両側面側画像（左側面画像）１０３Ｌとして表示部に表示する。
　図１０に示す車両側面側画像（左側面画像）１０３Ｌには、車両自体の左側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ライン１１２（ガイドライン）が表示される。

　ドライバは、この図１０に示す画像の歪みが少ない中心射影像の車両側面側画像（左側面画像）１０３Ｌと、車両移動方向表示ライン１１２を確認することで、車両の移動方向にある障害物が何であるか、また、その高さと車両からの距離を正確に把握し、車両との衝突可能性について正しく判断することが可能となる。

　図１０に示す車両側面側画像（左側面画像）１０３Ｌには、障害物画像（オブジェクト画像）１１１ｂ、すなわち「ごみ箱」の画像が歪みなく鮮明に表示されており、ドライバは、車両左側面側に車両と接触または衝突可能性のある「ごみ箱」があることを確実に認識することが可能で、かつ立体物と車体の相対関係が側面から確認できる形となる。
　この結果、ドライバは、車両の進行を停止し、ハンドルの操作等を行い、車両進行方向を変更し、障害物を避けて車両を安全に走行させることができる。

　なお、俯瞰画像１０１、進行方向画像（後方画像）１０２Ｂ中にも車の進行方向を示すガイドラインが表示される。
　俯瞰画像１０１中の矢印や、進行方向画像（後方画像）１０２Ｂ中に点線で示す左右タイヤまたは車体最前部のバンパーコーナー部の予測軌跡がクルマの進行方向を示すガイドラインとして表示される。

　なお、図１０に示す例は、車両のハンドルを右側に回して、反時計回り（左回り）で車両をバックさせた場合の画像例であり、前述したように、外輪差に起因して車両の前側が後ろ側より左側に膨らんで回転する。
　すなわち、車両前側が左方向に移動する。この移動方向の画像として図１０に示す車両側面側画像（左側面画像）１０３Ｌの画像を表示している。

　一方、車両のハンドルを左側に回して、時計回り（右回り）で車両をバックさせた場合は、逆に車両の前側が後ろ側より右側に膨らんで回転する。
　すなわち、車両前側が右方向に移動する。この場合には、この移動方向の画像として図１０に示す車両側面側画像（左側面画像）１０３Ｌではなく、車両の右側の画像を表示する。なお、この画像の表示例については後段で説明する。

　図１０に示す画像表示例では、車両側面側画像（左側面画像）１０３Ｌを中央に表示した俯瞰画像１０１の左前領域に表示する設定としている。
　これは、表示部１００を見たドライバが、車両側面側画像（左側面画像）１０３Ｌが、車両の左側面前方の画像であることを直感的に把握しやすくするための画像配置である。

　図１０に示す表示部１００の表示画像である以下の２つの画像、すなわち、
　車両側面側画像（左側面画像）１０３Ｌ、
　進行方向画像（後方画像）１０２Ｂ、
　これらの２つの画像について、図１１を参照して、さらに詳細に説明する。

　図１１中央には（参考図）として、車両の移動方向と表示画像領域を説明する図を示している。
　車両は右方向にハンドルを回転させて後進（バック）する設定である。
　この設定において、車両は、（参考図）中の二重線矢印に示すように後方に移動するとともに、点線矢印に示すように車両の約前半分は、左側に移動することになる。

　図１１に示す（参考図）中の二重線矢印に示す車両の後方画像が、図１１右側に示す進行方向画像（後方画像）１０２Ｂである。
　また、（参考図）中の点線矢印に示す車両の左側面側の画像が、図１１左側に示す車両側面側画像（左側面）１０３Ｌである。
　（参考図）中の扇形の領域Ｂは、ほぼ図１１右側に示す進行方向画像（後方画像）１０２Ｂの画像領域に相当し、（参考図）中の扇形の領域Ｌは、ほぼ図１１左側に示す車両側面側画像（左側面）１０３Ｌの画像領域に相当する。

　図１１左側に示す車両側面側画像（左側面）１０３Ｌには、車両移動方向表示ライン１１２が画像に重畳して表示される。
　この車両移動方向表示ライン１１２は、車両のハンドル操作に応じて決定される車両の移動方向を示すラインである。
　画像処理部は、車両のハンドル操作情報を入力し、入力した車両のハンドル操作情報に基づいて車両の移動方向を算出し、算出結果に応じて決定される車両の移動方向に応じて描画ラインを決定し、車両移動方向表示ライン１１２を画像上に重畳して出力する。描画ラインの座標は、車体が掃引する再外点の軌跡を路面上に描いた線、または一定の安全マージン（例えば１０ｃｍ）の余裕度を加味した膨らみ軌跡線であってもよい。車体最外端部の掃引空間のＶＲ仮想表示１１２ａのような設定としてもよい。また、ハンドルを切った量に応じた描画ラインや、最大限ハンドルを切った際の軌跡を別に表示したり、切り替えて表示したりしてもよい。さらに、車両に搭載した画像処理装置に中空座標演算処理を実行させて、対象物座標に中空座標で表示し、かつ、図１１の障害物一部領域画像１１１ｃのように接触部位の中空空間の色変更処理や、パターン描画による強調表示をしてもよい。

　また、車両側面側画像（左側面）１０３Ｌには、車両の側面領域の画像、すなわち車両側面画像１１３を含む設定とする。
　このように、表示画像に車両側面画像１１３を含めることで、車両と障害物までの距離や、障害物の大きさを正確に把握することが可能となる。

　なお、図１１に示す進行方向画像（後方画像）１０２Ｂにも、車両の後部の一部である車両パンパ画像１１４を含める設定としている。
　このように、表示画像に車両自身の端部領域画像である車両バンパ画像１１４を含めることで、車両と障害物までの距離や、障害物の大きさを正確に把握することが可能となる。

　なお、図１０、図１１に示す車両側面側画像（左側面）１０３Ｌと、進行方向画像（後方画像）１０２Ｂは、車両内部の画像処理部が、先に図２を参照して説明した車両の前後左右の各位置に装着された４つのカメラの撮影画像を入力して、これらの入力画像を適用した俯瞰変換や画像切り出し処理等の画像補正処理を実行して取得することが可能である。

　あるいは、図１０および図１１に示す車両側面側画像（左側面）１０３Ｌと、進行方向画像（後方画像）１０２Ｂを撮影する専用のカメラを車両に装着して、これらのカメラの撮影画像を用いて表示用の画像を生成する構成としてもよい。
　すなわち、車両側面から前方を撮影するカメラ、車両後方を撮影するカメラ各々の専用カメラとして広角カメラ、または通常カメラを車両に装着し、車両内の画像処理装置が、これらのカメラの撮影画像を入力して、図１０、図１１に示す車両側面側画像（左側面）１０３Ｌと、進行方向画像（後方画像）１０２Ｂを生成して表示する構成としてもよい。

　図１０、図１１を参照して説明した表示部１００の画像表示例は、図１０中央の俯瞰画像１０１や、図１１（参考図）から理解されるように、車両のハンドルを右側に回して、反時計回り（左回り）で車両をバックさせた場合の画像例である。
　次に、車両のハンドルを左側に回して、時計回り（右回り）で車両をバックさせた場合の表示部１００の表示画像の例について、図１２を参照して説明する。

　図１２に示すように、表示部１００の表示画像には、以下の３種類の画像が含まれる。
　（ａ）俯瞰画像１０１、
　（ｂ）進行方向画像（後方画像）１０２Ｂ
　（ｃ）車両側面側画像（右側面画像）１０３Ｒ

　（ａ）俯瞰画像１０１と、（ｂ）進行方向画像（後方画像）１０２Ｂ、これらの２つの画像は、先に図１０参照して説明した画像と同様の画像である。
　図１２に示す例において、俯瞰画像１０１に示すように車両の右側に障害物画像（オブジェクト画像）１１１ａが表示されている。
　しかし、ドライバは、この障害物画像（オブジェクト画像）１１１ａを見ても、その形状や高さを認識することができず、車両に対する衝突可能性がないと判断してしまう。

　図１２に示す（ｃ）車両側面側画像（右側面画像）１０３Ｒは、車両の右側面側の画像である。
　車両が左側にハンドル切って、時計回り（右回り）で車両をバックさせた場合、前輪の軌跡は、後輪の軌跡より外側を描くことになる。すなわち、車両後部より車両前部が外側に膨らんで回転する。この結果、車両の右側面において、車両後部では接触しない障害物に対して、車両前部で接触や衝突を起こす可能性がある。
　すなわち外輪差による車両前方部と、後方部の軌跡の差異が発生する。

　図１２に示す車両側面側画像（右側面画像）１０３Ｒは、この外輪差による衝突可能性のある位置の画像、すなわち、車両が移動する方向の画像である。この画像を表示部に表示する。
　図１２に示す車両側面側画像（右側面画像）１０３Ｒには、車両自体の右側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ライン１１２が表示される。

　ドライバは、この図１２に示す車両側面側画像（右側面画像）１０３Ｒと、車両移動方向表示ライン１１２を見ることで、車両の移動方向にある障害物が何であるか、また、その高さと車両からの距離を正確に把握し、車両との衝突可能性について正しく判断することが可能となる。
　図１２に示す車両側面側画像（右側面画像）１０３Ｒには、障害物画像（オブジェクト画像）１１１ｂ、すなわち「ごみ箱」の画像が鮮明に表示されており、ドライバは、車両右側面側に車両と接触または衝突可能性のある「ごみ箱」があることを確実に認識することが可能となる。
　この結果、ドライバは、車両の進行を停止し、ハンドルの操作等を行い、車両進行方向を変更し、障害物を避けて車両を安全に走行させることが可能となる。

　なお、図１２に示す表示部１００の３つの画像の配置は、先に説明した図１０の画像配置とは異なっている。
　すなわち、図１２に示す表示部１００の画像表示例では、車両側面側画像（右側面画像）１０３Ｒを俯瞰画像１０１の右前領域に表示する設定としている。
　これは、表示部１００を見たドライバが、車両側面側画像（右側面画像）１０３Ｒが、車両の右側面前方の画像であることを直感的に把握しやすくするための画像配置である。

　図１２に示す表示部１００の表示画像である以下の２つの画像、すなわち、
　車両側面側画像（右側面画像）１０３Ｒ、
　進行方向画像（後方画像）１０２Ｂ、
　これらの２つの画像について、図１３を参照して、さらに詳細に説明する。

　図１３中央には（参考図）として、車両の移動方向と表示画像領域を説明する図を示している。
　車両は左方向にハンドルを回転させて後進（バック）する設定である。
　この設定において、車両は、（参考図）中の二重線矢印に示すように後方に移動するとともに、点線矢印に示すように車両の約前半分は、右側に移動することになる。

　図１３に示す（参考図）中の二重線矢印に示す車両の後方画像が、図１３左側に示す進行方向画像（後方画像）１０２Ｂである。
　また、（参考図）中の点線矢印に示す車両の右側面側の画像が、図１３右側に示す車両側面側画像（右側面）１０３Ｒである。
　（参考図）中の扇形の領域Ｂは、ほぼ図１３左側に示す進行方向画像（後方画像）１０２Ｂの画像領域に相当し、（参考図）中の扇形の領域Ｒは、ほぼ図１３右側に示す車両側面側画像（右側面）１０３Ｒの画像領域に相当する。

　図１３左側に示す車両側面側画像（右側面）１０３Ｒには、車両移動方向表示ライン１１２が画像に重畳して表示される。
　この車両移動方向表示ライン１１２は、車両のハンドル操作に応じて決定される車両の移動方向を示すラインである。
　画像処理部は、車両のハンドル操作情報を入力し、入力した車両のハンドル操作情報に基づいて車両の移動方向を算出し、算出結果に応じて決定される車両の移動方向に応じて描画ラインを決定し、車両移動方向表示ライン１１２を画像上に重畳して出力する。

　また、車両側面側画像（右側面）１０３Ｒには、車両の側面領域の画像、すなわち車両側面画像１１３を含む設定とする。
　このように、表示画像に車両側面画像１１３を含めることで、車両と障害物までの距離や、障害物の大きさを正確に把握することが可能となる。

　なお、図１３に示す進行方向画像（後方画像）１０２Ｂにも、車両の後部の一部である車両パンパ画像１１４を含める設定としている。
　このように、表示画像に車両バンパ画像１１４を含めることで、車両と障害物までの距離や、障害物の大きさを正確に把握することが可能となる。

　図１０～図１３を参照して説明した画像表示例は、ハンドルを右方向、または左方向に回転して車両をカーブさせながら後方にバックする場合の画像表示例である。
　このような場合には、車両の移動方向の画像として、後方画像に加え、左側面の画像、または右側面の画像を追加表示する。
　しかし、ハンドルを回転させずに直進する場合は、車両は前後に移動するのみで、左右方向に移動することはない。従って、左側面画像や右側面画像の表示処理は行われない。

　図１４は、車両を後ろ方向にまっすぐ後進させた場合の表示部１００の表示画像例を示している。
　表示部には、俯瞰画像１０１と、進行方向画像（後方画像）１０２Ｂのみ表示される。
　この場合、車両は左右方向に移動することがなく、車両の左右側面側障害物が存在しても接触や衝突の可能性がないため、側面画像や右側面画像の表示処理は行わない。

　図１５は、車両を前方向にまっすぐ前進させた場合の表示部１００の表示画像例を示している。図の俯瞰画像１０１に示すように、車両は駐車スペースに対して前向きで直進している。
　この設定では、表示部には、俯瞰画像１０１と、進行方向画像（前方画像）１０２Ｆのみ表示される。
　この場合も、車両は左右方向に移動することがなく、車両の左右側面側障害物が存在しても接触や衝突の可能性がないため、側面画像や右側面画像の表示処理は行わない。

　図１６に、車両の運転席前方のダッシュボード構成と、ダッシュボードに備えられた表示部１００に表示される表示画像の例を示す。
　表示部１００は、車のドライバが運転中に視聴可能な領域に備えられている。

　図１６に示す表示部１００の表示例は、先に図１０を参照して説明した表示例であり、以下の３種類の表示画像が表示されている例である。
　（ａ）俯瞰画像１０１、
　（ｂ）進行方向画像（後方画像）１０２Ｂ
　（ｃ）車両側面側画像（左側面画像）１０３Ｌ

　表示部１００に表示される画像は、車両の移動方向に応じて切り替えられる。車両内部の画像処理装置が、車両情報、具体的には、車両が前進、後進、いずれの方向に進んでいるか、ハンドルの回転方向、回転角度情報等を入力し、これらの車両情報に応じて表示部１００の表示画像の切り換え処理を実行する。

　図１７を参照して、表示部１００の表示画像の遷移例について説明する。
　図１７には、以下の４種類の車両状態における表示部の表示画像例を示している。
　（Ｓ０１）直進前進
　（Ｓ０２）直進後進（直進バック）
　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）
　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）

　（Ｓ０１）直進前進の場合は、先に図１５を参照して説明したように、表示部には、俯瞰画像１０１と、進行方向画像（前方画像）１０２Ｆのみ表示される。
　この場合、車両は左右方向に移動することがなく、車両の左右側面側障害物が存在しても接触や衝突の可能性がないため、側面画像や右側面画像の表示処理は行わない。

　（Ｓ０２）直進後進（直進バック）の場合も、先に図１４を参照して説明したように、表示部には、俯瞰画像１０１と、進行方向画像（後方画像）１０２Ｂのみ表示される。
　この場合も、車両は左右方向に移動することがなく、車両の左右側面側障害物が存在しても接触や衝突の可能性がないため、側面画像や右側面画像の表示処理は行わない。

　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）の場合は、先に図１０を参照して説明したように、表示部には、俯瞰画像１０１と、進行方向画像（後方画像）１０２Ｂと、車両側面側画像（左側面画像）１０３Ｌ、これらの３つの画像が表示される。
　この場合、車両前部が左方向に移動する。車両側面側画像（左側面画像）１０３Ｌは、この移動方向の画像である。この画像は、俯瞰画像１０１の左前領域に表示する。これは、表示部１００を見たドライバに、車両側面側画像（左側面画像）１０３Ｌが、車両の左側面前方の画像であることを直感的に把握させるための画像配置である。
　なお、車両側面側画像（左側面画像）１０３Ｌには、車両自体の左側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）の場合は、先に図１２を参照して説明したように、表示部には、俯瞰画像１０１と、進行方向画像（後方画像）１０２Ｂと、車両側面側画像（右側面画像）１０３Ｒ、これらの３つの画像が表示される。
　この場合、車両前部が右方向に移動する。車両側面側画像（右側面画像）１０３Ｒは、この移動方向の画像である。この画像は、俯瞰画像１０１の右前領域に表示する。これは、表示部１００を見たドライバに、車両側面側画像（右側面画像）１０３Ｒが、車両の右側面前方の画像であることを直感的に把握させるための画像配置である。
　なお、車両側面側画像（右側面画像）１０３Ｒには、車両自体の右側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　図１７に示す４つの画像表示例は、車両状態に応じた代表的な画像の表示例である。
　例えば、図１７に示す以下の車両状態、すなわち、
　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）
　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）
　これらの車両状態において表示される俯瞰画像、進行方向画像（後方画像）、車両側面側画像（左／右側面画像）、これらの画像は、ハンドルの回転角度に応じて変更される。
　また、各画像中に示される車の進行方向や移動方向を示すガイドラインもハンドルの回転角度に応じて逐次、後進される。
　車内部の画像処理装置は、ハンドルの回転角度や車の速度情報等の車両情報を、遂次、入力し、これらの入力情報に基づいて、車の進行方向や移動方向を算出し、各画像中に示すガイドラインの描画処理や更新処理を実行する。

　　［４．表示部に対するその他の画像表示例について］
　次に、表示部に対するその他の画像表示例について説明する。

　　［４－１．その他の画像表示例１］
　図１７を参照して説明した例では、ハンドルを左右いずれかに回転してバックする場合、すなわち、図１７に示す、
　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）
　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）
　上記のいずれかの設定では、
　（ａ）俯瞰画像、
　（ｂ）進行方向画像（後方画像）、
　（ｃ）車両側面側画像（左／右側面画像）、
　これら３種類の画像を表示する例について説明した。

　しかし、これら３種類の画像を表示部に表示することは必須ではなく、これらの３種類の画像のいずれか、またはいずれか２画像の組み合わせを表示する構成としてもよい。
　図１８は、
　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）
　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）
　上記の設定において、（ａ）俯瞰画像の表示を行わず、
　（ｂ）進行方向画像（後方画像）、
　（ｃ）車両側面側画像（左／右側面画像）、
　これら２種類の画像のみを表示する例である。

　図１８（１）は、「ハンドル右回転後進（反時計回り（左回り）バック）」における表示画像の例である。
　表示部には、車両前方移動方向に相当する表示部左側の位置に、車両側面側画像（左側面画像）が表示され、右側に進行方向画像（後方画像）が表示される。

　図１８（２）は、「ハンドル左回転後進（時計回り（右回り）バック）」における表示画像の例である。
　表示部には、車両前方移動方向に相当する表示部右側の位置に、車両側面側画像（右側面画像）が表示され、左側に進行方向画像（後方画像）が表示される。

　このように、俯瞰画像の表示を省略し、進行方向画像（後方画像）と、車両側面側画像（左／右側面画像）のみを表示する設定や、その他の画像の組み合わせ、あるいは１つの画像のみを表示するといった設定も可能である。

　　［４－２．その他の画像表示例２］
　これまでに説明した画像表示例に適用した表示部１００は、横長の設定であった。
　車両に搭載する表示部は横長の設定に限らず、縦長の設定としてもよい、
　例えば図１９に示すように車のダッシュボードのドライバが確認可能な一に縦長の表示部１００を設ける。

　図１９に示す縦長の表示部１００に対する画像表示例を図２０に示す。
　図２０には、縦長の表示部１００に対する画像表示例として、以下の２つの車両状態における表示例を示している。
　（１）ハンドル右回転後進（反時計回り（左回り）バック）
　（２）ハンドル左回転後進（時計回り（右回り）バック）

　（１）ハンドル右回転後進（反時計回り（左回り）バック）
　この車両状態の場合には、図２０（１）に示すように、表示部１００には、俯瞰画像１０１と、進行方向画像（後方画像）１０２Ｂと、車両側面側画像（左側面画像）１０３Ｌ、これらの３つの画像が表示される。

　表示部の上部領域に俯瞰画像１０１と車両側面側画像（左側面画像）１０３Ｌを表示し、下部領域に進行方向画像（後方画像）１０２Ｂを表示する。
　車両側面側画像（左側面画像）１０３Ｌは、俯瞰画像１０１の左前領域に表示される。この表示画像の配置は、表示部１００を見たドライバに、車両側面側画像（左側面画像）１０３Ｌが、車両の左側面前方の画像であることを直感的に把握させるための画像配置である。
　なお、車両側面側画像（左側面画像）１０３Ｌには、車両自体の左側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　（２）ハンドル左回転後進（時計回り（右回り）バック）
　この車両状態の場合には、図２０（２）に示すように、表示部１００には、俯瞰画像１０１と、進行方向画像（後方画像）１０２Ｂと、車両側面側画像（右側面画像）１０３Ｒ、これらの３つの画像が表示される。

　表示部の上部領域に俯瞰画像１０１と車両側面側画像（右側面画像）１０３Ｒを表示し、下部領域に進行方向画像（後方画像）１０２Ｂを表示する。
　車両側面側画像（右側面画像）１０３Ｒは、俯瞰画像１０１の右前領域に表示される。この表示画像の配置は、表示部１００を見たドライバに、車両側面側画像（左側面画像）１０３Ｌが、車両の左側面前方の画像であることを直感的に把握させるための画像配置である。
　なお、車両側面側画像（右側面画像）１０３Ｒには、車両自体の左側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　図２１は、縦長の表示部１００に対するもう１つの表示例であり、図２０とは異なる画像表示例を示す図である。
　図２１には、図２０と同様、以下の２つの車両状態における表示例を示している。
　（１）ハンドル右回転後進（反時計回り（左回り）バック）
　（２）ハンドル左回転後進（時計回り（右回り）バック）

　（１）ハンドル右回転後進（反時計回り（左回り）バック）
　この車両状態の場合には、図２１（１）に示すように、表示部１００には、俯瞰画像１０１と、進行方向画像（後方画像）１０２Ｂと、車両側面側画像（左側面画像）１０３Ｌ、これらの３つの画像が表示される。

　表示部の上部領域に俯瞰画像１０１を表示し、俯瞰画像１０１の車両領域の左前領域に車両側面側画像（左側面画像）１０３Ｌを重畳表示している。下部領域には進行方向画像（後方画像）１０２Ｂを表示する。

　図２１に示す例は、俯瞰画像１０１の車両領域に重畳させて車両側面側画像（左側面画像）１０３Ｌを重畳表示した例である。
　この表示画像により、ドライバは、車両の移動方向の障害物の有無を、より確実に確認可能となる。
　本例は、車両側面側画像（左側面画像）１０３Ｌを、俯瞰画像１０１の車両領域の左前部に重畳して表示しており、この位置に注意が必要であることをドライバに知らせることを可能とした画像である。

　（２）ハンドル左回転後進（時計回り（右回り）バック）
　この車両状態の場合には、図２１（２）に示すように、表示部１００には、俯瞰画像１０１と、進行方向画像（後方画像）１０２Ｂと、車両側面側画像（右側面画像）１０３Ｒ、これらの３つの画像が表示される。

　表示部の上部領域に俯瞰画像１０１を表示し、俯瞰画像１０１の車両領域の右前領域に車両側面側画像（右側面画像）１０３Ｒを重畳表示している。下部領域には進行方向画像（後方画像）１０２Ｂを表示する。

　図２１（２）に示す例は、車両側面側画像（右側面画像）１０３Ｒを、俯瞰画像１０１の車両領域の右前部に重畳して表示しており、この位置に注意が必要であることをドライバに知らせる画像である。

　　［５．その他の実施例について］
　次に、上述した実施例の変形例について説明する。
　上述した実施例では、図１７を参照して説明した表示モードの切り替え遷移は、例えばリバースギアによる車両の進行方向の状態や進行方向判定状態やスアリングの向き等の車両情報を検出し、この検出情報を利用して行う構成としている。
　このような表示モード切り替えは、運転者によるボタン操作による巡回切り替えやタッチパネルによる俯瞰画像上の表示希望配置位置操作による切り替え、更にはジェスチャーによる方角指示操作などにより表示モードの切り替えを行う構成としてもよい。

　また、上述した実施例では、車両の後退時に車両進行方向（車両後方）の画像に併せて車両側面側の前方画像を表示部に表示する構成例を説明したが、車両の前進時にも、車両側面側の後方画像を表示する構成とすることが好ましい。
　このような表示処理を行うことで、ハンドルを回転させて前方向に進行する場合に、ドライバに車両後部の左右方向の障害物を確認させることが可能となる。

　車両の前進時にハンドルを回転させてカーブしながら前進する場合の表示部１００の表示画像の例について、図２２、図２３を参照して説明する。
　図２２は、車両のハンドルを左側に回して、反時計回り（左回り）で車両を前進させた場合の表示部１００の表示画像の例を示している。

　図２２に示すように、表示部１００の表示画像には、以下の３種類の画像が含まれる。
　（ａ）俯瞰画像１０１、
　（ｂ）進行方向画像（前方画像）１０２Ｆ
　（ｃ）車両側面側後方画像（左側面後方画像）１０３Ｌｂ

　図２２に示す例では、俯瞰画像１０１に示すように車両の左側後部に障害物画像（オブジェクト画像）が表示されている。
　しかし、ドライバは、この障害物画像（オブジェクト画像）を見ても、その形状や高さを認識することができず、車両に対する衝突可能性がないと判断してしまう可能性がある。

　図２２に示す（ｃ）車両側面側後方画像（左側面後方画像）１０３Ｌｂは、車両の左側面側の後方部分の画像である。
　車両が左側にハンドル切って、反時計回り（左回り）で車両を前進させた場合、後輪の軌跡は、前輪の軌跡より内側を描くことになる。すなわち、車両前部より車両後部が内側で回転する。この結果、車両の左側面において、車両前部では接触しない障害物に対して、車両後部で接触や衝突を起こす可能性がある。
　すなわち内輪差による車両前方部と、後方部の軌跡の差異が発生する。

　図２２に示す車両側面側後方画像（左側面後方画像）１０３Ｌｂは、この内輪差による衝突可能性のある位置の画像、すなわち、車両が移動する方向の画像である。この画像を表示部に表示する。
　図２２に示す車両側面側後方画像（左側面後方画像）１０３Ｌｂには、車両自体の左側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　ドライバは、この図２２に示す車両側面側後方画像（左側面後方画像）１０３Ｌｂと、車両移動方向表示ラインを見ることで、車両の移動方向にある障害物が何であるか、また、その高さと車両からの距離を正確に把握し、車両との衝突可能性について正しく判断することが可能となる。
　図２２に示す車両側面側後方画像（左側面後方画像）１０３Ｌｂには、障害物画像（オブジェクト画像）が鮮明に表示されており、ドライバは、車両左側面側に車両と接触または衝突可能性のある障害物があることを確実に認識することが可能となる。
　この結果、ドライバは、車両の進行を停止し、ハンドルの操作等を行い、車両進行方向を変更し、障害物を避けて車両を安全に走行させることが可能となる。

　なお、図２２に示す表示部１００の３つの画像の配置は、車両側面側後方画像（左側面後方画像）１０３Ｌｂを俯瞰画像１０１の左後方領域に表示する設定としている。
　これは、表示部１００を見たドライバが、車両側面側後方画像（左側面後方画像）１０３Ｌｂが、車両の左側面後方の画像であることを直感的に把握しやすくするための画像配置である。

　図２３は、車両のハンドルを右側に回して、時計回り（右回り）で車両を前進させた場合の表示部１００の表示画像の例を示している。

　図２３に示すように、表示部１００の表示画像には、以下の３種類の画像が含まれる。
　（ａ）俯瞰画像１０１、
　（ｂ）進行方向画像（前方画像）１０２Ｆ
　（ｃ）車両側面側後方画像（右側面後方画像）１０３Ｒｂ

　図２３に示す例では、俯瞰画像１０１に示すように車両の右側後部に障害物画像（オブジェクト画像）が表示されている。
　しかし、ドライバは、この障害物画像（オブジェクト画像）を見ても、その形状や高さを認識することができず、車両に対する衝突可能性がないと判断してしまう可能性がある。

　図２３に示す（ｃ）車両側面側後方画像（右側面後方画像）１０３Ｒｂは、車両の右側面側の後方部分の画像である。
　車両が右側にハンドル切って、時計回り（右回り）で車両を前進させた場合、後輪の軌跡は、前輪の軌跡より内側を描くことになる。すなわち、車両前部より車両後部が内側で回転する。この結果、車両の右側面において、車両前部では接触しない障害物に対して、車両後部で接触や衝突を起こす可能性がある。
　すなわち内輪差による車両前方部と、後方部の軌跡の差異が発生する。

　図２３に示す車両側面側後方画像（右側面後方画像）１０３Ｒｂは、この内輪差による衝突可能性のある位置の画像、すなわち、車両が移動する方向の画像である。この画像を表示部に表示する。
　図２３に示す車両側面側後方画像（右側面後方画像）１０３Ｒｂには、車両自体の右側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　ドライバは、この図２３に示す車両側面側後方画像（右側面後方画像）１０３Ｒｂと、車両移動方向表示ラインを見ることで、車両の移動方向にある障害物が何であるか、また、その高さと車両からの距離を正確に把握し、車両との衝突可能性について正しく判断することが可能となる。
　図２３に示す車両側面側後方画像（右側面後方画像）１０３Ｒｂには、障害物画像（オブジェクト画像）が鮮明に表示されており、ドライバは、車両右側面側に車両と接触または衝突可能性のある障害物があることを確実に認識することが可能となる。
　この結果、ドライバは、車両の進行を停止し、ハンドルの操作等を行い、車両進行方向を変更し、障害物を避けて車両を安全に走行させることが可能となる。

　なお、図２３に示す表示部１００の３つの画像の配置は、車両側面側後方画像（右側面後方画像）１０３Ｒｂを俯瞰画像１０１の右後方領域に表示する設定としている。
　これは、表示部１００を見たドライバが、車両側面側後方画像（右側面後方画像）１０３Ｌｂが、車両の右側面後方の画像であることを直感的に把握しやすくするための画像配置である。

　図２４を参照して、表示部１００の表示画像の遷移例について説明する。
　図２４には、以下の６種類の車両状態における表示部の表示画像例を示している。
　（Ｓ０１）直進前進
　（Ｓ０２）直進後進（直進バック）
　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）
　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）
　（Ｓ０５）ハンドル左回転前進（反時計回り前進）
　（Ｓ０６）ハンドル右回転前進（反時計回り前進）

　（Ｓ０１）直進前進の場合は、表示部には、俯瞰画像と、進行方向画像（前方画像）のみ表示される。
　この場合、車両は左右方向に移動することがなく、車両の左右側面側障害物が存在しても接触や衝突の可能性がないため、側面画像や右側面画像の表示処理は行わない。

　（Ｓ０２）直進後進（直進バック）の場合も、表示部には、俯瞰画像、進行方向画像（後方画像）のみ表示される。
　この場合も、車両は左右方向に移動することがなく、車両の左右側面側障害物が存在しても接触や衝突の可能性がないため、側面画像や右側面画像の表示処理は行わない。

　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）の場合は、表示部には、俯瞰画像と、進行方向画像（後方画像）と、車両側面側画像（左側面画像）、これらの３つの画像が表示される。
　この場合、車両前部が左方向に移動する。車両側面側画像（左側面画像）は、この移動方向の画像である。この画像は、俯瞰画像の左前領域に表示する。これは、表示部１００を見たドライバに、車両側面側画像（左側面画像）が、車両の左側面前方の画像であることを直感的に把握させるための画像配置である。
　なお、車両側面側画像（左側面画像）には、車両自体の左側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）の場合は、表示部には、俯瞰画像と、進行方向画像（後方画像）と、車両側面側画像（右側面画像）、これらの３つの画像が表示される。
　この場合、車両前部が右方向に移動する。車両側面側画像（右側面画像）は、この移動方向の画像である。この画像は、俯瞰画像の右前領域に表示する。これは、表示部１００を見たドライバに、車両側面側画像（右側面画像）が、車両の右側面前方の画像であることを直感的に把握させるための画像配置である。
　なお、車両側面側画像（右側面画像）には、車両自体の右側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　（Ｓ０５）ハンドル左回転前進（反時計回り前進）の場合は、表示部には、俯瞰画像と、進行方向画像（前方画像）と、車両側面側画像（左側面画像）、これらの３つの画像が表示される。
　この場合、車両後部が左方向に移動する。車両側面側画像（左側面画像）は、この移動方向の画像である。この画像は、俯瞰画像の左後部領域に表示する。これは、表示部１００を見たドライバに、車両側面側画像（左側面画像）が、車両の左側面後方の画像であることを直感的に把握させるための画像配置である。
　なお、車両側面側画像（左側面画像）には、車両自体の左側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　（Ｓ０６）ハンドル右回転前進（時計回り前進）の場合は、表示部には、俯瞰画像と、進行方向画像（前方画像）と、車両側面側画像（右側面画像）、これらの３つの画像が表示される。
　この場合、車両後部が右方向に移動する。車両側面側画像（右側面画像）は、この移動方向の画像である。この画像は、俯瞰画像の右後部領域に表示する。これは、表示部１００を見たドライバに、車両側面側画像（右側面画像）が、車両の右側面後方の画像であることを直感的に把握させるための画像配置である。
　なお、車両側面側画像（右側面画像）には、車両自体の右側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示される。

　図２４に示す６つの画像表示例は、車両状態に応じた代表的な画像の表示例である。
　例えば、図２４に示す以下の車両状態、すなわち、
　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）
　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）
　（Ｓ０５）ハンドル左回転前進（反時計回り前進）
　（Ｓ０６）ハンドル右回転前進（反時計回り前進）
　これらの車両状態において表示される俯瞰画像、進行方向画像（後方／前方画像）、車両側面側画像（左／右側面画像）、これらの画像は、ハンドルの回転角度に応じて変更される。
　また、各画像中に示される車の進行方向や移動方向を示すガイドラインもハンドルの回転角度に応じて逐次、後進される。
　車内部の画像処理装置は、ハンドルの回転角度や車の速度情報等の車両情報を、遂次、入力し、これらの入力情報に基づいて、車の進行方向や移動方向を算出し、各画像中に示すガイドラインの描画処理や更新処理を実行する。

　なお、図２４に示す（Ｓ０５），（Ｓ０６）のように、車両が前進しながら回転する場合、車両側面側画像（左／右側面画像）については、低速走行時、あるいは発進開始後一定時間までは、後輪近傍水平後方下向きの画像を表示し、一定の速度を超えた高速走行時、あるいは発進開始後一定時間経過後には、カメラモニタリングシステムモード（ＣＭＳ）相当、つまり法規上の後写鏡視野角の表示範囲の画像を表示する設定としてもよい。

　図２４を参照して説明した（Ｓ１）～（Ｓ６）の６つの画像表示態様をまとめた表を図２５に示す。
　図２５に示すように、
　（Ｓ０１）直進前進の場合は、俯瞰画像と、進行方向画像（前方画像）を表示する。
　（Ｓ０２）直進後進（直進バック）の場合は、俯瞰画像と、進行方向画像（後方画像）を表示する。
　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）の場合は、俯瞰画像と、進行方向画像（後方画像）と、車両側面側画像（左側前部画像）を表示する。
　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）の場合は、俯瞰画像と、進行方向画像（後方画像）と、車両側面側画像（右側前部画像）を表示する。
　（Ｓ０５）ハンドル左回転前進（反時計回り前進）の場合は、俯瞰画像と、進行方向画像（前方画像）と、車両側面側画像（左側後部画像）を表示する。
　（Ｓ０６）ハンドル右回転前進（反時計回り前進）の場合は、俯瞰画像と、進行方向画像（前方画像）と、車両側面側画像（右側後部画像）を表示する。

　なお、図２５の「側面画像の表示態様」の欄に示すように、車両が前進する場合、側面画像は、内輪差で巻き込み接触リスクのある範囲を準中心射影の後方向き画像として表示する。
　また、車両が後進（バック）する場合、側面画像は、外輪差で巻き込み接触リスクのある範囲を準中心射影の後方向き画像として表示する。
　なお、側面画像は、広角カメラによる撮影画像からの切り出し画像を用いてもよいし、直接、肉眼で観察したと同様の歪の少ない中心射影方式の画像に変換して表示することしが好ましい。

[0]　また、上述した実施例では、車両側面側画像の表示位置を俯瞰画像の左右に配置する設定とした例を説明したが、画像の表示位置は様々な設定が可能である。
　例えば、車両側面側画面の詳細配置は、画像処理部で一意に決定をしても良いが、車体の種類や内輪差外輪差特性など固有な特徴があり、更には運転者の目視癖等を顧みて運転者が認知に最適な子画面の位置や調整を直感的にわかる状況を維持しつつ微調整できるようにしてもい。他方で、特定のドライバの確認癖に応じて異なる運転者が乗車した際に目視位置の誤認を誘発する配置に対しては警告や配置調整の禁止処置を備えても良い。

　さらに、車両を、周辺障害物認識処理や、動体認識処理の実行部を備えた構成として、これらの処理実行部からの入力に応じて、表示画像上に警告マークを表示したり、障害物領域や胴体領域を示す画面枠を点滅表示させたり、画面枠に沿った濃淡の流れる模様を表示して運転者の注意喚起を行う構成や、音声アラートの出力を行う構成としてもよい。

　　［６．画像処理装置の構成例について］
　次に、図２６を参照して車両に搭載される画像処理装置の構成例について説明する。
　図２６は、上述した実施例に従った処理を実行する画像処理装置２００の構成例を示す図である。
　図２６に示すように、画像処理装置２００は、画像処理部２０１、カメラＦ，２０２Ｆ、カメラＬ，２０２Ｌ、カメラＲ，２０２Ｒ、カメラＢ，２０２Ｂ、表示制御部２０３、表示部２０４、入力部２０５、車両情報取得部２０６、記憶部２０７、制御部２１０を有する。

　カメラＦ，２０２Ｆは、図２に示す車両１０の前面に備えられたカメラＦ２１相当する。
　カメラＬ，２０２Ｌは、図２に示す車両１０の左側面に備えられたカメラＬ２２に相当する。
　カメラＲ，２０２Ｒは、図２に示す車両１０の右側面に備えられたカメラＲ２３に相当する。
　カメラＢ，２０２Ｂは、図２に示す車両１０の背面に備えられたカメラＢ２４に相当する。
　これらのカメラは、いずれも例えば魚眼レンズ等の広角レンズを備えたカメラであり、所定のフレームレートで動画撮影を実行し、撮影画像を画像処理部２０１に出力する。

　なお、このカメラ設定例は一例であり、先に説明したように、例えば車両の後方や左右の各車両側面側を撮影するための専用の通常カメラや広角カメラを備えた構成としてもよい。
　これらのカメラを有する場合も、これらのカメラの撮影画像は、すべて画像処理部２０１に入力される。

　画像処理部２０１は、車両に装着されたカメラの撮影画像を入力して、表示部２０４に表示する画像を生成して出力する。生成する画像は、例えば、先に図１０他を参照して説明した以下の各画像である。
　（ａ）俯瞰画像１０１、
　（ｂ）進行方向画像（後方画像）１０２Ｂ
　（ｃ）車両側面側画像（左／右側面画像）１０３Ｌ／Ｒ

　画像処理部２０１は、例えば、カメラＦ，２０２Ｆ～カメラＢ，２０２Ｂの撮影画像の各々を俯瞰変換して４枚の俯瞰画像を生成し、さらに、これら４枚の画像を接合した合成画像として、中央に車両の模式図を配置した車両上部からの観察画像である表示用の俯瞰画像を生成する。

　なお、車両側面側画像（左／右側面画像）１０３Ｌ／Ｒと、進行方向画像（後方画像）１０２Ｂは、画像処理部２０１が、カメラＦ，２０２Ｆ～カメラＢ，２０２Ｂの撮影画像の俯瞰変換や画像切り出し処理等の画像補正処理を実行して生成する。
　画像処理部２０１の生成した画像は、表示制御部２０３を介して表示部２０４に表示される。

　表示制御部２０３は、例えば、表示部２０４に表示する以下の各画像、すなわち、
　（ａ）俯瞰画像１０１、
　（ｂ）進行方向画像（後方画像）１０２Ｂ
　（ｃ）車両側面側画像（左／右側面画像）１０３Ｌ／Ｒ
　これらの画像の配置制御等を実行する。
　例えば、車両側面側画像（左側面画像）１０３Ｌを表示する際には、車両側面側画像（左側面画像）１０３Ｌを、俯瞰画像１０１の左上に配置して表示し、車両側面側画像（右側面画像）１０３Ｒを表示する際には、車両側面側画像（右側面画像）１０３Ｒを、俯瞰画像１０１の右上に配置して表示するといった表示制御処理を行なう。

　画像処理部２０１は、さらに、
　（ａ）俯瞰画像１０１、
　（ｂ）進行方向画像（後方画像）１０２Ｂ
　（ｃ）車両側面側画像（左／右側面画像）１０３Ｌ／Ｒ
　これらの各画像に重畳して表示するための車両の移動方向を示す矢印等のガイドラインを生成し描画する処理、後進する処理等を実行する。

　画像処理部２０１、表示制御部２０３には、制御部２１０を介して車両情報や、その他の入力情報が入力される。
　入力部２０５は、例えばユーザの入力情報を入力するためのスイッチ、各種のキー、あるいはタッチパネル等によって構成され、例えば表示部２０４と一体化されたタッチパネルの操作によって、表示画像の移動や拡大等の処理を行なうことができる。
　表示制御部２０３は、入力部２０５からの入力情報に応じた画像の表示制御を実行する。例えば画像の拡大、縮小、表示位置の変更等を実行する。なお、入力部２０５は運転者のジェスチャー認識部を持つ入力部として構成してもよい。また、頭部移動や手のジェチャー認識やその他タイムオブフライトセンサー（ＴＯＦセンサ）やステレオカメラや画像によるジェスチャー解析処理などの高度な入力システムを用いてもよい。

　車両情報取得部２０６は、車両の速度、進行方向、ハンドル設定情報等、車両に関する様々な車両情報を取得する。
　この車両情報は、制御部２１０を介して画像処理部２０１、表示制御部２０３に入力される。

　制御部２１０は、例えば記憶部２０７に格納されたプログラムに従った様々なデータ処理を実行する。
　具体的には、例えば、車両情報取得部２０６の取得した、車両の速度、進行方向、ハンドル設定情報等、車両に関する様々な車両情報を入力し、画像処理部２０１の生成する画像の画像態様について決定し、また、表示制御部２０２が設定する画像配置態様についての決定処理等を行う。
　さらに、画像処理部２０１の生成する画像内に描画するための車の移動方向を示すガイドライン設定のためのライン位置、形状等の算出処理等を実行する。
　これらの算出処理は、例えば記憶部２０７に予め格納された演算プログラムに従って行われる。
　画像処理部２０１、表示制御部２０３は、制御部２１０の算出結果を入力して、入力情報に従って画像の生成、表示制御を実行する。

　記憶部２０７は、制御部２１０、画像処理部２０１、表示制御部２０３等において実行するデータ処理に関するプログラム、パラメータ等を格納し、さらに、各データ処理部のワークエリアとして利用される。具体的にはＲＡＭ、ＲＯＭ等によって構成される。

　画像処理部２０１と表示制御部２０３は、例えば、先に図１７や、図２４、図２５を参照して説明したように、車両状態、すなわち、車両が、
　（Ｓ０１）直進前進
　（Ｓ０２）直進後進（直進バック）
　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）
　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）
　（Ｓ０５）ハンドル左回転前進（反時計回り前進）
　（Ｓ０６）ハンドル右回転前進（反時計回り前進）
　上記のどの状態にあるかに応じて表示部２０４に出力する表示画像の構成、配置を制御して表示画像を構成して表示部２０４に出力する。

　例えば、車両が、（Ｓ０１）直進前進、または、（Ｓ０２）直進後進（直進バック）のいずれかの状態である場合は、先に説明したように、表示部には、俯瞰画像と、進行方向画像（後方画像）のみ表示する。
　これらの場合、車両は左右方向に移動することがなく、車両の左右側面側障害物が存在しても接触や衝突の可能性がないため、側面画像や右側面画像の表示処理は行わない。

　一方、車両状態が、
　（Ｓ０３）ハンドル右回転後進（反時計回り（左回り）バック）、
　（Ｓ０４）ハンドル左回転後進（時計回り（右回り）バック）、
　上記いずれかの場合は、先に説明したように、表示部には、俯瞰画像と、進行方向画像（後方画像）と、車両側面側画像（左／右側面前部画像）、これらの３つの画像が表示される。
　この場合、車両前部が左または右方向に移動する。

　車両前部が左方向に移動する場合は、車両側面側画像（左側面前部画像）を俯瞰画像の左前領域に表示する。
　車両前部が右方向に移動する場合は、車両側面側画像（右側面前部画像）を俯瞰画像の右前領域に表示する。
　このような表示処理を行なうことで、表示部１００を見たドライバに、注意するべき車両位置とその位置の障害物情報を適確に提示することが可能となる。
　なお、車両側面側画像（左／右側面画像）には、車両自体の側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示され、ドライバは、これらの画像によって、障害物の有無、障害物との距離を正確に把握し、車両を安全に走行させることができる。

　一方、車両状態が、
　（Ｓ０５）ハンドル左回転前進（反時計回り前進）
　（Ｓ０６）ハンドル右回転前進（反時計回り前進）
　上記いずれかの場合は、先に説明したように、表示部には、俯瞰画像と、進行方向画像（前方画像）と、車両側面側画像（左／右側面後部画像）、これらの３つの画像が表示される。
　この場合、車両後部が左または右方向に移動する。

　車両後部が左方向に移動する場合は、車両側面側画像（左側面後部画像）を俯瞰画像の左後部領域に表示する。
　車両後部が右方向に移動する場合は、車両側面側画像（右側面後部画像）を俯瞰画像の右後部領域に表示する。
　このような表示処理を行なうことで、表示部１００を見たドライバに、注意するべき車両位置とその位置の障害物情報を適確に提示することが可能となる。
　なお、車両側面側画像（左／右側面後部画像）には、車両自体の側面画像を含み、さらに、車両の移動方向を示す車両移動方向表示ラインが表示され、ドライバは、これらの画像によって、障害物の有無、障害物との距離を正確に把握し、車両を安全に走行させることができる。

　このように、本開示の画像処理装置は、車両周囲を撮影するカメラの撮影画像を入力し、入力画像に基づいて、俯瞰画像と、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成し、生成した画像を表示部に表示する。例えば、車両の進行方向やハンドルの回転方向情報に応じて表示画像を生成、または更新する。例えば、車両が反時計回りにバックしている場合、俯瞰画像と、車両後方画像と、車両左側面側画像を生成して表示し、車両が時計回りにバックしている場合、俯瞰画像と、車両後方画像と、車両右側面側画像を生成して表示する。
　このような画像表示処理により、車両周囲の情報の確認可能性を高めた画像表示が実現される。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　車両運転者の視認可能な表示部に対する表示画像を生成する画像処理部を有し、
　前記画像処理部は、
　車両周囲を撮影するカメラの撮影画像を受信し、
　受信した前記撮影画像に基づいて、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成し、
　生成された前記車両進行方向画像と前記車両側面側画像とを表示部へ出力する画像処理装置。

　（２）　前記画像処理部は、
　さらに、前記カメラの撮影画像に基づいて、車両上部または斜め上部から観察した仮想画像である俯瞰画像を生成し、
　生成した前記俯瞰画像を、前記車両進行方向画像と、前記車両側面側画像に併せて前記表示部に同時表示させる（１）に記載の画像処理装置。

　（３）前記画像処理部は、
　車両の進行方向、またはハンドルの回転方向の少なくともいずれかの情報を含む車両情報を受信し、受信した前記車両情報に応じて表示画像を生成、または更新する（１）または（２）に記載の画像処理装置。

　（４）　前記画像処理部は、
　前記車両情報として、ハンドルの回転方向情報を受信し、受信した前記ハンドルの回転方向情報に応じて表示画像を生成、または更新する（３）に記載の画像処理装置。

　（５）　前記画像処理部は、
　前記ハンドルの回転方向情報が、右回転であるか左回転であるかに応じて、前記車両側面側画像として、車両左側面側画像、または車両右側面側画像を選択的に表示させる（４）に記載の画像処理装置。

　（６）　前記画像処理部は、
　前記車両情報として、前記車両の進行方向情報及び前記ハンドルの回転方向情報を受信し、
　前記車両の進行方向情報及び前記ハンドルの回転方向情報に基づいて、前記車両が反時計回りにバック走行していると判定した場合、
　前記車両進行方向画像として車両後方画像を生成し、
　前記車両側面側画像として、前記車両左側面側画像を生成し、
　生成した上記車両後方画像及び前記車両左側面側画像を表示部に表示させる（５）に記載の画像処理装置。

　（７）　前記画像処理部は、
　さらに、前記カメラの撮影画像に基づいて、車両上部から観察した仮想画像である俯瞰画像を生成し、
　前記車両左側面側画像を、前記俯瞰画像の左側、かつ前記車両の進行方向に対向する側に配置して表示部に表示させる（６）に記載の画像処理装置。

　（８）　前記画像処理部は、
　前記車両情報として、前記車両の進行方向情報及び前記ハンドルの回転方向情報を受信し、
　前記車両の進行方向情報及び前記ハンドルの回転方向情報に基づいて、前記車両が時計回りにバック走行していると判定した場合、
　前記車両進行方向画像として車両後方画像を生成し、
　前記車両側面側画像として、前記車両右側面側画像を生成し、
　生成した上記車両後方画像及び前記車両右側面側画像を表示部に表示させる（５）に記載の画像処理装置。

　（９）　前記画像処理部は、
　さらに、前記カメラの撮影画像に基づいて、車両上部から観察した仮想画像である俯瞰画像を生成し、
　前記車両右側面側画像を、前記俯瞰画像の右側、かつ前記車両の進行方向に対向する側に配置して表示部に表示させる（８）に記載の画像処理装置。

　（１０）　前記画像処理部は、
　前記車両側面側画像内に車両自身の側面領域画像を含むように前記車両側面側画像を生成する（１）～（９）いずれかに記載の画像処理装置。

　（１１）　前記画像処理部は、
　前記カメラの撮影画像に基づく生成画像に車両の移動方向を示すガイドライン、路上空間における車体最外部掃引空間を示すガイドライン、または車輪軌跡ガイドラインのうち少なくともいずれか一つを重畳した前記車両側面側画像を生成する（１）～（１０）いずれかに記載の画像処理装置。

　（１２）　前記画像処理部は、
　前記車両進行方向画像、前記車両側面側画像、または俯瞰画像の少なくともいずれか１つに接触リスク注意の表示を重畳する（２）に記載の画像処理装置。

　（１３）　前記車両進行方向画像は、車両自身の端部領域画像を含む（１）～（１２）いずれかに記載の画像処理装置。

　（１４）　前記画像処理部は、
　さらに、前記カメラの撮影画像に基づいて、車両上部または斜め上部から観察した仮想画像である俯瞰画像を生成し、
　生成した前記俯瞰画像上に、前記車両側面側画像を重畳して表示部に表示させる（１）～（１３）いずれかに記載の画像処理装置。

　（１５）　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、車両運転者の視認可能な表示部に対する表示画像を生成する画像処理部を有し、
　前記画像処理部が、
　車両周囲を撮影するカメラの撮影画像を受信し、
　受信した前記撮影画像に基づいて、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成し、
　生成された前記車両進行方向画像と前記車両側面側画像とを表示部へ出力する画像処理方法。

　（１６）　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、車両運転者の視認可能な表示部に対する表示画像を生成する画像処理部を有し、
　前記プログラムは、前記画像処理部に、
　車両周囲を撮影するカメラの撮影画像を受信する処理と、
　受信した前記撮影画像に基づいて、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成する処理と、
　生成された前記車両進行方向画像と前記車両側面側画像とを表示部へ出力する処理を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、車両周囲の情報の確認可能性を高めた画像表示を実現する画像処理装置が実現される。
　具体的には、例えば、車両周囲を撮影するカメラの撮影画像を入力し、入力画像に基づいて、俯瞰画像と、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成し、生成した画像を表示部に表示する。例えば、車両の進行方向やハンドルの回転方向情報に応じて表示画像を生成、または更新する。車両が反時計回りにバックしている場合、俯瞰画像と、車両後方画像と、車両左側面側画像を生成して表示し、車両が時計回りにバックしている場合、俯瞰画像と、車両後方画像と、車両右側面側画像を生成して表示する。
　本構成により、車両周囲の情報の確認可能性を高めた画像表示を実現する画像処理装置が実現される。

　　　１　表示部
　　　２　俯瞰画像
　　　３　進行方向画像
　　１０　車両
　　２１～２４　カメラ
　　３０　広角カメラ
　　３１　被写体
　　４１　車両
　　４２　障害物
　　４２ａ　障害物画像
　１０１　俯瞰画像
　１０２　進行方向画像
　１０３　車両側面側画像
　１１１ａ　障害物画像
　１１２　車両移動方向表示ライン
　１１３　車両側面画像
　１１４　車両バンパ画像
　２０１　画像処理部
　２０２　カメラ
　２０３　表示制御部
　２０４　表示部
　２０５　入力部
　２０６　車両情報取得部
　２０７　記憶部
　２１０　制御部

Claims

　車両運転者の視認可能な表示部に対する表示画像を生成する画像処理部を有し、
　前記画像処理部は、
　車両周囲を撮影するカメラの撮影画像を受信し、
　受信した前記撮影画像に基づいて、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成し、
　生成された前記車両進行方向画像と前記車両側面側画像とを表示部へ出力する画像処理装置。
　前記画像処理部は、
　さらに、前記カメラの撮影画像に基づいて、車両上部または斜め上部から観察した仮想画像である俯瞰画像を生成し、
　生成した前記俯瞰画像を、前記車両進行方向画像と、前記車両側面側画像に併せて前記表示部に同時表示させる請求項１に記載の画像処理装置。
　前記画像処理部は、
　車両の進行方向、またはハンドルの回転方向の少なくともいずれかの情報を含む車両情報を受信し、受信した前記車両情報に応じて表示画像を生成、または更新する請求項１に記載の画像処理装置。
　前記画像処理部は、
　前記車両情報として、ハンドルの回転方向情報を受信し、受信した前記ハンドルの回転方向情報に応じて表示画像を生成、または更新する請求項３に記載の画像処理装置。
　前記画像処理部は、
　前記ハンドルの回転方向情報が、右回転であるか左回転であるかに応じて、前記車両側面側画像として、車両左側面側画像、または車両右側面側画像を選択的に表示させる請求項４に記載の画像処理装置。
　前記画像処理部は、
　前記車両情報として、前記車両の進行方向情報及び前記ハンドルの回転方向情報を受信し、
　前記車両の進行方向情報及び前記ハンドルの回転方向情報に基づいて、前記車両が反時計回りにバック走行していると判定した場合、
　前記車両進行方向画像として車両後方画像を生成し、
　前記車両側面側画像として、前記車両左側面側画像を生成し、
　生成した上記車両後方画像及び前記車両左側面側画像を表示部に表示させる請求項５に記載の画像処理装置。
　前記画像処理部は、
　さらに、前記カメラの撮影画像に基づいて、車両上部から観察した仮想画像である俯瞰画像を生成し、
　前記車両左側面側画像を、前記俯瞰画像の左側、かつ前記車両の進行方向に対向する側に配置して表示部に表示させる請求項６に記載の画像処理装置。
　前記画像処理部は、
　前記車両情報として、前記車両の進行方向情報及び前記ハンドルの回転方向情報を受信し、
　前記車両の進行方向情報及び前記ハンドルの回転方向情報に基づいて、前記車両が時計回りにバック走行していると判定した場合、
　前記車両進行方向画像として車両後方画像を生成し、
　前記車両側面側画像として、前記車両右側面側画像を生成し、
　生成した上記車両後方画像及び前記車両右側面側画像を表示部に表示させる請求項５に記載の画像処理装置。
　前記画像処理部は、
　さらに、前記カメラの撮影画像に基づいて、車両上部から観察した仮想画像である俯瞰画像を生成し、
　前記車両右側面側画像を、前記俯瞰画像の右側、かつ前記車両の進行方向に対向する側に配置して表示部に表示させる請求項８に記載の画像処理装置。
　前記画像処理部は、
　前記車両側面側画像内に車両自身の側面領域画像を含むように前記車両側面側画像を生成する請求項１に記載の画像処理装置。
　前記画像処理部は、
　前記カメラの撮影画像に基づく生成画像に車両の移動方向を示すガイドライン、路上空間における車体最外部掃引空間を示すガイドライン、または車輪軌跡ガイドラインのうち少なくともいずれか一つを重畳した前記車両側面側画像を生成する請求項１に記載の画像処理装置。
　前記画像処理部は、
　前記車両進行方向画像、前記車両側面側画像、または俯瞰画像の少なくともいずれか１つに接触リスク注意の表示を重畳する請求項２に記載の画像処理装置。
　前記車両進行方向画像は、車両自身の端部領域画像を含む請求項１に記載の画像処理装置。
　前記画像処理部は、
　さらに、前記カメラの撮影画像に基づいて、車両上部または斜め上部から観察した仮想画像である俯瞰画像を生成し、
　生成した前記俯瞰画像上に、前記車両側面側画像を重畳して表示部に表示させる請求項１に記載の画像処理装置。
　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、車両運転者の視認可能な表示部に対する表示画像を生成する画像処理部を有し、
　前記画像処理部が、
　車両周囲を撮影するカメラの撮影画像を受信し、
　受信した前記撮影画像に基づいて、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成し、
　生成された前記車両進行方向画像と前記車両側面側画像とを表示部へ出力する画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、車両運転者の視認可能な表示部に対する表示画像を生成する画像処理部を有し、
　前記プログラムは、前記画像処理部に、
　車両周囲を撮影するカメラの撮影画像を受信する処理と、
　受信した前記撮影画像に基づいて、車両進行方向画像と、車両の左右いずれかの車両移動方向に相当する車両側面側画像を生成する処理と、
　生成された前記車両進行方向画像と前記車両側面側画像とを表示部へ出力する処理を実行させるプログラム。