JP6759899B2 - 車両用画像処理装置 - Google Patents

Description

本発明の実施形態は、車両用画像処理装置に関する。

従来、撮像画像を立体状に映した画像データを生成し、当該画像データを設定された視点から見た画像に変換して出力画像とする画像処理装置が、知られている。

特許第５３６９４６５号公報

この種の画像処理装置を車両に搭載し、車両周辺の風景を所定の視点から見た画像とし、当該車両のモデル画像も含めて表示する場合がある。
このような場合に、周囲画像を撮像する撮像装置は、当該車両に搭載されているため、車両が傾いているような状態においては、背景となる周囲画像が傾いて表示されるため、自車両の傾き状態が認識しづらいという不具合があった。
従って、出力画像に含まれる自車両の傾き状態が適切に反映され、より自車両の状態を認識しやすくなることが望まれる。

実施形態の車両用画像処理装置は、車両の傾きに対応する傾き情報及び車両の周囲を撮像した周囲画像データに基づいて、予め配置位置が設定された仮想投影面に周囲画像データに対応する周囲画像を投影したと仮定した場合に所定の仮想視点から見た場合の視点画像を生成する視点画像生成部と、視点画像に傾き情報に対応する車両の傾きに応じた傾きを有する自車両モデル画像を重畳した出力画像を表示装置に表示させるための出力画像データを生成し出力する出力画像生成部と、を備え、仮想投影面は、水平面に対向するように配置された底面と、車両の周囲の水平方向に対向するように配置された側面と、を有し、底面は、車両の各車輪の接地面をそれぞれ含むように、あるいは、接地面と平行となるようにそれぞれ独立して傾けることが可能な複数の副底面を有する。
よって、本実施形態によれば、例えば、出力画像データに対応する出力画像において、車両の傾きを容易に把握して、確実な車両操作を行える。さらに走行している路面の状態も容易に把握できる。

また、上記車両用画像処理装置では、仮想投影面は、傾きがない状態の車両に対応づけて車両を取り囲むように車両の周囲に三次元的に配置されるように設定されており、視点画像生成部は、傾き情報に基づいて、車両の傾きを相殺するように仮想投影面を設定する投影面設定部を備えている。
したがって、常に仮想投影面は、車両の傾きの影響を受けずに一定の向きを保持できるので、車両の傾きを容易に把握できる。

また、上記車両用画像処理装置では、投影面設定部は、前記仮想投影面が基準水平面に対して固定されているように設定する。
したがって、常に仮想投影面は、水平面に対して一定の関係を有し、感覚的に車両の傾きを把握できる。

また、車両の傾きに対応する傾き情報及び車両の周囲を撮像した周囲画像データに基づいて、予め配置位置が設定された仮想投影面に周囲画像データに対応する周囲画像を投影したと仮定した場合に所定の仮想視点から見た場合の視点画像を生成する視点画像生成部と、視点画像に前記傾き情報に対応する車両の傾きに応じた傾きを有する自車両モデル画像を重畳した出力画像を表示装置に表示させるための出力画像データを生成し出力する出力画像生成部と、を備え、車両全体のいずれかの方向への水平面に対する傾きが当該方向に対応する所定の傾き閾値を超えた場合にその旨を告知するための告知情報を前記出力画像に含める。
したがって、出力画像を視認するだけで、安全側への車両操作が行える。

また、上記車両用画像処理装置では、告知情報は、自車両モデル画像の表示態様の変更、若しくは、コメントあるいはゲージ画像等の追加情報の表示としてなされる。
したがって、感覚的に確実に車両の傾きの現状を把握できる。

図１は、車両に搭載された車載システムの概要構成ブロック図である。 図２は、撮像装置を構成する撮像部の配置例の説明図である。 図３は、ＥＣＵの機能ブロック図である。 図４は、第１実施形態のＥＣＵの動作処理フローチャートである。 図５は、仮想投影面の説明図である。 図６は、車両に対する仮想投影面の配置位置の説明図である。 図７は、撮像部の撮像範囲と仮想投影面との関係説明図である。 図８は、車両が傾いている場合の固定された仮想投影面と視点画像との関係説明図である。 図９は、出力画像に対応する車両の実際の状態の説明図である。 図１０は、出力画像の一例の説明図である。 図１１は、第２実施形態のＥＣＵの動作処理フローチャートである。 図１２は、第３実施形態の説明図である。 図１３は、第３実施形態の出力画像の説明図である。 図１４は、第４実施形態の説明図である。 図１５は、第５実施形態の第１の表示例の説明図である。 図１６は、第５実施形態の第２の表示例の説明図である。 図１７は、第６実施形態の説明図である。 図１８は、第６実施形態の出力画像の説明図である。 図１９は、第７実施形態の説明図である。 図２０は、第７実施形態における出力画像の状態を説明する図である。 図２１は、第８実施形態の出力画像の一例の説明図である。 図２２は、第９実施形態の仮想投影面の平面図である。 図２３は、仮想投影面と車両との関係説明図である。 図２４は、第９実施形態の詳細説明図である。

次に実施形態について図面を参照して説明する。
［１］第１実施形態
図１は、車両に搭載された車載システムの概要構成ブロック図である。
車載システム１０は、大別すると、車両用画像処理装置として機能するとともに、車載システム１０全体を制御するＥＣＵ１１と、当該車載システム１０が搭載された車両周囲の画像を撮像する撮像装置１２と、各種のモニタリング画面を表示するモニタ装置１３と、各種操作入力を行う入力部１４と、ＥＣＵ１１の制御下で車両の制御を行う車両制御システム３０と、を備えている。

上記構成において、ＥＣＵ１１は、図１に示すように、ＥＣＵ１１全体を制御し、各種演算を実行するＭＰＵ（Micro Processing Unit）１１ａと、制御プログラム及び各種データを不揮発的に記憶するＲＯＭ１１ｂ（read only memory）と、処理中のデータ等を一時的に格納するＲＡＭ（Random Access Memory）１１ｃと、各種データを更新可能に不揮発的に記憶し、ＥＣＵ１１の電源がオフされた場合にあってもデータを保持するフラッシュメモリ１１ｄと、各種表示の制御を行い、入力された画像データに対する一般的な画像処理、モニタ装置１３で表示するための画像データのための一般的な画像処理等を実行する表示制御部１１ｅと、各種音声の制御を行い、モニタ装置１３において出力される音声データの処理を実行する音声制御部１１ｆと、を有している。

撮像装置１２は、図１の例の場合、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するディジタルカメラとして構成された四つの撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂを備えている。

図２は、撮像装置を構成する撮像部の配置例の説明図である。
撮像装置１２において、図２に示すように、撮像部１２Ｆは、車両４０の前方のフロントグリル４１に配置され、車両４０の前方向（撮像範囲ＳＦ）を撮像し、撮像データをＥＣＵ１１に出力する。また、撮像部１２Ｒは、車両の右側のサイドミラー（ドアミラー）４２Ｒに収納され、車両４０の右方向（撮像範囲ＳＲ）を撮像し、撮像データをＥＣＵ１１に出力する。また、撮像部１２Ｌは、車両４０の左側のサイドミラー（ドアミラー）４２Ｌに収納され、車両４０の左方向（撮像範囲ＳＬ）を撮像し、撮像データをＥＣＵ１１に出力する。さらに撮像部１２Ｂは、車両４０の後方のリアハッチ４３などに配置され、車両の後方（撮像範囲ＳＢ）を撮像し、撮像データをＥＣＵ１１に出力する。
この場合において、撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂは、それぞれ所定のフレームレートで画像データ、すなわち動画データを出力することが可能となっている。

上記構成において、撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂは、例えば、広角レンズまたは魚眼レンズを備えたディジタルカメラとして構成されている。撮像装置１２は、車両４０の周辺の撮像画像のデータを取得する。
本実施形態においては、撮像装置１２は、四つの撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂを備えているが、必要に応じて三つ以下でも良いし、五つ以上でもよい。また、複数の撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂのそれぞれの撮像範囲ＳＦ、ＳＲ、ＳＬ、ＳＢは同一である必要は無く、撮像装置１２において必要な撮像範囲が確保されれば、異なっていてもよい。

モニタ装置１３は、ＬＣＤ（Liquid Crystal Display）として構成された表示部１３ａと、タッチパネルとして構成された入力部１３ｂと、アンプ（増幅回路）及びスピーカを有する音声出力装置１３ｃと、を備える。

本実施形態においては、表示部１３ａの表示画面を覆うように透明な入力部１３ｂが配置されており、表示部１３ａ及び入力部１３ｂ全体としてタッチパネルディスプレイを構成している。

従って、ユーザは、表示部１３ａの表示画面に表示される画像に対応した位置において、手指等で入力部１３ｂを触れたり押したり動かしたりして（タップ、フリック、スワイプなど）操作することで、入力を実行することができる。

そして、これら表示部１３ａや、入力部１３ｂ、音声出力装置１３ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置１３に設けられる。モニタ装置１３は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない操作入力部を設けるようにすることも可能である。
モニタ装置１３は、ナビゲーションシステムやオーディオシステムと兼用される。

車両制御システム３０は、例えば、ＣＡＮ（controller area network）規格に則った車内ネットワーク２５を備え、車内ネットワーク２５を介してＥＣＵ１１に接続されている。

さらに車両制御システム３０は、ジャイロセンサ、加速度センサ、ソナーあるいはレーダとしてそれぞれ構成された複数の非接触計測部１５ａ〜１５ｄを備えた非接触計測装置１５と、ステアリングホイールの舵角を検出する舵角センサ１６と、後輪の舵角を検出する舵角センサ１７ａが接続され、後輪の操舵制御を行う後輪操舵システム１７と、ＧＰＳ衛星からの測位用電波を受信して緯度、経度、高さ等の情報を出力するＧＰＳ１８と、車輪の回転量あるいは単位時間当たりの回転数を検出する車輪速センサ１９と、ブレーキセンサ２０ａが接続されブレーキ制御を行うブレーキシステム２０と、アクセルペダルの踏み込み具合（アクセルペダル操作量）を検出するアクセルセンサ２１と、前輪のトルクを検出するトルクセンサ２２ａが接続され、前輪の操舵制御を行う前輪操舵システム２２と、シフト切替状態を検出するシフトセンサ２３と、方向指示ランプの制御を行う方向指示器２４と、を備えている。

非接触計測装置１５は、上述したように、ジャイロセンサ、加速度センサ（例えば、３軸加速度センサ）あるいは超音波や電波を発射してその反射波を捉えるソナーやレーダ等としてそれぞれ構成された複数の非接触計測部１５ａ〜１５ｄを備えており、ＥＣＵ１１は、非接触計測装置１５の検出結果により、車両４０の方位、車両４０の加速度、車両４０の傾き、車両４０の周囲に位置された障害物の有無や障害物までの距離を測定するようになっている。すなわち、非接触計測装置１５は、方位検出機能、加速度検出機能、傾き検出機能、物体検出機能、測距機能等を実現している。

舵角センサ１６は、上述したように、ステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。ここで、ステアリングホイールの操舵量は、例えば、回転角度として検出される。
後輪操舵システム１７は、舵角センサ１７ａの出力に応じて、後輪の操舵を行う。
ここで、舵角センサ１７ａは、上述したように、後輪の操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。ここで、後輪の操舵量は、例えば、回転角度として検出され、後輪操舵システム１７に出力される。

ＧＰＳ１８は、ＧＰＳ衛星から受信した測位用電波に基づいて、緯度、経度、高さ等の車両４０の現在位置や、進行方向、進行速度、角速度等を取得することができる。

車輪速センサ１９は、上述したように、車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１９から取得したデータに基づいて車両４０の移動量などを演算することができる。なお、車輪速センサ１９は、ブレーキシステム２０に設けられる場合もある。

ブレーキシステム２０は、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両４０の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（Brake By Wire）等として機能する。ブレーキシステム２０は、図示しないアクチュエータを介して、車輪に制動力を与え、車両４０を減速する。ブレーキセンサ２０ａは、例えば、図示しないブレーキペダルの操作量を検出するセンサである。
また、アクセルセンサ２１は、例えば、図示しないアクセルキペダルの操作量を検出するセンサである。

トルクセンサ２２ａは、運転者がステアリングホイールを含む操舵部に与えるトルクを検出する。
前輪操舵システム２２は、トルクセンサ２２ａの出力及びステアリングホイールの操作量に応じて、前輪の操舵を行う。
シフトセンサ２３は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。ここで、変速操作部の可動部としては、例えば、レバーや、アーム、ボタン等が挙げられる。
方向指示器２４は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。

以上の説明においては、ＥＣＵ１１は、ＭＰＵ１１ａ、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等を別に備えていたが、同一パッケージ内に集積することも可能である。
また、ＥＣＵ１１は、ＭＰＵ１１ａに代えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等を用いる構成とすることも可能である。

さらに、以上の説明では、ＥＣＵ１１は、フラッシュメモリ１１ｄを備える構成として説明したが、フラッシュメモリ１１ｄに替えてＳＳＤ（solid state drive）あるいはＨＤＤ（Hard Disk Drive）が設けられてもよい。
さらにまた、フラッシュメモリ１１ｄ、ＳＳＤあるいはＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。
ＥＣＵ１１は、出力画像が表示されるよう、表示部１３ａを制御する。ＥＣＵ１１は、画像処理装置あるいは表示制御部の一例である。

図３は、ＥＣＵの機能ブロック図である。
ＥＣＵ１１は、ハードウェアとソフトウェア（プログラム）との協働によって、車両用画像処理装置として機能している。
ＥＣＵ１１は、大別すると、画像処理部６０及び記憶部７０として機能する。

画像処理部６０は、例えば、主としてＭＰＵ１１ａによって実現され、ＭＰＵ１１ａは、画像処理部６０の各部、すなわち、画像データ取得部６１、画像合成部６２、仮想投影画像データ生成部６３、視点画像データ生成部６４、車両傾き検出部６５、出力画像データ生成部６６、データ取得部６７及び可変設定部６８等として機能する。

この場合において、画像処理部６０で実行される画像処理の少なくとも一部を、表示制御部１１ｅで実行するようにしてもよい。また、画像処理部６０の各部は、プログラムのモジュールとして構成してもよいし、少なくとも一部はハードウェアとして構成してもよい。

上記構成において、データ取得部６７は、撮像画像以外のデータ、例えば、入力部１３ｂ，１４によって入力されたデータや、センサ等の検出結果のデータを取得する。

また、可変設定部６８は、車両の状況に応じて仮想投影面Ｓｐを変更可能とし、例えば、出力画像において、車両の状況に応じたより好都合な表示形態が得られやすいような仮想投影面Ｓｐを用いるようにすることができる。ここで、車両の状況としては、例えば、車両の速度や、車両の傾き、車両と周辺の物体との距離等が挙げられる。
車両の状況に応じて上記仮想投影面を変更可能である。よって、例えば、出力画像において、車両の状況に応じたより好都合な表示形態が得られやすい。車両の状況は、例えば、車両の速度や、車両の傾き、車両と周辺の物体との距離等である。

一方、記憶部７０は、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ及びフラッシュメモリ１１ｄによって実現される。

次に画像処理部６０及び記憶部７０として機能するＥＣＵ１１の動作について説明する。
図４は、第１実施形態のＥＣＵの動作処理フローチャートである。
まず、車両傾き検出部６５として機能するＥＣＵ１１は、非接触計測装置１５の計測結果に基づいて車両４０の傾きを検出する（ステップＳ１１）。

具体的には、非接触計測装置１５を構成している複数の非接触計測部１５ａ〜１５ｄのうち、例えば、ジャイロセンサあるいは加速度センサを用いて、方位検出機能あるいは加速度検出機能を利用して車両４０の前後方向、左右方向あるいは上下方向の傾きを検出することとなる。

次に画像データ取得部６１は、複数の撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂから撮像された複数の撮像画像に対応する複数の撮像画像データを取得する（ステップＳ１２）。

次に、画像合成部６２として機能するＥＣＵ１１は、画像データ取得部６１が取得した複数の撮像画像データに対応する複数の画像、すなわち、複数の撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂで撮像された複数の撮像画像の境界部分を出来る限り破綻のないように合成することで繋ぎ、一つの撮像画像のデータである合成撮像画像データを生成する（ステップＳ１３）。

仮想投影画像データ生成部６３として機能するＥＣＵ１１は、合成撮像画像データを、車両４０の周囲を取り囲む後述する仮想投影面Ｓｐ（図５参照）に投影したと仮定した場合に得られる仮想投影画像データを生成する（ステップＳ１４）。

図５は、仮想投影面の説明図である。
図５（ａ）は、仮想投影面Ｓｐの平面図、図５（ｂ）は、仮想投影面Ｓｐの側面図、図５（ｃ）は、仮想投影面ＳｐのＡ−Ａ断端面図である。
図５の例では、仮想投影面Ｓｐは、水平面Ｇｒに平行な底面Ｓｐｇと、底面Ｓｐｇすなわち水平面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。

第１実施形態においては、仮想投影面Ｓｐは、車両４０と一体に設定されており、車両４０が前後方向、左右方向及び上下方向のいずれにも傾きがない理想的な場合に、底面Ｓｐｇは、水平面Ｇｒに含まれる平面となっている。換言すれば、第１実施形態においては、仮想投影面Ｓｐは、後に詳述するように車両４０の傾きに伴って配置位置が変更されるものである。

底面Ｓｐｇは、略円形の平坦面であり、側面Ｓｐｓは、底面Ｓｐｇの周と接した曲面である。

図６は、車両に対する仮想投影面の配置位置の説明図である。
この場合において車両４０の中心ＧｃをＺ軸が通るとした場合に、Ｚ軸を含む平面と交差する側面Ｓｐｓの断面の形状は、図６に示すように、例えば、楕円の周状あるいは放物線状とされている。ここで、側面Ｓｐｓは、底面Ｓｐｇの周に沿って、車両４０の周囲を取り囲んでいる。

図７は、撮像部の撮像範囲と仮想投影面との関係説明図である。
図７においては、説明の簡略化のため、撮像部１２Ｒを例として説明する。
撮像部１２Ｒの撮像可能範囲は、例えば、図７に示すように、上下方向で方向ＤＲ１〜ＤＲ２の間であり、その間に対応する画像が仮想投影面Ｓｐに投影されるものと仮定される。

そして、仮想投影画像データ生成部６３は、撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂがそれぞれ出力した撮像画像データＩｃＦ、ＩｃＲ、ＩｃＬ、ＩｃＢ（図１参照）に対応する画像ＧＩｃＦ、ＧＩｃＲ、ＧＩｃＬ、ＧＩｃＢを、仮想投影面Ｓｐに投影したと仮定した場合に得られるであろう仮想投影画像ＧＳｐに対応する仮想投影画像データＩｐを算出する。すなわち、撮像画像データＩｃＦ、ＩｃＲ、ＩｃＬ、ＩｃＢに対応する画像を構成している画素の座標変換を行って仮想投影画像データＩｐとする。

この場合において、４つの撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂにおいて得られるそれぞれの撮像画像データＩｃＦ、ＩｃＲ、ＩｃＬ、ＩｃＢに対応する４枚の画像ＧＩｃＦ、ＧＩｃＲ、ＧＩｃＬ、ＧＩｃＢには、図２で示した様に重複部分が存在するので、仮想投影画像データ生成部６３は、当該重複部分において出来る限り画像の歪みが少なくなるように画像合成を行って、仮想投影画像データＩｐを得ることとなる。

図８は、車両が傾いている場合の固定された仮想投影面と視点画像との関係説明図である。
ところで、車両４０が傾いている場合、仮想投影面Ｓｐも傾いて、図８に示す仮想投影面Ｓｐ１のような状態となる。この傾いた仮想投影面Ｓｐ１をそのままの状態で取り扱うと、仮想投影面Ｓｐ１には、車両４０周囲の相対的に傾いた状態の画像が投影されることとなり車両４０の状態（姿勢）を客観的に見ることはできなくなってしまう。

そこで、本第１実施形態では、車両の傾きに基づいて仮想投影画像データの座標変換を行う（ステップＳ１５）。

すなわち、図８に示すように、岩等の障害物Ｂａにより車両４０が傾いた場合には、仮想投影面Ｓｐも車両と一緒に傾いて仮想投影面Ｓｐ１のような状態となっているので、座標変換を行うことで、実効的に、仮想投影面Ｓｐ１を車両４０の傾きを相殺する方向に傾けて底面Ｓｐｇが水平面Ｇｒと等しくなるようにする。

より具体的には、例えば、方向ＤＲ１に対応する仮想投影面Ｓｐ１上の座標を座標変換Ｃ１により仮想投影面Ｓｐ上の座標に変換し、方向ＤＲ２に対応する仮想投影面Ｓｐ１上の座標を座標変換Ｃ２により仮想投影面Ｓｐ上の座標に変換する。
この結果、車両４０が傾いていても仮想投影面Ｓｐの底面Ｓｐｇが水平面Ｇｒと等しくなり、水平面Ｇｒを基準とした仮想投影画像ＧＩｐを得ることができる。

次に視点画像データ生成部６４は、仮想投影画像データＩｐに基づいて仮想投影面Ｓｐに投影された仮想投影画像ＧＩｐを、所定の仮想視点Ｅｐから見た視点画像ＧＩｂに対応する視点画像データＩｂを生成する（ステップＳ１６）。

このとき、視点画像データ生成部６４は、ステップＳ１１において車両傾き検出部６５が取得した車両の傾きの量に基づいて、図８に示すように、仮想投影面Ｓｐに投影された仮想投影画像ＧＩｐを、所定の仮想視点Ｅｐから見た視点画像ＧＩｂに対応する視点画像データＩｂに変換する。この場合において、仮想視点Ｅｐは、ユーザが任意に設定可能である。

例えば、図８の例の場合には、仮想視点Ｅｐは、車両４０の左方向かつ車両４０の扉の中心の高さで、車両４０から適宜離間した位置に設定されている。すなわち、第３者が車両４０の左側方の車外から車両４０の走行状態を観察したような視点画像が得られることとなる。

続いて出力画像データ生成部６６は、視点画像データＩｂに基づいて、出力画像データｏｕｔを生成する（ステップＳ１７）。

図９は、出力画像に対応する車両の実際の状態の説明図である。
図１０は、出力画像の一例の説明図である。

図９に示したように、車両４０の前輪が岩等の障害物Ｂａに乗り上げている場合には、車両４０と一体に設定されている仮想投影面Ｓｐ１は、車両４０とともに水平面Ｇｒに対して回転した状態にあるが、出力画像データの生成に実際に必要な仮想投影面Ｓｐは、水平面Ｇｒに底面Ｓｐｇが含まれる状態となっている。

そして、図１０に示すように、出力画像Ｇｏｕｔには、背景画像として樹木、地面ＧＮＤ等を含む視点画像ＧＩｂが表示され、背景画像である視点画像ＧＩｂの手前には、車両４０の状態（傾き状態）を表示するための車両モデル画像４０Ｍが水平面Ｇｒに対して傾いた状態で表示されている。

したがって、本第１実施形態によれば、図１０に示すような出力画像Ｇｏｕｔが得られ表示がなされるので、ユーザは、車両４０の外部から傾きがない状態で見た背景上に自車両である車両４０の車両モデル画像４０Ｍが実際の傾きを反映した状態で表示されていることにより、自車両である車両４０の傾きを直感的に把握することができ、その後の運転操作に容易に反映することが可能となる。

［２］第２実施形態
上記第１実施形態においては、仮想投影面Ｓｐが車両４０が傾く場合には、一体となって傾く場合のものであったが、本第２実施形態は、仮想投影面Ｓｐが車両４０の傾きの影響を受けることなく（水平面に）固定とした場合の実施形態である。
図１１は、第２実施形態のＥＣＵの動作処理フローチャートである。
まず、車両傾き検出部６５として機能するＥＣＵ１１は、非接触計測装置１５の計測結果に基づいて車両４０の傾きを検出する（ステップＳ２１）。

次に画像データ取得部６１として機能するＥＣＵ１１は、複数の撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂから撮像された複数の撮像画像に対応する複数の撮像画像データを取得し（ステップＳ２２）、画像合成部６２として機能するＥＣＵ１１は、画像データ取得部３１が取得した複数の撮像画像データに対応する複数の画像、すなわち、複数の撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂで撮像された複数の撮像画像の境界部分を出来る限り破綻のないように合成することで繋ぎ、一つの撮像画像のデータである合成撮像画像データを生成する（ステップＳ２３）。

さらに仮想投影画像データ生成部６３として機能するＥＣＵ１１は、合成撮像画像データを、車両４０の周囲を取り囲む仮想投影面に投影したと仮定した場合に得られる仮想投影画像データを生成する（ステップＳ２４）。このとき、仮想投影画像データ生成部６３は、ステップＳ２１において車両傾き検出部６５が取得した車両４０の傾きの量をキャンセルするように、合成撮像画像データを、車両４０の周囲を取り囲む仮想投影面に投影したものと想定する。

次に視点画像データ生成部６４は、車両４０の傾きの量がキャンセルされた状態の仮想投影画像データＩｐに基づいて仮想投影面Ｓｐに投影された仮想投影画像ＧＩｐを、所定の仮想視点Ｅｐから見た視点画像ＧＩｂに対応する視点画像データＩｂを生成する（ステップＳ２５）。

続いて出力画像データ生成部６６は、視点画像データIｂに基づいて、図１０に示した場合と同様に、背景画像として視点画像ＧＩｂが表示され、背景画像である視点画像ＧＩｂの手前には、車両４０の状態（傾き状態）を表示するための車両モデル画像４０Ｍが水平面Ｇｒに対して傾いた状態で表示された出力画像Ｇｏｕｔに対応する出力画像データｏｕｔを生成する。

したがって、本第２実施形態によれば、仮想投影画像データの生成時に車両４０の傾きをキャンセルして、水平面に固定とされた仮想投影面Ｓｐに仮想投影画像を投影したものと仮想的に取り扱え、第１実施形態と同様に、得られる出力画像Ｇｏｕｔに基づいて、自車両である車両４０の傾きを直感的に把握することができ、その後の運転操作に容易に反映することが可能となる。

［３］第３実施形態
上記各実施形態において、撮像部１２Ｆ、１２Ｒ、１２Ｌ、１２Ｂは、車両４０の下面に対向する路面（道路等）を撮像することはできない。すなわち、実際に車両４０が走行している路面についての情報を得ることはできなかった。

しかしながら、ほぼまっすぐに走行しているような状態であれば、現在走行している路面は、所定時間前に撮像部１２Ｆにより撮像されているはずである。

同様に、車両４０において、右方向に曲がった場合には、現在走行している路面は、所定時間前に撮像部１２Ｒにより撮像されており、左方向に曲がった場合には、現在走行している路面は、所定時間前に撮像部１２Ｌにより撮像されており、バックした場合には、現在走行している路面は、所定時間前に撮像部１２Ｂにより撮像されているはずである。
従って、現在走行している路面を撮像していた過去の撮像データに基づいて、現在走行している路面についても表示を行えることとなる。

図１２は、第３実施形態の説明図である。
図１２において、車両４０は、路面（道路）ＲＤ上を図１２上部に示す位置を走行しており、撮像部１２Ｆの当該位置における撮像画像は、画像ＧＩｃＦとなっている。

これに対し、直前においては、車両４０は、車両４０Ｐの位置を走行しており、撮像部１２Ｆの当該位置における撮像画像は、路面ＲＤｐを含む画像ＧＩｃＦとなっていた。
この車両４０Ｐの位置を走行していたときに得られる画像ＧＩｃＦＰは、障害物Ｂａを含む車両４０が走行している路面の画像となっている。
そこで、本第３実施形態においては、仮想投影面Ｓｐの底面Ｓｐｇを含む所定の領域に投影する画像として、車両４０Ｐの位置を走行していたときに得られる画像ＧＩｃＦＰを用いて車両４０が現在走行している場所で撮像した画像と合成することによって、現在の走行状態を表示するようにしている。

図１３は、第３実施形態の出力画像の説明図である。
出力画像Ｇｏｕｔ１は、仮想視点Ｅｐを車両４０の後方に設定した場合のものであり、車両４０の前方の画像については、図１２に示した車両４０の位置を走行していたときに得られる画像ＧＩｃＦを用いた視点画像ＧＩｂを用い、車両４０の下面に対向する路面（道路等）についての画像は、図１２に示した車両４０Ｐの位置を走行していたときに得られる路面ＲＤｐを含む画像ＧＩｃＦＰを用いた視点画像ＧＩｂＰとなっている。

以上の説明のように、本第３実施形態によれば、現在の走行路面の状態を含む出力画像を得ることができ、実際に車両４０が走行している状態を確実に把握することができる。

［４］第４実施形態
図１４は、第４実施形態の説明図である。
図１４（ａ）は、車両４０が左右方向に角度θ１だけ傾いた状態で走行している場合の車両４０の後方に仮想視点Ｅｐを設定した場合の出力画像Ｇｏｕｔ１１を示している。

この場合において、角度θ１は、車両の横転、横滑りなどの可能性が高くなると想定される所定の閾値角度θｔｈよりも小さくなっており（θ１＜θｔｈ）、出力画像Ｇｏｕｔ１１には、車両４０の後方の仮想視点Ｅｐからの視点画像ＧＩｂ上に角度θ１だけ傾いた車両モデル画像４０Ｍが表示されているだけである。

これに対し、図１４（ｂ）は、車両４０が左右方向に角度θ２（＞θｔｈ）だけ傾いた状態で走行している場合の車両４０の後方に仮想視点Ｅｐを設定した場合の出力画像Ｇｏｕｔ１２を示している。

出力画像Ｇｏｕｔ１２には、車両４０の後方の仮想視点Ｅｐからの視点画像ＧＩｂ上に角度θ２だけ傾いた車両モデル画像４０Ｍが表示されるとともに、車両４０が閾値角度θｔｈよりも傾いた場合に、ユーザに車両４０の傾きが大きくなっている旨の注意喚起を促すとともに、傾き状態をより視覚的に表現するためのゲージ画像ＧＧ及び傾き状態を視覚的に強調して表示するゲージインデックスＧＩが表示されている。
従って、本第４実施形態によれば、車両４０の傾き状態を客観的に判断する情報を提供することができる。

図１４の例においては、ゲージ画像ＧＧには、傾きの数値目盛などは表示していないが、数値目盛を表示したり、現在の傾き角度をピッチ角度、ロール角度、ヨー角度などとして数値で表示するようにしたり構成することも可能である。

［５］第５実施形態
上記各実施形態においては、車両モデル画像４０Ｍは、車両４０の傾きを視覚的に表示するために表示されており、その表示態様は、車両４０の傾き状態に拘わらず一定であった。
したがって、必ずしも直感的に車両の傾き状態を把握できるものとはなっていなかった。

図１５は、第５実施形態の第１の表示例の説明図である。
図１５は、車両が登坂中の状態において、車両４０の右側方に仮想視点Ｅｐを設定した場合の車両モデル画像４０Ｍの表示例である。

より詳細には、図１５の左部分に示すように、車両４０の傾き角度θが第１の閾値角度θｔｈ１未満である場合には、車両モデル画像４０Ｍは、例えば、傾き角度θが水平に近い状態であることを示す白色で示される。

また、図１５の中央部分に示すように、車両４０の傾き角度θが第１の閾値角度θｔｈ１を超え、第２の閾値角度θｔｈ２未満である場合には、車両モデル画像４０Ｍは、車両がやや傾いている状態であることを示すとともに、ユーザに注意を促すために橙色で示される。

さらに、図１５の右部分に示すように、車両４０の傾き角度θが第２の閾値角度θｔｈ２（＞θｔｈ１）を超えている場合には、車両モデル画像４０Ｍは、車両の傾きが非常に大きくなっている状態であることを示すとともに、ユーザにさらなる注意を促すために赤色で示される。

図１６は、第５実施形態の第２の表示例の説明図である。
図１６は、車両４０がバンクのある路面を走行中の状態において、車両４０の前方に仮想視点Ｅｐを設定した場合の車両モデル画像４０Ｍの表示例である。

より詳細には、図１６の左部分に示すように、車両４０がほぼ水平状態で走行しており、左右方向の傾き角度θが第１の閾値角度θｔｈ１１未満である場合には、車両モデル画像４０Ｍは、例えば、傾き角度θが水平に近い状態であることを示す白色で示される。

また、図１６の中央部分に示すように、車両４０の一方の車輪、すなわち、左側の車輪がバンクを走行しているような状態で、左右傾き角度θ１が第１の閾値角度θｔｈ１１を超え、第２の閾値角度θｔｈ１２未満である場合には、車両モデル画像４０Ｍは、車両４０がやや左右方向に傾いている状態であることを示すとともに、ユーザに注意を促すために橙色で示される。

さらに、図１６の右部分に示すように、車両４０が完全にバンクを走行しており、車両４０の左右方向の傾き角度θ１が第２の閾値角度θｔｈ１２（＞θｔｈ１１）を超えている場合には、車両モデル画像４０Ｍは、車両４０の傾きが非常に大きくなっている状態であることを示すとともに、ユーザにさらなる注意を促すために赤色で示される。

これらの場合において、車両モデル画像４０Ｍの表示色は、適宜設定可能であり、ユーザが所望の色を設定するようにすることも可能である。
また、色を変更するばかりで無く、例えば、車両の傾きが非常に大きくなっている状態においては、車両モデル画像４０Ｍを点滅表示としたり、点滅速度を変更したりするような表示態様の変更も可能である。

［６］第６実施形態
図１７は、第６実施形態の説明図である。
本第６実施形態は、車両４０の傾きの表示に加えて、あらかじめ設定した基準高度からの現在の車両４０の相対高度を出力画像に表示する場合の実施形態である。
図１７に示すように、車両４０Ｒの高度にいたときに基準高度を設定した場合、現在の車両４０の相対高度が図１７に示すような状態であったものとする。

図１８は、第６実施形態の出力画像の説明図である。
出力画像Ｇｏｕｔ２１には、背景画像として視点画像ＧＩｂが表示され、背景画像である視点画像ＧＩｂの手前には、車両４０の状態（傾き状態）を表示するための車両モデル画像４０Ｍが水平面Ｇｒに対して傾いた状態で表示されている。

さらに出力画像Ｇｏｕｔ２１の左側部には、実際の車両４０の相対高度を視覚的に表示するための相対高度表示インジケータＡＩＮＤが表示されており、実際の車両４０の相対高度に相当する位置に車両アイコン４０Ｉが表示されている。
従って、ユーザは、自車両４０が設定した基準高度に対する現在の相対高度（例えば、登坂高度差）を視覚的に容易に把握することができる。

［７］第７実施形態
図１９は、第７実施形態の説明図である。
本第７実施形態は、ある時間前に坂ＳＬＰを上ろうとしていた車両４０Ｐで示す位置にいた車両４０が、坂ＳＬＰを登り切った頂上部ＳＬＰＴに車両４０の前輪ＴＦが到達した状態でユーザにその旨を告知するための実施形態である。

一般的に、車両４０が坂ＳＬＰを上っている状態において、前輪ＴＦが頂上部ＳＬＰＴに到達した場合には、一旦車両４０を停車状態とした方が、そのまま上り続けるよりも前輪ＴＦのグリップ力を確保することが可能となり、登坂を確実に完了することができる。
そこで、本第７実施形態は、坂ＳＬＰを登り切った頂上部ＳＬＰＴに車両４０の前輪ＴＦが到達した状態を告知するのである。

図２０は、第７実施形態における出力画像の状態を説明する図である。
図２０（ａ）は、車両４０が車両４０Ｐの位置にいた場合に、車両４０の後方に仮想視点Ｅｐを設定した場合の出力画像Ｇｏｕｔ３１である。

図２０（ａ）に示すように、車両４０が坂ＳＬＰを登り切っていない状態では、路面ＲＤは、途中で途切れた状態となっている。従って、ＥＣＵ１１は、車両４０の傾きが登坂中である可能性が高い状態において、出力画像Ｇｏｕｔ３１の背景画像ＧＩｂあるいは非接触計測部１５ａ〜１５ｄを構成しているソナーなどの距離センサを用いて路面ＲＤまでの距離を測定し、路面ＲＤが途中でとぎれている場合には、登坂中であると判別する。

そして、車両４０が坂ＳＬＰを登り切った場合には、図１９に示すように、撮像部１２Ｆの撮像範囲は頂上部ＳＬＰＴを含むこととなり、図２０（ｂ）に示すように、出力画像Ｇｏｕｔ３２に示すように、路面ＲＤがある程度連続した状態となるので、ＥＣＵ１１は、出力画像Ｇｏｕｔ３２の背景画像ＧＩｂあるいは非接触計測部１５ａ〜１５ｄを構成しているソナーなどの距離センサを用いて検出し、前輪ＴＦが頂上部ＳＬＰＴに到達したので、一旦車両４０を停車状態とすべき旨のコメントＣＭを表示する。

以上の説明のように、本第７実施形態によれば、登坂時に車両４０の傾きおよび路面ＲＤとの関係に基づいて、前輪ＴＦが頂上部ＳＬＰＴに到達したので、一旦車両４０を停車状態とすべき旨のコメントＣＭを表示して、ユーザに告知するので、前輪ＴＦのグリップ力を確保して確実に登坂を完了させることができる。

この場合において、ブザーなどの告知音、告知音声メッセージなどの告知音声などにより表示に代えて、あるいは、表示に加えてユーザに注意を促すように構成することも可能である。
以上の説明のように、第７実施形態によれば、前輪ＴＦが頂上部ＳＬＰＴに到達した場合に、より確実に前輪ＴＦのグリップ力を確保して登坂を完了させることができる。

［８］第８実施形態
本第８実施形態は、車両４０の傾きを検出する加速度センサ（３軸加速度センサの一部あるいは全部）が故障した場合の実施形態である。

図２１は、第８実施形態の出力画像の一例の説明図である。
この場合には、当該故障した加速度センサの出力を０として扱うとともに、出力画像ＧｏｕｔにエラーコメントＥＣを表示してユーザに告知する。

本第８実施形態によれば、加速度センサの故障によるＥＣＵ１１における演算結果があり得ない状態となるのを防止できるとともに、ユーザに出力画像Ｇｏｕｔにおける表示が正しくない旨を確実に告知することができる。

［９］第９実施形態
上記各実施形態においては、仮想投影面Ｓｐを構成している底面Ｓｐｇは単なる平面として扱っていたが、本第９実施形態は、車両４０のタイヤ毎に底面を割り当ててより実際の路面状態に近い表示を行うための実施形態である。

図２２は、第９実施形態の仮想投影面の平面図である。
図２２の場合、図５の場合と異なり、仮想投影面Ｓｐは、タイヤ毎に割り当てられた４つの副底面ＳｐｇＲＦ、ＳｐｇＲＲ、ＳｐｇＬＦ、ＳｐｇＬＲを含む底面Ｓｐｇと、底面Ｓｐｇすなわち水平面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。

図２３は、仮想投影面と車両との関係説明図である。
図２３に示すように、仮想投影面Ｓｐの副底面ＳｐｇＲＦは車両４０の右前輪ＴＲＦに対応し、副底面ＳｐｇＲＲは車両４０の右後輪ＴＲＲに対応し、副底面ＳｐｇＬＦは車両４０の左前輪ＴＬＦに対応し、副底面ＳｐｇＬＲは車両４０の左後輪ＴＬＲに対応している。

図２４は、第９実施形態の詳細説明図である。
本第９実施形態においては、右前輪ＴＲＦ、右後輪ＴＲＲ、左前輪ＴＬＦ及び左後輪ＴＬＲのそれぞれには、対応するタイヤ（車輪）の圧力分布（もしくは形状変化）を検出するための左右一対のセンサＳＳ１及びセンサＳＳ２が配置されている。

この場合において、各センサＳＳ１、ＳＳ２は、ＥＣＵ１１と通信を行うための無線通信機能及び右前輪ＴＲＦ内、右後輪ＴＲＲ内、左前輪ＴＬＦ内あるいは左後輪ＴＬＲ内で発電を行い対応するセンサＳＳ１、ＳＳ２に電力を供給する電源機能を有している。

そして、ＥＣＵ１１は、センサＳＳ１、ＳＳ２からの通信に基づいて右前輪ＴＲＦ、右後輪ＴＲＲ、左前輪ＴＬＦ及び左後輪ＴＬＲのそれぞれで検出された接地面（図２４では、接地面ＣＳ１及び接地面ＣＳ２）に応じて、タイヤ毎に割り当てられた仮想投影面Ｓｐの底面Ｓｐｇを構成するとともに、独立して傾けることが可能な４つの副底面ＳｐｇＲＦ、ＳｐｇＲＲ、ＳｐｇＬＦ、ＳｐｇＬＲについてそれぞれのタイヤの接地面を含むように、若しくは、タイヤの接地面と平行となるように傾けられた副底面ＳｐｇＲＦ、ＳｐｇＲＲ、ＳｐｇＬＦ、ＳｐｇＬＲを用いた出力画像を生成するようになっている。なお、図２４において、副底面ＳｐｇＬＦ０は、傾きが無い場合の副底面ＳｐｇＬＦに相当している。

したがって、第９実施形態によれば、実際に車両４０が走行している路面の接地状態に応じた出力画面を構成することができ、ユーザはより正確に車両４０の走行状態を把握できることとなる。

［１０］実施形態の効果
以上の説明のように、各実施形態によれば、車両４０の傾きを出力画像で視覚的に容易に把握でき、ユーザは車両４０の傾きに基づいて必要な操作を確実に行うことが可能となる。

［１１］実施形態の変形例
以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等）は、適宜に変更して実施することができる。

また、以上の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。

以上の説明において仮想投影面Ｓｐの形状については、様々な態様が採用可能である。
例えば、車両４０の速度が第一の速度である場合にあっては、車両４０の遠方に該当する箇所が急峻に立ち上がる仮想投影面Ｓｐを設定し、車両４０の速度が第１の速度よりも低い第２の速度である場合にあっては、車両４０の近傍から車両４０の遠方にかけて緩やかに立ち上がる仮想投影面を用いたり、車両４０の近傍に該当する箇所が急峻に立ち上がる仮想投影面を用いたりするように構成することも可能である。

また、出力画像（表示画像）は、複数の表示装置で表示されてもよいし、ナビゲーション装置等とは別の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。

また、仮想投影面としては、種々の形状のものが設定される。
例えば、仮想投影面Ｓｐの側面Ｓｐｓは曲面であってもよいし、仮想投影面Ｓｐの側面Ｓｐｓと底面Ｓｐｇとが一連の曲面であってもよい。

１０…車載システム、１１…ＥＣＵ、１１ａ…ＭＰＵ、１１ｂ…ＲＯＭ、１１ｄ…フラッシュメモリ、１１ｅ…表示制御部、１１ｆ…音声制御部、１２…撮像装置、１２Ｂ、１２Ｆ、１２Ｌ、１２Ｒ…撮像部、１３…モニタ装置、１３ａ…表示部、１３ｂ…入力部、１３ｃ…音声出力装置、１４…入力部、１５…非接触計測装置、１５ａ〜１５ｄ…非接触計測部、１６…舵角センサ、１７…後輪操舵システム、１７ａ…舵角センサ、１８…ＧＰＳ、１９…車輪速センサ、２０…ブレーキシステム、２０ａ…ブレーキセンサ、２１…アクセルセンサ、２２…前輪操舵システム、２２ａ…トルクセンサ、２３…シフトセンサ、２４…方向指示器、２５…車内ネットワーク、３０…車両制御システム
、３１…画像データ取得部、４０、４０Ｐ、４０Ｒ…車両、４０Ｉ…車両アイコン
、４０Ｍ…車両モデル画像、６０…画像処理部、６１…画像データ取得部、６２…画像、ＣＳ１、ＣＳ２…接地面、Ｇｏｕｔ、Ｇｏｕｔ１〜Ｇｏｕｔ３２…出力画像、Ｓｐ、Ｓｐ１ 仮想投影面、Ｓｐｓ…側面、Ｓｐｇ…底面、ＳｐｇＲＦ、ＳｐｇＬＦ、ＳｐｇＲＲ、ＳｐｇＬＲ…副底面、ＳＳ１、ＳＳ２…センサ、合成部、６３…仮想投影画像データ生成部、６４…視点画像データ生成部、６５…検出部、６６…出力画像データ生成部、６７…データ取得部、６８…可変設定部、７０…記憶部、ＡＩＮＤ…相対高度表示インジケータ、Ｂａ…障害物、ＣＭ…コメント、ＥＣ…エラーコメント、Ｅｐ…仮想視点、ＧＧ…ゲージ画像、ＧＩ…ゲージインデックス、ＧＩｂ…視点画像、ＧＩｐ…仮想投影画像。

Claims (5)

1. 車両の傾きに対応する傾き情報及び前記車両の周囲を撮像した周囲画像データに基づいて、予め配置位置が設定された仮想投影面に前記周囲画像データに対応する周囲画像を投影したと仮定した場合に所定の仮想視点から見た場合の視点画像を生成する視点画像生成部と、
   前記視点画像に前記傾き情報に対応する前記車両の傾きに応じた傾きを有する自車両モデル画像を重畳した出力画像を表示装置に表示させるための出力画像データを生成し出力する出力画像生成部と、を備え、
   前記仮想投影面は、水平面に対向するように配置された底面と、前記車両の周囲の水平方向に対向するように配置された側面と、を有し、
   前記底面は、前記車両の各車輪の接地面をそれぞれ含むように、あるいは、接地面と平行となるようにそれぞれ独立して傾けることが可能な複数の副底面を有する、
   車両用画像処理装置。
2. 前記仮想投影面は、前記傾きがない状態の前記車両に対応づけて前記車両を取り囲むように前記車両の周囲に三次元的に配置されるように設定されており、
   前記視点画像生成部は、前記傾き情報に基づいて、前記車両の傾きを相殺するように前記仮想投影面を設定する投影面設定部を備えた、
   請求項１記載の車両用画像処理装置。
3. 前記投影面設定部は、前記仮想投影面が基準水平面に対して固定されているように設定する、
   請求項２記載の車両用画像処理装置。
4. 車両の傾きに対応する傾き情報及び前記車両の周囲を撮像した周囲画像データに基づいて、予め配置位置が設定された仮想投影面に前記周囲画像データに対応する周囲画像を投影したと仮定した場合に所定の仮想視点から見た場合の視点画像を生成する視点画像生成部と、
   前記視点画像に前記傾き情報に対応する前記車両の傾きに応じた傾きを有する自車両モデル画像を重畳した出力画像を表示装置に表示させるための出力画像データを生成し出力する出力画像生成部と、を備え、
   前記車両全体のいずれかの方向への水平面に対する傾きが当該方向に対応する所定の傾き閾値を超えた場合にその旨を告知するための告知情報を前記出力画像に含める、
   車両用画像処理装置。
5. 前記告知情報は、前記自車両モデル画像の表示態様の変更、若しくは、コメントあるいはゲージ画像等の追加情報の表示としてなされる、
   請求項４記載の車両用画像処理装置。

Images