JP2016097843A - 周辺監視装置 - Google Patents

Abstract

【課題】車両の周囲の状況の認識が容易になる。
【解決手段】実施形態の周辺監視装置は、車両に設けられた測距検知部から、当該車両から物体までの距離と共に、当該物体の高さ情報を算出可能な測距データを入力処理する入力部と、入力部が入力した測距データに基づいて生成された、車両の周囲の物体について高さに応じて色を異ならせた表示情報を、表示装置に出力する出力部と、を備える。
【選択図】図８

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両の運転を支援する技術として、車両に設けられたセンサで、車両の周辺環境の障害物を検出し、検出された障害物の位置を表示する技術が提案されている。

従来技術においては、車両の周囲の物の位置を表示する手法として、例えば、ポリゴン等を用いた表示等様々な手法がある。

特開２０１４−８５９２５号公報

しかしながら、従来技術においては、表示されている物の高さを把握しにくいという問題があった。

本発明は、上記に鑑みてなされたものであり、周囲の状況を認識することが容易になる周辺監視装置を提供することを目的の１つとする。

実施形態の周辺監視装置は、一例として、車両に設けられた測距検知部から、当該車両から物体までの距離と共に、当該物体の高さ情報を算出可能な測距データを入力処理する入力部と、入力部が入力した測距データに基づいて生成された、車両の周囲の物体について高さに応じて色を異ならせた表示情報を、表示装置に出力する出力部と、を備える。よって、一例としては、車両の周囲の物体が高さに応じて色が異ならせて表示されるため、車両の周囲の状況の認識が容易になるという効果を奏する。

また、上記周辺監視装置は、一例として、入力部は、さらに、車両に設けられた撮像部から、当該車両の周囲に存在する物体が撮像された撮像画像データを入力処理し、出力部は、撮像画像データに表された物体の色と、測距データに基づいた物体の高さに応じた色と、を重畳した表示情報を、表示装置に出力する。よって、一例としては、車両の周囲の物体が高さに応じて色が異なると共に当該物体の色が表されるため、車両の周囲の状況の認識が容易になるという効果を奏する。

また、上記周辺監視装置は、一例として、出力部が出力する表示情報において、車両が走行する走行面を基準として、上方向と下方向とで色を異ならせる。よって、一例としては、走行面を基準とした高さに応じて、車両の周辺の物体の色が異なるため、車両の周囲の状況の認識が容易になるという効果を奏する。

また、上記周辺監視装置は、一例として、出力部は、撮像部により撮像された一枚の撮像画像データに表された物体の色を用いた、表示情報を、表示装置に出力する。よって、一例としては、撮像画像データで示された物の色が表示されるため、車両の周囲の状況の認識が容易になるという効果を奏する。

また、上記周辺監視装置は、一例として、出力部は、撮像部により撮像された時刻が異なる複数の撮像画像データを用いた表示情報を、表示装置に出力する。よって、一例としては、複数の撮像画像データを組み合わせて車両の周囲の状況を表すため、車両の周囲の状況の認識が容易になるという効果を奏する。

図１は、第１の実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例が示された平面図（俯瞰図）である。 図３は、第１の実施形態にかかる車両に設けられた撮像部が撮像する範囲と、測距センサが物体を検出可能な範囲を例示した図である。 図４は、第１の実施形態の測距センサから照射した光の経路を例示した図である。 図５は、第１の実施形態の測距センサにより検出された障害物を説明した図である。 図６は、変形例の測距センサが照射する光の方向を、上下方向に移動させた例を示した図である。 図７は、第１の実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。 図８は、第１の実施形態にかかるＥＣＵの構成を示すブロック図である。 図９は、第１の実施形態の位置記憶部のテーブル構造を例示した図である。 図１０は、第１の実施形態の３Ｄマップ合成部が合成するための３Ｄマップ上のテクスチャと、３Ｄマップ上の各領域に設定された色、と、を例示した図である。 図１１は、第１の実施形態のＥＣＵにおける、表示画像データを表示するまでの処理の手順を示すフローチャートである。 図１２は、変形例３にかかる車両に設けられた４個の測距センサから物体を検出可能な範囲を例示した図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成によって得られる種々の効果（派生的な効果も含む）を得ることが可能である。

実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示されるように、車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けてもよい。また、音声出力装置９の他に、ブザー等の音声出力部から、警報音等が出力されるように構成することができる。

また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１２は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１２は、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、車輪３Ｆを操舵する。なお、別の実施例において、操舵システム１２は、前輪と後輪が独立または関連して操舵されるように構成してもよい。一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。

また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として２つ）の撮像部１６（１６ａ〜１６ｂ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで撮像画像データ（動画データ、フレームデータ）を出力できる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。

本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパ等に設けられている。撮像部１６ｂは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。これにより、車両１の周囲の状況を撮像できる。

本実施形態では、一例として、図１，２に示されるように、車両１（車体２）には、２個の測距センサ１７（１７ａ〜１７ｂ）が設けられている。測距センサ１７は、例えば、ＬＥＤやレーザダイオードから光を照射し、車両１の周囲に存在する物体に当たると反射され、当該反射された光を受光することで、当該物体が存在する方向及び距離を検出可能なセンサとする。

図３は、車両１に設けられた撮像部１６が撮像する範囲と、測距センサ１７が物体を検出可能な範囲を例示した図である。図３に示されるように、撮像部１６ａ、１６ｂが撮像する範囲は、車両の前方向又は後ろ方向を光軸３２１、３２２を基準として、１４０°〜２２０°の範囲３１１、３１２となる。測距センサ１７ａ、１７ｂは、車両１の左右方向に光の照射方向を移動可能としている。これにより、測距センサ１７ａ、１７ｂは、範囲３０１、３０２内で障害物を検出可能となる。

図４は、本実施形態の測距センサ１７ａから照射した光の経路を例示した図である。図４に示されるように、本実施形態では、車両１の走行している路面に対して、角度θになるように、測距センサ１７ａから光が照射されている。そして、車両１の走行に従って、測距センサ１７ａが測距している範囲が変化する。そこで、車両１が、走行に従って変化する検出結果を蓄積することで、車両１の周囲の状況を把握できる。

図５は、本実施形態の測距センサ１７ａにより検出された障害物を説明した図である。図５に示されるように、測距センサ１７ａから照射された光は、角度θで照射されているため、障害物にぶつかって反射してきた際に、距離の他に当該障害物の高さを認識できる。なお、図１，２で示される例では、説明を容易にするために車両１のフロントバンパやリヤトランクのドアに測距センサ１７を設けた例について説明したが、測距センサ１７を設ける位置を制限するものではない。例えば、さらに高い障害物を検出するために、車両１のルーフ近傍に測距センサ１７を設けても良い。

さらに、測距センサ１７は、車両１が走行している路面に対して、所定の角度で光を照射する例に制限するものではなく、測距センサ１７が照射する光の方向を、上下方向に変化させてもよい。図６は、変形例の測距センサ１７ａが照射する光の方向を、上下方向に移動させた例を示した図である。図６に示されるように、測距センサ１７ａが上下方向に光を照射することで、車両１の周囲に存在する様々な物体の高さを検出することが可能となる。

また、本実施形態では、一例として、図７に示されるように、周辺監視システム（周辺監視装置）１００では、ＥＣＵ１４（electronic control unit）や、モニタ装置１１等の他、操舵システム１２、測距センサ１７、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。

車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、測距センサ１７等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

図８は、本実施形態にかかるＥＣＵ１４の構成を示すブロック図である。図８に示すように、ＥＣＵ１４は、ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで、入力インターフェース部８０１と、曲率半径算出部８０２と、移動距離算出部８０３と、進行方向判定部８０４と、距離取得部８０５と、映像取得部８０６と、車両位置推定部８０７と、３Ｄマップ位置変換部８０８と、投影変換部８０９と、３Ｄマップ合成部８１１と、視点処理部８１２と、出力部８１３と、を実現する。また、ＲＡＭ１４ｃ上に、位置記憶部８１０が設けられる。

入力インターフェース部８０１は、舵角センサ１９からの舵角情報と、車輪速センサ２２からの車輪速情報と、シフトセンサ２１からのシフト情報と、測距センサ１７からの測距情報と、撮像部１６からの撮像画像データと、を入力処理する。

測距情報は、車両１に設けられた測距センサ１７から、当該車両１から、車両１の周囲に存在する物体までの距離と共に、当該物体の高さ情報を算出可能なデータとする。撮像画像データは、車両１に設けられた撮像部１６から、車両１の周囲に存在する物体を撮像したデータとする。

曲率半径算出部８０２は、舵角センサ１９からの舵角情報に基づいて、車両１の旋回半径を算出する。

移動距離算出部８０３は、車輪速センサ２２からの車輪速情報に基づいて、車両１の移動距離を算出する。

進行方向判定部８０４は、シフトセンサ２１からのシフト情報と、車輪速センサ２２からの車輪速情報と、に基づいて、車両１の進行方向を特定する。

距離取得部８０５は、測距センサ１７からの測距情報に基づいて、車両１から、車両１の周辺に存在する物体までの距離と、当該物体が検出された高さと、を取得する。

映像取得部８０６は、撮像部１６により撮像された撮像画像データを取得する。

車両位置推定部８０７は、算出された車両１の旋回半径、移動距離、及び進行方向に基づいて、車両１の位置を推定する。

３Ｄマップ位置変換部８０８は、車両１の位置と、当該車両１から物体までの距離と、当該物体が検出された高さと、に基づいて、車両１の位置と、当該物体の位置とを、車両１の周辺の環境を表した３Ｄマップ上における車両１の位置座標、及び当該物体の位置座標に変換する。

投影変換部８０９は、撮像画像データにおいて生じているレンズ等による歪みを取り除くと共に、撮像画像データに含まれている表示領域毎に区切った画像データを、３Ｄマップに貼り付けるためのテクスチャとして、３Ｄマップに含まれている各領域と対応付ける。

３Ｄマップ合成部８１１は、３Ｄマップ位置変換部８０８により変換された物体の位置に対して、車両１が走行している路面を基準として、高さに基づいた色の設定を行う。

本実施形態の３Ｄマップ合成部８１１は、３Ｄマップ上に存在する物体に対して、路面に近い高さを青色とし、路面から高くなるに従って赤色が濃くなるように設定する。本実施形態では、青色から赤色に変化する基準となる高さは、車両１が乗り越えられる高さを青色とし、車両１が乗り越えられない高さを赤色に設定する。

また、本実施形態の３Ｄマップ合成部８１１は、車両１が走行する走行面を基準として、上方向と下方向とで色を異ならせて設定している。本実施形態の３Ｄマップ合成部８１１は、３Ｄマップ上に存在する側溝や溝に対して、路面に近い高さを青色とし、当該路面から低くなるに従って黒色が濃くなるように設定する。本実施形態では、青色から黒色に変化する基準となる高さは、車両１が再び乗り上げられる高さを青色とし、車両１が乗り上げできない高さを黒色に設定する。

また、本実施形態の３Ｄマップ合成部８１１は、位置記憶部８１０に記憶されている、３Ｄマップ上の各領域に存在する物体、側溝や溝についても、上述した基準に従って、色を設定する。

本実施形態の３Ｄマップ合成部８１１は、３Ｄマップ上の領域毎に、当該領域を示す位置と、物体の有無と、対応付けられたテクスチャと、を位置記憶部８１０に記憶する。

図９は、本実施形態の位置記憶部８１０のテーブル構造を例示した図である。図９に示されるように、位置記憶部８１０は、３Ｄマップ上の、Ｘ座標、Ｙ座標、Ｚ座標、障害物有無、及びテクスチャを対応付けて記憶している。

本実施形態の３Ｄマップ合成部８１１は、３Ｄマップ上の領域毎に、当該領域に設定された色と、当該領域に対応付けられたテクスチャと、を重畳する。

図１０は、本実施形態の３Ｄマップ合成部８１１が合成するための３Ｄマップ上のテクスチャと、３Ｄマップ上の各領域に設定された色、と、を例示した図である。図１０（Ａ）では、撮像画像データからのテクスチャが、３Ｄマップ上の各領域に対応付けられている。図１０（Ｂ）は、測距データから検出された３Ｄマップ上の物体に対して、路面からの高さに応じて設定された色を示している。

図１０（Ａ）に示した３Ｄマップ上のテクスチャが表示された場合には、車両１の周囲の状況を認識できるが、車両１の周囲に存在する物体の高さを把握しにくい。一方、図１０（Ｂ）に示した３Ｄマップ上のハイトカラー（高さに応じて設定された色）が表示された場合には、車両１の周囲に存在する物体の高さが認識できるが、車両１の周囲の状況を認識しにくい。

そこで、本実施形態の３Ｄマップ合成部８１１が、図１０（Ａ）に示した撮像画像データからのテクスチャと、図１０（Ｂ）に示した物体の高さに応じて設定された色と、を重畳することとした。重畳した３Ｄマップにおいては、テクスチャによる周囲の状況と、色による路面からの高さと、が含まれている。

ところで、第１の実施形態の３Ｄマップ合成部８１１は、撮像部１６により撮像された撮像画像データにより生成されたテクスチャと、位置記憶部８１０に記憶されたテクスチャと、を、３Ｄマップ上の物体に対して貼り付けている。換言すれば、現在の撮像部１６により撮像された撮像画像データの他に、異なる時刻に撮像部１６により撮像された撮像画像データを用いている。つまり、車両１が走行している場合、車両１の走行に応じて、異なる範囲が撮像部１６により撮像された複数の撮像画像データから生成されたテクスチャを用いて、３Ｄマップが生成されている。３Ｄマップ合成部８１１は、現在車両１が撮影できない領域にテクスチャを貼り付けた３Ｄマップを生成できる。これにより、表示装置８は、車両１の周囲の状況を詳細に認識可能な表示画像データを表示できる。

視点処理部８１２は、領域毎に、高さに応じた色及びテクスチャが重畳された３Ｄマップに対して、表示装置８に表示するための視点を設定する。そして、視点処理部８１２は、設定された視点から３Ｄマップを見た場合の表示画像データを生成する。

出力部８１３は、視点処理部８１２により生成された表示画像データを、表示装置８に出力する。

上述した構成で表示装置８に表示された表示画像データを運転者が視認することで、周囲の状況とともに周囲に存在する物体の高さを認識できる。

次に、本実施形態のＥＣＵ１４における、表示画像データを表示するまでの処理について説明する。図１１は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。

まず、入力インターフェース部８０１が、各種センサからの情報を入力処理する（ステップＳ１１０１）。

次に、曲率半径算出部８０２が、車両１の旋回半径を算出する（ステップＳ１１０２）。移動距離算出部８０３は、車輪速センサ２２の車輪速情報に基づいて、車両１の移動距離を算出する（ステップＳ１１０３）。

進行方向判定部８０４は、シフトセンサ２１からのシフト情報と、車輪速センサ２２からの車輪速情報と、に基づいて、車両１の進行方向を特定する（ステップＳ１１０４）。なお、ステップＳ１１０２〜Ｓ１１０４までの処理の順序は一例として記載したもので、処理の順序を制限するものではない。

次に、車両位置推定部８０７が、旋回半径、移動距離、及び進行方向に基づいて、車両１の位置を推定する（ステップＳ１１０５）。

そして、距離取得部８０５は、測距センサ１７からの測距情報に基づいて、車両１から車両１周辺の物体までの距離と、当該物体の高さと、を取得する（ステップＳ１１０６）。

次に、３Ｄマップ位置変換部８０８が、車両１の位置、車両１と物体との間の距離、及び物体の高さに基づいて、３Ｄマップ上における車両１の位置座標、及び当該物体の位置座標に変換する（ステップＳ１１０７）。

映像取得部８０６は、入力インターフェース部８０１を介して、撮像部１６により撮像された、車両１周辺を撮像した撮像画像データを取得する（ステップＳ１１０８）。

そして、投影変換部８０９は、撮像画像データの歪み補正を行うと共に、撮像画像データに含まれているテクスチャを、３Ｄマップ上の領域と対応付ける（ステップＳ１１０９）。

３Ｄマップ合成部８１１は、３Ｄマップ上の物体に対して、車両１が走行している路面を基準として、高さに基づいた色の設定を行う（ステップＳ１１１０）。また、３Ｄマップ合成部８１１は、ステップＳ１１０６で取得した物体の高さに基づいた色の設定の他に、位置記憶部８１０に記憶されている物体の高さに基づいた色の設定を行う。

３Ｄマップ合成部８１１は、３Ｄマップ上の領域毎に、当該領域に設定された色と、当該領域に対応付けられたテクスチャと、を重畳する（ステップＳ１１１１）。なお、ステップＳ１１１１における重畳には、ステップＳ１１０９で対応付けられたテクスチャの他に、位置記憶部８１０に記憶されているテクスチャも用いる。

３Ｄマップ合成部８１１は、３Ｄマップ上の領域毎に、当該領域を示す位置座標と、物体の有無と、テクスチャと、を対応付けて位置記憶部８１０に記憶させる（ステップＳ１１１２）。なお、ステップＳ１１１１とＳ１１１２の順序は制限するものではなく、どちらが先に行われても良い。

そして、視点処理部８１２は、設定された視点に従って、３Ｄマップを参照した際の表示画像データを生成する（ステップＳ１１１３）。

次に、出力部８１３が、生成された表示画像データを、表示装置８に出力する（ステップＳ１１１４）。

上述した処理手順により、車両１周辺の状況、及び車両１周辺に存在する物体の高さを認識可能な表示画像データが表示装置８に表示されるので、ユーザは、物体の高さを含む車両１の周囲の状況を把握できる。

また、本実施形態では、位置記憶部８１０にテクスチャを格納し、３Ｄマップの生成時に用いることとした。これにより、３Ｄマップ合成部８１１は、撮像時刻が異なる複数の撮像画像データから生成されたテクスチャを貼り付けた３Ｄマップを生成している。例えば、車両１が走行している場合に、より広い領域が撮影されているため、生成された３Ｄマップでは、車両１の周囲の状況がより詳細に認識可能となる。

（変形例１）
第１の実施形態では、撮像部１６により撮像された撮像画像データから生成されたテクスチャと、３Ｄマップ上の高さに応じて設定された色と、を重畳する例について説明した。しかしながら、第１の実施形態は、テクスチャと、高さに応じて設定された色と、を重畳する手法に制限するものでない。そこで、変形例１としては、撮像部１６により撮像された撮像画像データから生成したテクスチャを用いない手法が考えられる。

つまり、３Ｄマップ合成部８１１が、３Ｄマップ上の物体に対して、路面からの高さに応じた色を設定する。そして、視点処理部８１２は、領域毎に、高さに応じた色が設定された３Ｄマップに対して、表示装置８に表示するための視点を設定する。そして、視点処理部８１２は、設定された視点から３Ｄマップを見た場合の表示画像データを生成する。

出力部８１３は、視点処理部８１２により生成された表示画像データを、表示装置８に出力する。これにより、車両１の周囲の物体について、高さに応じて色が設定された表示画像データが表示される。これにより、運転者は、表示画像データを視認した際に、車両１の周囲の物体の高さが把握できるので、周囲の状況の把握が容易となる。これにより、車両１の運転する際の利便性を向上させることができる。

（変形例２）
第１の実施形態においては、第１の実施形態の３Ｄマップ合成部８１１が、撮像部１６により撮像された撮像画像データにより生成されたテクスチャと、位置記憶部８１０に記憶されたテクスチャと、を、３Ｄマップ上の物体に対して貼り付ける例について説明した。しかしながら、撮像された時刻が異なる複数の撮像画像データを用いた例に制限するものではない。そこで、変形例２においては、現在撮像部１６により撮像された撮像画像データを用いた例について説明する。

本変形例では、位置記憶部８１０は、３Ｄマップ上の各領域の位置座標と障害物の有無のみを対応付けて記憶し、テクスチャを記憶しないものとする。そして、３Ｄマップ合成部８１１は、現在の撮像部１６により撮像された撮像画像データから生成されたテクスチャと、高さに応じて設定された色と、を重畳して３Ｄマップを生成する。そして、出力部８１３は、視点処理部８１２で設定された視点から３Ｄマップを参照した場合の表示画像データを、表示装置８に出力する。

ところで、第１の実施形態では、現在撮像された撮像画像データと、過去に撮像された撮像画像データと、を合成しているために、周囲を歩いている人がいる場合などに矛盾が生じた表示になる可能性がある。これに対して、本変形例では、現在撮像された撮像画像データのみを用いることで、破綻が生じていない表示が可能となる。

（変形例３）
上述した実施形態では、測距センサ１７が車両１の前部と後部との２カ所設けられた例について説明した。しかしながら、測距センサ１７を設ける位置を前部と後部との２カ所に制限するものではない。

そこで、変形例３においては、車両１の４方向に測距センサ１７を設けた例について説明する。図１２は、本変形例にかかる車両１に設けられた４個の測距センサ１７から物体を検出可能な範囲を例示した図である。図１２に示す例では、４カ所に測距センサ１７ａ、１７ｂ、１７ｃ、１７ｄを設けることで、範囲１２０１、１２０２、１２０３、１２０４内で、物体の検出が可能となる。換言すれば、本変形例では、車両１が移動することなく、車両１の周囲に存在する物体を検出できる。また、撮像部１６も同様に４カ所設けても良い。これにより、車両１が移動しない場合でも、車両１の周囲の状況を表した、３Ｄマップに貼り付けるためのテクスチャを生成できる。

以上説明したとおり、上述した実施形態、及び変形例によれば、測距センサ１７が車両１から車両１周辺に存在する物体までの距離と共に、当該物体の高さを検出している。そして、ＥＣＵ１４は、表示装置８に車両１の周囲の状況を表示画像データとして表示する際に、車両１が走行している路面を基準として、車両１の周囲に存在する物体の高さに応じて色を設定して、表示する。これにより、運転者は、車両１の周辺に存在する物体の高さを認識できるので、周囲の状況を容易に把握できる。これにより、運転者の操舵負担を軽減できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

上述した実施形態に関して、付記を開示する。
（付記）
周辺監視装置で実行される方法であって、
車両に設けられた測距検知部から、当該車両から物体までの距離と共に、当該物体の高さ情報を算出可能な測距データを入力し、
入力された前記測距データに基づいて生成された、前記車両の周囲の物体について高さに応じて色を異ならせた表示情報を、表示装置に出力する、
方法。

車両に設けられた測距検知部から、当該車両から物体までの距離と共に、当該物体の高さ情報を算出可能な測距データを入力する入力ステップと、
前記測距データに基づいて生成された、前記車両の周囲の物体について高さに応じて色を異ならせた表示情報を、表示装置に出力する出力ステップと、
をコンピュータに実行させるためのプログラム。

１…車両、８…表示装置、１１…モニタ装置、１４…ＥＣＵ、１６…撮像部、１７…測距センサ、１９…舵角センサ、２０…アクセルセンサ、２１…シフトセンサ、２２…車輪速センサ、１００…周辺監視システム、８０１…入力インターフェース部、８０２…曲率半径算出部、８０３…移動距離算出部、８０４…進行方向判定部、８０５…距離取得部、８０６…映像取得部、８０７…車両位置推定部、８０８…３Ｄマップ位置変換部、８０９…投影変換部、８１０…位置記憶部、８１１…３Ｄマップ合成部、８１２…視点処理部、８１３…出力部。

Claims (5)

1. 車両に設けられた測距検知部から、当該車両から物体までの距離と共に、当該物体の高さ情報を算出可能な測距データを入力処理する入力部と、
   前記入力部が入力した前記測距データに基づいて生成された、前記車両の周囲の物体について高さに応じて色を異ならせた表示情報を、表示装置に出力する出力部と、
   を備える周辺監視装置。
2. 前記入力部は、さらに、車両に設けられた撮像部から、当該車両の周囲に存在する物体が撮像された撮像画像データを入力処理し、
   前記出力部は、前記撮像画像データに表された前記物体の色と、前記測距データに基づいた前記物体の高さに応じた色と、を重畳した表示情報を、前記表示装置に出力する、
   請求項１に記載の周辺監視装置。
3. 前記出力部が出力する前記表示情報において、前記車両が走行する走行面を基準として、上方向と下方向とで色を異ならせる、
   請求項１又は２に記載の周辺監視装置。
4. 前記出力部は、前記撮像部により撮像された一枚の前記撮像画像データに表された前記物体の色を用いた、前記表示情報を、前記表示装置に出力する、
   請求項２に記載の周辺監視装置。
5. 前記出力部は、前記撮像部により撮像された時刻が異なる複数の前記撮像画像データを用いた前記表示情報を、前記表示装置に出力する、
   請求項２に記載の周辺監視装置。

Images