JP2008004989A

JP2008004989A - 車両周囲表示装置

Info

Publication number: JP2008004989A
Application number: JP2006169694A
Authority: JP
Inventors: Satoshi Chinomi; 聡知野見; Masami Funekawa; 政美舟川; Tatsumi Yanai; 達美柳井
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2006-06-20
Filing date: 2006-06-20
Publication date: 2008-01-10
Anticipated expiration: 2026-06-20
Also published as: US20070296566A1; JP4826355B2; EP1870853A3; US7652559B2; EP1870853A2

Abstract

【課題】自車両に接近してくる車両を、自車両に接近してこない障害物と識別して表示する。
【解決手段】撮像映像に基づいて、自車両に接近してくる接近車両５１を検出し、例えば、検出した接近車両の表示色を変更するなど、自車両に接近してこない障害物５２と識別して表示する。
【選択図】図９

Description

本発明は、車両の周囲の映像を撮像して表示する装置に関する。

従来、車両周囲を撮像した複数の画像に基づいて、テンプレートマッチングによりオプティカルフローを求め、撮像画像上の他車両を検出して、モニタに表示する技術が知られている（特許文献１参照）。

特開２００４−１７３０４８号公報

しかしながら、従来の方法では、自車両に接近してくる車両と、自車両とほぼ同じ速度で走行している車両とを識別して、効果的に表示することができないという問題があった。

本発明による車両周囲表示装置は、車両周囲の撮像映像に基づいて、自車両に接近してくる接近車両を検出し、検出した接近車両を、自車両に接近してこない障害物と識別して表示することを特徴とする。

本発明による車両周囲表示装置によれば、自車両に接近してくる接近車両を、自車両に接近してこない障害物と識別して表示するので、ユーザは、自車両に接近してくる接近車両を容易に把握することができる。

図１は、一実施の形態における車両周囲表示装置の構成を示す図である。一実施の形態における車両周囲表示装置は、車載カメラ１０と、処理装置２０と、モニタ３０とを備える。図２は、車載カメラ１０の取り付け位置の位置例を示す図である。図２に示すように、車載カメラ１０は、車両１００の後部中央に取り付けられて、自車両後方を撮像する。

処理装置２０は、プロセッサで構成されており、内部で行う処理機能上、周波数分解部２１と、記憶部２２と、映像処理部２３とを備える。周波数分解部２１は、車載カメラ１０によって撮像された映像に基づいて、映像の時間変動成分を周波数領域ごとに分解する処理を行う。記憶部２２は、周波数分解部２１によって周波数領域ごとに分解されたデータを記憶する。映像処理部２３は、周波数分解部２１によって周波数領域ごとに分解されたデータに基づいて、自車両に接近してきている車両を検出するとともに、検出した接近車両を、自車両に接近してこない障害物と識別して表示するための映像を生成する。モニタ３０は、映像処理部２３で生成された映像を表示する。

図３は、車載カメラ１０によって撮影された自車両後方の映像の一例を示す図である。図３において、映像の中心を左右に伸びる線３０５は、背景領域３０１と車両領域３０２とを分割するための分割線であり、車載カメラ１０の撮像方向等に基づいて、予め設定しておく。背景領域３０１は、撮像映像上において、空やマンションなどの背景が主に映り込む領域であり、車両領域３０２は、他車両などが主に映り込む領域である。車両領域３０２には、隣接車線を表す隣接車線領域３０３と、自車両が走行している車線を表す同一車線領域３０４とが含まれる。

周波数分解部２１は、車載カメラ１０によって撮像された映像に基づいて、映像の時間変動成分を周波数領域ごとに分解する処理を行う。ここでは、映像の時間変動成分を周波数領域ごとに分解する処理を、時間周波数分割と呼ぶ。

図４は、撮像映像上の１つの画素（ｘ、ｙ）の輝度の時間変化を示す図である。周波数分解部２１は、この輝度の時間変化を、周波数成分に分割する。例えば、異なる時刻に撮影された複数の映像フレームに基づいて、各画素ごとに、輝度値の平均値を演算し、演算した輝度平均値と、現在の映像の輝度値との差分を求めてから、周波数領域ごとに分類する処理を行う。毎秒３０フレームで撮影している場合には、１５Ｈｚ以下のバンドパス成分に分類することができる。周波数分解部２１によって周波数領域ごとに分解されたデータは、記憶部２２に記憶される。

時間周波数分割処理を行うと、輝度の変化が少ない画素は低周波成分に分類され、輝度の変化が大きい画素は高周波成分として分類される。従って、空や地面（道路）が映り込んでいる画素は、輝度が時間的に変化しないため、低周波成分として抽出される。一方、接近車両が映り込んでいる画素や、鉄塔などのように、自車両の走行に伴って映像上で移動する画素は、輝度が時間的に変化するため、高周波成分として抽出される。

図５（ａ）は、車載カメラ１０によって撮像された自車両後方の映像の一例を示す図である。図５（ａ）に示す映像には、車両５１、車両５２、鉄塔５３、側壁５４などが映っている。ここで、隣接車線を走行している車両５１は、自車両を追い抜こうとしており、自車両の真後ろを走行している車両５２は、自車両とほぼ同じ速度で走行しているものとする。

図５（ｂ）は、周波数分解部２１によって時間周波数分割処理を行った後、所定周波数より低い低周波数成分を抽出して、映像を再構築した図である。また、図５（ｃ）は、周波数分解部２１によって時間周波数分割処理を行った後、所定周波数より高い高周波数成分を抽出して、映像を再構築した図である。自車両とほぼ同じ速度で走行している車両５２、画素の輝度値がほとんど変化しないので、低周波成分として抽出される。また、側壁５４や地面の白線は、連続的であり、撮像映像上では、あたかも停止しているように映っているため、低周波成分として抽出される。一方、自車両に接近してきている車両５１や、自車両の走行に伴って映像上で移動する鉄塔５３は、高周波成分として抽出される。

映像処理部２３は、周波数分解部２１によって周波数領域ごとに分解されたデータに基づいて、自車両に接近してきている車両を検出するとともに、検出した接近車両を、自車両に接近してこない障害物と識別して表示するための映像を生成する。接近車両を、他の障害物と識別して表示するための映像を生成する方法を以下で説明する。

図６は、車載カメラ１０によって撮像された自車両後方の映像の一例を示す図である。映像処理部２３は、まず始めに、周波数分解部２１によって時間周波数分割処理が行われて、記憶部２２に記憶されているデータから、車両領域３０２内の高周波成分のデータを抽出する。図７は、抽出した高周波成分のデータを示す図である。図６に映っている鉄塔５３は、上述したように、時間周波数分割処理後のデータでは、高周波成分であるが、車両領域３０２ではなく、背景領域３０１に含まれているため、ここでは抽出されない。

続いて、周波数分解部２１によって時間周波数分割処理が行われて、記憶部２２に記憶されているデータから、低周波成分のデータを抽出する。ここでは、車両領域３０２だけでなく、背景領域３０１も処理対象とする。図８は、抽出した低周波成分のデータを示す図である。

最後に、図７に示す高周波成分の映像に対して、赤色にバイアスをかけて強調し、図８に示す低周波成分の映像と重ね合わせることにより、接近車両を強調した映像を生成する。図９は、合成して得られる映像を示す図である。図９に示す表示例では、高周波成分として抽出された車両５１が赤色で表示されている。映像処理部２３によって生成された映像は、モニタ３０に表示される。

図１０は、上述した処理装置２０内の各部２１〜２３で行われる処理の流れを示すフローチャートである。ステップＳ１０において、周波数分解部２１は、車載カメラ１０で撮像された複数フレームの映像を取得して、ステップＳ２０に進む。ステップＳ２０では、映像の時間変動成分を周波数領域ごとに分離して、ステップＳ３０に進む。

映像処理部２３は、ステップＳ３０において、周波数分解部２１によって時間周波数分割処理が行われたデータに基づいて、車両領域内の高周波成分のデータを抽出するとともに、ステップＳ４０において、低周波成分のデータを抽出して、ステップＳ５０に進む。ステップＳ５０では、高周波成分の映像に対して赤色にバイアスをかけて強調し、低周波成分の映像と重ね合わせることにより、接近車両を強調した映像を生成する。ステップＳ５０に続くステップＳ６０では、生成した映像をモニタ３０に表示する。

一実施の形態における車両周囲表示装置によれば、車両周囲の撮像映像に基づいて、自車両に接近してくる接近車両を検出し、検出した接近車両を、自車両に接近してこない障害物と識別して表示するので、ユーザは、自車両に接近してくる接近車両を容易に把握することができる。

また、一実施の形態における車両周囲表示装置によれば、撮像映像の時間変動成分を周波数ごとに分離したデータに基づいて、接近車両を検出するので、自車両に対して相対速度を持って接近してくる車両を精度良く検出することができる。この方法によれば、撮像映像上に、多数の車両が映っている場合でも、少ない演算量で接近車両を検出することができる。

特に、撮像映像上の各画素の輝度の時間変化を周波数ごとに分離し、分離したデータに基づいて、輝度の時間変化が所定の周波数以上の画素領域を接近車両が映っている領域と判断するので、接近車両を精度良く検出することができる。

また、一実施の形態における車両周囲表示装置によれば、検出した接近車両の表示色を変更するので、ユーザは、自車両に接近してこない障害物と接近車両とを容易に識別することができる。

本発明は、上述した一実施の形態に限定されることはない。例えば、図７を用いて説明したように、時間周波数分割処理後のデータから、車両領域３０２内の高周波成分のデータを抽出した後に、抽出したデータに対して、先鋭化フィルタや輪郭強調フィルタなどの空間フィルタを用いて、接近車両の輪郭を強調表示することもできる。図１１は、接近車両の輪郭を強調した表示例を示す図である。接近車両の輪郭を強調することにより、ユーザは、接近車両と自車両に接近してこない障害物とをさらに容易に識別することができる。

上述した一実施の形態では、検出した接近車両を赤色にバイアスをかけて表示したが、撮像映像の色情報と異なる色であれば、赤色に限定されることはない。また、接近車両を点滅表示させることによって、自車両に接近してこない障害物と識別して表示するようにしてもよい。

検出した接近車両が隣接車線領域３０３に存在するのか、同一車線領域３０４に存在するのかを判別し、存在する車線領域に応じて、接近車両の表示色を変更するようにしてもよい。例えば、接近車両が隣接車線領域３０３に存在すれば黄色、同一車線領域３０４に存在すれば赤色で表示することができる。この場合、ユーザは、接近車両が存在する車線も容易に把握することができる。

背景領域３０１と車両領域３０２とを分割する分割線３０５は予め設定しておくものとして説明したが、車両の状況に応じて変更するようにしてもよい。例えば、車両が坂道を下っている場合や、カーブを走行している場合には、画面中の背景領域が変化するので、ナビゲーション装置などから車両の現在地を取得し、取得した車両の現在地に応じて、分割線３０５の位置を変更することが好ましい。車両の状況に応じて分割線の位置を変更することにより、ユーザにとって有益な情報をより効果的に表示することができる。

輝度の時間変化を周波数ごとに分離したデータでは、自車両を基準とする相対速度が小さいほど周波数が低い成分となり、相対速度が大きいほど周波数が高い成分となる。従って、抽出する周波数に応じて、接近車両の表示色を変更すれば、自車両に対する相対速度によって異なる表示色にて、それぞれの接近車両を表示することができる。この表示方法によれば、ユーザは、自車両に接近してきている車両のうち、相対速度が高い車両と相対速度が比較的低い車両とを区別して認識することができる。

自車両が走行している道路の種別に応じて、接近車両の表示制御方法を変更するようにしてもよい。例えば、高速道路を走行中の場合には、一般道路を走行中の場合に比べて、強調表示を行う接近車両の相対速度を高く、すなわち、輝度の時間変化を周波数ごとに分離したデータにおいて、抽出する周波数を高くするようにしてもよい。なお、道路種別の情報は、例えば、ナビゲーション装置から取得することができる。

図示しない車速センサによって検出される自車両の走行速度に応じて、接近車両の表示制御方法を変更することもできる。例えば、自車両が停止している場合には、接近車両の強調表示を一時的に中止することにより、自車両に接近してくる全ての車両が強調表示されてしまうのを防ぐことができる。

上述した一実施の形態では、車載カメラ１０を１台だけ設ける例を挙げて説明したが、車載カメラ１０を複数設けることもできる。また、接近車両を検出する方法は、上述した方法に限られず、他の方法を用いてもよい。

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、車載カメラ１０が撮像手段を、処理装置２０が接近車両検出手段、表示処理手段、周波数分離手段、相対速度識別手段、および、領域分割手段を、モニタ３０が表示手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。

一実施の形態における車両周囲表示装置の構成を示す図車載カメラの取り付け位置の位置例を示す図車載カメラによって撮影された映像の一例を示す図撮像映像上の１つの画素（ｘ、ｙ）の輝度の時間変化を示す図図５（ａ）は、車載カメラ１０によって撮像された映像の一例を示す図、図５（ｂ）は、時間周波数分割処理後のデータに基づいて、低周波数成分を抽出して、映像を再構築した図、図５（ｃ）は、時間周波数分割処理後のデータに基づいて、高周波数成分を抽出して、映像を再構築した図車載カメラによって撮像された映像の一例を示す図車両領域内の高周波成分のデータを示す図低周波成分のデータを示す図図７に示す高周波成分の映像の赤色にバイアスをかけて強調し、図８に示す低周波成分の映像と重ね合わせた図処理装置内で行われる処理の流れを示すフローチャート接近車両の輪郭を強調した表示例を示す図

符号の説明

１０…車載カメラ、２０…処理装置、２１…周波数分解部、２２…記憶部、２３…映像処理部、３０…モニタ、１００…自車両、２００…接近車両

Claims

車両周囲を撮像する撮像手段と、
前記撮像手段によって撮像された映像（以下、撮像映像）に基づいて、自車両に接近してくる接近車両を検出する接近車両検出手段と、
前記接近車両検出手段によって検出される接近車両を、自車両に接近してこない障害物と識別して表示するための処理を施す表示処理手段と、
前記表示処理手段によって表示処理が行われた映像を表示する表示手段とを備えることを特徴とする車両周囲表示装置。
請求項１に記載の車両周囲表示装置において、
前記撮像映像の時間変動成分を周波数ごとに分離する周波数分離手段をさらに備え、
前記接近車両検出手段は、前記周波数分離手段によって前記撮像映像の時間変動成分を周波数ごとに分離されたデータに基づいて、前記接近車両を検出することを特徴とする車両周囲表示装置。
請求項２に記載の車両周囲表示装置において、
前記周波数分離手段は、前記撮像映像上の各画素の輝度の時間変化を周波数ごとに分離し、
前記接近車両検出手段は、前記周波数分離手段によって分離されたデータに基づいて、輝度の時間変化が所定の周波数以上の画素領域を接近車両が映っている領域と判断することを特徴とする車両周囲表示装置。
請求項３に記載の車両周囲表示装置において、
前記周波数分離手段によって周波数ごとに分離されたデータに基づいて、接近車両の相対速度を識別する相対速度識別手段をさらに備え、
前記表示処理手段は、前記相対速度識別手段によって識別された相対速度に基づいて、前記接近車両の表示方法を変更することを特徴とする車両周囲表示装置。
請求項１から請求項４のいずれか一項に記載の車両周囲表示装置において、
前記撮像手段によって撮像された映像を背景領域と車両領域とに分割する領域分割手段をさらに備え、
前記接近車両検出手段は、前記領域分割手段によって分割された車両領域内において、前記接近車両を検出することを特徴とする車両周囲表示装置。
請求項１から請求項５のいずれか一項に記載の車両周囲表示装置において、
前記表示処理手段は、前記接近車両検出手段によって検出される接近車両のエッジを強調する処理を行うことを特徴とする車両周囲表示装置。
請求項１から請求項６のいずれか一項に記載の車両周囲表示装置において、
前記表示処理手段は、前記接近車両検出手段によって検出される接近車両の表示色を変更することを特徴とする車両周囲表示装置。
請求項１から請求項７のいずれか一項に記載の車両周囲表示装置において、
自車両が走行している道路の種類を判定する道路種別判定手段をさらに備え、
前記接近車両検出手段は、前記道路種別判定手段によって判定された道路の種類に応じて、前記接近車両の検出方法を変更することを特徴とする車両周囲表示装置。
請求項１から請求項８のいずれか一項に記載の車両周囲表示装置において、
自車両の速度を検出する速度検出手段をさらに備え、
前記表示処理手段は、前記速度検出手段によって検出される速度に基づいて、前記接近車両の表示方法を変更することを特徴とする車両周囲表示装置。